Google опубликовал полный список IP-адресов робота Googlebot. По списку вебмастера могут определять поисковых роботов Google по IP-адресам. Это альтернативный способ проверить, кто заходил на ваш сайт – краулер Google или бот-мошенник. Подойдет тем, кто не хочет выполнять обратный DNS-запрос по IP-адресу источника.
Ссылка на этот список была добавлена в справочную статью «Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Google», но пока только в англоязычную версию.
Google рекомендует проверять IP-адреса роботов, если у вебмастера есть подозрения, что злоумышленники пытаются получить доступ к сайту под видом Googlebot. Когда фальшивые боты сканируют сайт, это негативно влияет на его работу. Сайт медленнее загружается и может потенциально отключиться. Это приведет к проблемам с индексацией и ранжированием.
Чтобы убедиться, что на сайт заходит именно робот Google – достаточно сопоставить IP-адрес сканера со списком IP-адресов робота Googlebot.
Google постоянно обновляет этот список, поэтому файл лучше проверять ежедневно.
Источник: Google Search Central
Apple возобновила переговоры с OpenAI о возможности внедрения ИИ-технологий в iOS 18, на основе данной операционной системы будут работать новые…
Конкурсный управляющий российской «дочки» Google подготовил 23 иска к участникам рекламного рынка. Общая сумма исков составляет 16 млрд рублей –…
Google завершил обновление основного алгоритма March 2024 Core Update. Раскатка обновлений была завершена 19 апреля, но сообщил об этом поисковик…
У частных продавцов на Авито появилась возможность составлять текст объявлений с помощью нейросети. Новый функционал доступен в категории «Обувь, одежда,…
24 апреля 2024 года в Москве состоялась церемония вручения наград международного конкурса Workspace Digital Awards. В этом году участниками стали…
27 июня Яндекс проведет гик-фестиваль Young Con для студентов и молодых специалистов, которые интересуются технологиями и хотят работать в IT.…