IP индексирующего робота Yandex

В процессе анализа поисковых ботов на рабочих сайтах, накопилась информация об IP основного индексирующего робота Yandex или тех, кто себя за него выдает при парсинге.

В целях ознакомления и для анализа, выкладываю их в общий доступ. Всего в базе 600+ IP основного индексирующего бота Yandex (User-agent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)) и информация по ним.

Ссылка на скачивание файла: http://bit.ly/299NGIw

Поделитесь записью


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *