суббота, 30 июля 2011 г.

Справка yandex

Сижу читаю их справку и вижу картину:
После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru' или 'yandex.net'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.
И далее они просто удивляют....

У Яндекса есть несколько роботов, которые представляются по-разному:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;
Ну и далее по тексту, Обращаем внимание, что указано: http://yandex.com/bots - так понял подразумевается что с данных субдоменов робот не работает, что-то слабо в это верится...
--
Надо проверить факт, что роботы yandex ходят только с приведённых хостов.... т.е. доменов с RU и NET

Комментариев нет:

Тык Тык UpToLike