
Не прошло и суток, а первые результаты уже появились.
Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.
Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.
Yahoo ограничился просмотром главной страницы и дальше не пошел.
Самым ленивым оказался Яндекс. Он посмотрел лишь содержимое robots.txt в момент отправки формы добавления и на этом успокоился.
Для большей наглядности я создал два скрипта, отображающих текущую статистику по поисковикам:
http://robomap.stalker-x.ru/stat.php - список посещенных поисковиками страниц.
http://robomap.stalker-x.ru/pages.php - подробный журнал посещений поисковиками.
Ну обычно Yandex более шустрый. Не повезло просто
Отправить комментарий