RoboMap Project: первые результаты.

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

Yahoo ограничился просмотром главной страницы и дальше не пошел.

Самым ленивым оказался Яндекс. Он посмотрел лишь содержимое robots.txt в момент отправки формы добавления и на этом успокоился.

Для большей наглядности я создал два скрипта, отображающих текущую статистику по поисковикам:
http://robomap.stalker-x.ru/stat.php - список посещенных поисковиками страниц.
http://robomap.stalker-x.ru/pages.php - подробный журнал посещений поисковиками.



Trackback URL for this post:

/trackback/244
Арендатор вс, 22/02/2019 - 12:57

Ну обычно Yandex более шустрый. Не повезло просто



Отправить комментарий

CAPTCHA
Вы точно не бот?
8 + 1 =
Without JavaScript you won't pass captcha test, sorry. Solve this simple math problem and enter the result. E.g. for 1+3, enter 4.