Видать, нынче модно у поисковых систем защищаться от DDOS атак путем блокировки IP, с которых совершается много запросов. Первым я это заметил у Гугля, а сегодня и у Яндекса. При этом, к сожалению, страдают в основном простые пользователи локальных сетей, у которых один внешний IP на несколько сотен/тысяч машин. И если Гугль еще предлагает ввести капчу и пользоваться дальше, то Яндекс тупо говорит: 403 - идите на фиг.

Пожалуй, пришло время подвести результаты проекта RoboMap.

За прошедшие три недели была собрана довольно занимательная статистика о поведении различных поисковиков и теперь я попробую ее проанализировать.

Бесспорным лидером оказался [b]Google[/b]. С самого начала расковыряв большую часть видов ссылок, он удержал лидерство до конца. Так же интересно заметить, что он подгрузил CSS, использованные на странице. Напрашивается вывод, что это ему необходимо для проверки на скрытые блоки текста и прочие приемы черной оптимизации, основанные на CSS.

С момента предыдущего отчета картина изменилась не слишком радикально.

[b]Гугль[/b] ничем новым не порадовал, успокоившись на достигнутом еще в первые сутки так ни разу и не зашел с тех пор.
[b]Yahoo![/b] несколько раз проверял уже проиндексированные страницы, но ничего нового не нашел.

Дмитрий Ветров проводит акцию "Покажи свою берлогу"

После некоторых колебаний, я решил присоединиться. Тем более, что у меня в фотоархиве завалялась чудесная фотка на эту тему:

Конечно, обычно все не так запущено, но бардака всегда хватает

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap.
Ниже цитирую описание с его главной страницы:

Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.

В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:

• Текстовая ссылка
• Простая JavaScript ссылка через window.open()
• Простая JavaScript ссылка через document.location.href
• JavaScript ссылка с url в контексте вызова: my_open_function('http://mysite.ru/page.html')
• JavaScript ссылка с url вне контекста вызова: open_my_site()
• JavaScript редирект, не ассоциированный с тегом
• HTTP Redirect.
• Директива Allow в файле robots.txt

Анализироваться будут наиболее популярные в рунете поисковики:

• Яндекс
• Google
• Рамблер
• MSN/Live
• Yahoo
• Webalta

Сегодня вообще довольно остро стоит "проблема" с бесплатными доменами - после введения RIPN'ом капчи при регистрации доменов *.net.ru, *.org.ru и *.pp.ru вкупе с лимитом 4 домена в час простые смертные практически лишились возможности получить домен в этих зонах. Поэтому где-то вскоре после этого памятного события в моду стали входить домены на кокосовых островах - *.co.cc. Сами поселиться там не можем, так хоть доменов нарегаем.

Почитав разные блоги других авторов, в частности, Ctrl+C, проникся мыслью о пользе кросспостинга и решил настроить его и для своего блога. По ходу дела вылезла проблема - мало какие сервисы умели импортировать записи из RSS, хотя и дружили с ЖЖ. Казалось бы - в чем проблема: настроить ЖЖ как надо и все дела. Но Drupal не умеет корсспостить в ЖЖ (для вордпресса есть такой плагин, а для Друпала нету ), а ЖЖ не умеет самостоятельно импортировать что бы то ни было откуда бы то ни было.

Речь пойдет о проекте [url=http://scb.net.ru]Google Cache Browser[/url]
Судя по всему, этот проект появился в сети совсем недавно, так как в поисковиках мне его обнаружить не удалось. Я сам узнал о нем совершенно случайно - друг за бутылочкой пива рассказал, что читал анонс этого сервиса на форуме какого-то хостинга, где девелопер обещал, что сайт вот-вот появится. Но это все лирика.

Что же на самом деле представляет собою этот сервис?
Вот что говорится на странице описания проекта:

Дмитрий Рогов в своем [url=http://webmoon.ru]блоге[/url] запустил один [url=http://webmoon.ru/izbrannoe-s-vebmasterskix-blogov-runeta-v-odnom-meste]интересный проект[/url]. Идея проста до гениальности - собрать в одном месте ссылки на наиболее полезные статьи в блогах вебмастеров рунета.

Вот несколько ссылок, которые мне показались наиболее интересными с программистской точки зрения:
[url=http://zhilinsky.ru/2008/03/13/morphlogy/]Морфологический анализатор для PHP-скриптов[/url]