Дмитрий Ветров проводит акцию "Покажи свою берлогу"

После некоторых колебаний, я решил присоединиться. Тем более, что у меня в фотоархиве завалялась чудесная фотка на эту тему:

Конечно, обычно все не так запущено, но бардака всегда хватает :)

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap.
Ниже цитирую описание с его главной страницы:

Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.

В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:

• Текстовая ссылка
• Простая JavaScript ссылка через window.open()
• Простая JavaScript ссылка через document.location.href
• JavaScript ссылка с url в контексте вызова: my_open_function('http://mysite.ru/page.html')
• JavaScript ссылка с url вне контекста вызова: open_my_site()
• JavaScript редирект, не ассоциированный с тегом
• HTTP Redirect.
• Директива Allow в файле robots.txt

Анализироваться будут наиболее популярные в рунете поисковики:

• Яндекс
• Google
• Рамблер
• MSN/Live
• Yahoo
• Webalta

Сегодня вообще довольно остро стоит "проблема" с бесплатными доменами - после введения RIPN'ом капчи при регистрации доменов *.net.ru, *.org.ru и *.pp.ru вкупе с лимитом 4 домена в час простые смертные практически лишились возможности получить домен в этих зонах. Поэтому где-то вскоре после этого памятного события в моду стали входить домены на кокосовых островах - *.co.cc. Сами поселиться там не можем, так хоть доменов нарегаем.

Почитав разные блоги других авторов, в частности, Ctrl+C, проникся мыслью о пользе кросспостинга и решил настроить его и для своего блога. По ходу дела вылезла проблема - мало какие сервисы умели импортировать записи из RSS, хотя и дружили с ЖЖ. Казалось бы - в чем проблема: настроить ЖЖ как надо и все дела. Но Drupal не умеет корсспостить в ЖЖ (для вордпресса есть такой плагин, а для Друпала нету :( ), а ЖЖ не умеет самостоятельно импортировать что бы то ни было откуда бы то ни было.