Два дня назад обнаружил, что Яндекс неожиданно вышвырнул большую часть страниц моего блога из индекса, оставив лишь 10, да и то не самых лучших. С чем это связано я пока не совсем понял, тем более, что аналогичная ситуация сложилась и с еще одним моим сайтом, у которого в индексе остались те же 10 страниц.
Интересно, что раскручивал я их изначально по-разному и строго "белыми" способами, но такой вылет с ними случился одновременно.

Видать, нынче модно у поисковых систем защищаться от DDOS атак путем блокировки IP, с которых совершается много запросов. Первым я это заметил у Гугля, а сегодня и у Яндекса. При этом, к сожалению, страдают в основном простые пользователи локальных сетей, у которых один внешний IP на несколько сотен/тысяч машин. И если Гугль еще предлагает ввести капчу и пользоваться дальше, то Яндекс тупо говорит: 403 - идите на фиг.

Пожалуй, пришло время подвести результаты проекта RoboMap.

За прошедшие три недели была собрана довольно занимательная статистика о поведении различных поисковиков и теперь я попробую ее проанализировать.

Бесспорным лидером оказался [b]Google[/b]. С самого начала расковыряв большую часть видов ссылок, он удержал лидерство до конца. Так же интересно заметить, что он подгрузил CSS, использованные на странице. Напрашивается вывод, что это ему необходимо для проверки на скрытые блоки текста и прочие приемы черной оптимизации, основанные на CSS.

С момента предыдущего отчета картина изменилась не слишком радикально.

[b]Гугль[/b] ничем новым не порадовал, успокоившись на достигнутом еще в первые сутки так ни разу и не зашел с тех пор.
[b]Yahoo![/b] несколько раз проверял уже проиндексированные страницы, но ничего нового не нашел.

Дмитрий Ветров проводит акцию "Покажи свою берлогу"

После некоторых колебаний, я решил присоединиться. Тем более, что у меня в фотоархиве завалялась чудесная фотка на эту тему:

Конечно, обычно все не так запущено, но бардака всегда хватает

Не прошло и суток, а первые результаты уже появились.

Наибольшую активность проявил Google, который нашел почти все страницы из тех, что были созданы. В частности, он продемонстрировал отличную способность отыскивать ссылки в JavaScript и следовать редиректам.
Не опознал он текстовую ссылку, переход JavaScript, приделанный к тегу , обычные JS переходы с помощью window.open() и document.location.href и ссылку в robots.txt.

Вторым с изрядным опозданием идет Rambler. Он проиндексировал главную страницу и и сделал вялую попытку пройти по редиректу, но до цели так и не дошел.

На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap.
Ниже цитирую описание с его главной страницы:

Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.

В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:

• Текстовая ссылка
• Простая JavaScript ссылка через window.open()
• Простая JavaScript ссылка через document.location.href
• JavaScript ссылка с url в контексте вызова: my_open_function('http://mysite.ru/page.html')
• JavaScript ссылка с url вне контекста вызова: open_my_site()
• JavaScript редирект, не ассоциированный с тегом
• HTTP Redirect.
• Директива Allow в файле robots.txt

Анализироваться будут наиболее популярные в рунете поисковики:

• Яндекс
• Google
• Рамблер
• MSN/Live
• Yahoo
• Webalta

Сегодня вообще довольно остро стоит "проблема" с бесплатными доменами - после введения RIPN'ом капчи при регистрации доменов *.net.ru, *.org.ru и *.pp.ru вкупе с лимитом 4 домена в час простые смертные практически лишились возможности получить домен в этих зонах. Поэтому где-то вскоре после этого памятного события в моду стали входить домены на кокосовых островах - *.co.cc. Сами поселиться там не можем, так хоть доменов нарегаем.

Наконец у меня дошли руки поставить себе третий FireFox. Из новшеств наиболее заметно то, что при вводе в адресную строку поиск подходящих сайтов ведется еще и о заголовкам страниц и порою это пригождается. По скорости он, на мой взгляд, теперь не слишком уступает даже Опере, которая долгое время лидировала в этом направлении.

Свершилось! Наконец-то сделал своему компу апгрейд. Ощущения такие, как будто с копейки пересел на бмв. Впрочем, это неудивительно - против новой конфигурации стараявообще ни на что не годится.

Собственно, результаты апгрейда:
Процессор: Intel Core2 Duo E8400 - 3 Ghz, 6Mb L2, 1333 Mhz FSB
Материнка: Intel DG33FBC
Память: Kingston 2*1024, 800 Mhz.