На разных SEO форумах неоднократно возникали обсуждения, касающиеся того, какие ссылки поисковики индексируют, а какие - нет. Тем не менее, однозначных выводов нигде так и не было сделано. Чтобы в деталях разобраться, какие поисковики и как индексируют ссылки я запустил небольшой проект под названием RoboMap.
Ниже цитирую описание с его главной страницы:
Основная цель проекта RoboMap - это исследовать тонкости индексирования сайта поисковиками и влияние файла robots.txt на этот процесс.
В частности, будет выяснено, как поисковики обрабатывают инструкции Allow в robots.txt и разные типы ссылок. Для этого был создан набор страниц, на каждую из которых ссылается только один тип ссылок. Вот список разновидностей ссылок, которые будут исследоваться:
Анализироваться будут наиболее популярные в рунете поисковики:
Последние комментарии
/Alek$/ 22 часа 44 минуты назад
/Олег/ 2 дня 12 часов назад
/stereo/ 3 дня 19 часов назад
/STEREO/ 3 дня 19 часов назад
/Alek$/ 1 неделя 2 дня назад
/Манул/ 1 неделя 2 дня назад
/Alek$/ 1 неделя 2 дня назад
/Манул/ 1 неделя 2 дня назад
/Alek$/ 1 неделя 2 дня назад
/Манул/ 1 неделя 2 дня назад