Рекомендую обратить внимание на блог Ольги Леухиной о заработке в сети интернет – нестандартные подходы во всем.

О начале непонятных событий с индексацией моего блога я писал в посте АГС 17, АП ТИЦ. Все признаки говорили о том, что блог попал под новый фильтр Yandex АГС-17. Суть фильтра в том, что в индексе из xxx страниц остаются 10-15. По наблюдениям оптимизаторов и манимейкеров, фильтр накладывается за продажу ссылок через биржи, неуникальный контент, сайты с «очень похожими» страницами, не несущими какой-либо полезной информации по мнению Yandex.

Большой Yandex

Я конечно понимаю, что на ГС может быть бесполезный копипаст, но на моем блоге такого сроду не водилось. Первое время писались рекламные посты, но писались то они во-первых мной, а во-вторых с количеством ссылок там все было нормально.

Когда все произошло, стали анализироваться возможные причины попадания под фильтр. Это и страницы с дублированным контентом, которые образуются из-за открытых для индексации облака тегов, открытое для индексации, и архивы, и календарь, и страницы с комментариями. Разговоры разговорами, но мне стало интересно, почему 3 месяца до этого Yandex спокойно кушал страницы с моего блога, а теперь резко перестал. Поэтому я сразу написал дяде Платону следующее письмо.

Письмо Платону Щукину

Сегодня обнаружил резкое падения трафика с ПС Yandex на свой блог www.terehoff.com http://www.liveinternet.ru/stat/terehoff.com/searches.html. В разделе мои сайты обнаружил, что в индексе Yandex 13 страниц. Данные панели webmaster.yandex.ru показывается 205 страниц.
Блог обновляется 5 раз в неделю уникальным авторским контентом, в продаже ссылок через ссылочные биржи не участвует и не нарушает другие условия лицензии поиска Yandex.
Какие мои действия, чтобы снова вернуть блог в индекс ПС Yandex.

C уважением,
Терехов Алексей

Ответ Платона Щукина

Здравствуйте, Алексей!13.10.09 наш робот получил на Вашем сайте файл robots.txt запрещающий его индексирование. В настоящий момент данной проблемы нет, сайт индексируется и в течение двух недель должен появиться в результатах поиска.
Если Вы самостоятельно не размещали файл robots.txt, запрещающий индексирования сайта, то я рекомендую обратиться по данному вопросу к администратору сервера на котором находится Ваш сайт.

С уважением, Платон Щукин
Служба поддержки Яндекса

http://help.yandex.ru/

Теперь я твердо знал в какую сторону копать и убедился, что это не АГС-17, что уже хорошо.  C администратором сервера хостинга я так же связался лично, никаких проблем не было. Лезу в консоль webmaster.yandex.ru и обнаруживаю следующие ошибки в разделе robots.txt (картинка кликабельна).

robots

Как показалось роботу Yandex, в файле robots.txt запрещены к индексации следующие страницы (смотри скрин выше):

Еще более удивительным это «показалось» становится при том, что файл robots.txt генерируется соответсвующим плагином и имеет вид.

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.terehoff.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

Почему то Google в файле robots.txt не нашел никаких запретов к индексации. Вывод напрашивается сам собой.

Сейчас все в норме, количество проиндексированных страниц вернулось на прежний уровень. На мой взгляд это был глюк алгоритмов Yandex, о котором я сообщил и который они оперативно поправили. Посмотрим что будет дальше. Чтобы ничего не пропустить, подписывайтесь на обновления блога.

Терехов.

Видео сегодня – катание на скейтборде по воздушным шарам на скейтборде.