Рекомендую обратить внимание на блог Ольги Леухиной о заработке в сети интернет – нестандартные подходы во всем.
О начале непонятных событий с индексацией моего блога я писал в посте АГС 17, АП ТИЦ. Все признаки говорили о том, что блог попал под новый фильтр Yandex АГС-17. Суть фильтра в том, что в индексе из xxx страниц остаются 10-15. По наблюдениям оптимизаторов и манимейкеров, фильтр накладывается за продажу ссылок через биржи, неуникальный контент, сайты с «очень похожими» страницами, не несущими какой-либо полезной информации по мнению Yandex.
Я конечно понимаю, что на ГС может быть бесполезный копипаст, но на моем блоге такого сроду не водилось. Первое время писались рекламные посты, но писались то они во-первых мной, а во-вторых с количеством ссылок там все было нормально.
Когда все произошло, стали анализироваться возможные причины попадания под фильтр. Это и страницы с дублированным контентом, которые образуются из-за открытых для индексации облака тегов, открытое для индексации, и архивы, и календарь, и страницы с комментариями. Разговоры разговорами, но мне стало интересно, почему 3 месяца до этого Yandex спокойно кушал страницы с моего блога, а теперь резко перестал. Поэтому я сразу написал дяде Платону следующее письмо.
Сегодня обнаружил резкое падения трафика с ПС Yandex на свой блог www.terehoff.com http://www.liveinternet.ru/stat/terehoff.com/searches.html. В разделе мои сайты обнаружил, что в индексе Yandex 13 страниц. Данные панели webmaster.yandex.ru показывается 205 страниц.
Блог обновляется 5 раз в неделю уникальным авторским контентом, в продаже ссылок через ссылочные биржи не участвует и не нарушает другие условия лицензии поиска Yandex.
Какие мои действия, чтобы снова вернуть блог в индекс ПС Yandex.
C уважением,
Терехов Алексей
Здравствуйте, Алексей!13.10.09 наш робот получил на Вашем сайте файл robots.txt запрещающий его индексирование. В настоящий момент данной проблемы нет, сайт индексируется и в течение двух недель должен появиться в результатах поиска.
Если Вы самостоятельно не размещали файл robots.txt, запрещающий индексирования сайта, то я рекомендую обратиться по данному вопросу к администратору сервера на котором находится Ваш сайт.
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
Теперь я твердо знал в какую сторону копать и убедился, что это не АГС-17, что уже хорошо. C администратором сервера хостинга я так же связался лично, никаких проблем не было. Лезу в консоль webmaster.yandex.ru и обнаруживаю следующие ошибки в разделе robots.txt (картинка кликабельна).
Как показалось роботу Yandex, в файле robots.txt запрещены к индексации следующие страницы (смотри скрин выше):
Еще более удивительным это «показалось» становится при том, что файл robots.txt генерируется соответсвующим плагином и имеет вид.
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.terehoff.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
Почему то Google в файле robots.txt не нашел никаких запретов к индексации. Вывод напрашивается сам собой.
Сейчас все в норме, количество проиндексированных страниц вернулось на прежний уровень. На мой взгляд это был глюк алгоритмов Yandex, о котором я сообщил и который они оперативно поправили. Посмотрим что будет дальше. Чтобы ничего не пропустить, подписывайтесь на обновления блога.
Видео сегодня – катание на скейтборде по воздушным шарам на скейтборде.
В рамках Олимпийского конкурса я начал вести блог под названием Купюрочки, на страницах которого я делюсь своим опытом заработка на рекламе в Интернет. Можете подписаться на обновления блога через или на чтобы регулярно получить свежие статьи.
блогосфера google Блоги Интервью Yandex интересно почитать Wordpress трафик twitter продвижение SEO эстафета заработок внутренняя оптимизация внешние ссылки PageRank аспирантура контент ссылочное ранжирование seominds дизайн seozavr монетизация буржунет АП ТИЦ гостевой пост seopult rotaban биржи авторитетность интернет Автомобили Релевантность покупки фото Рейтинг блогов фарма Бартер статистика семинар плагины реклама отдых Америка Креатив ТИЦ бан Конкурсы Gmail баннер эксперимент социальные закладки Google Analytics LiveInternet блог English Поисковики поиск позитив цель miralinks Sape копирайтинг PR seo штучки youtube Flash php JavaScript Yahoo URL Анна Лебедева wordcamp ftp skype vibe wikipedia pontiac конверт закладки контекст блоггинг факторы ранжирования Seo ошибки счетчики RSS DMOZ РОМИП манимейкерство FAQ блоггеры dofollow траст
Root13 (12 comments.) октября 21, 2009 в 10:39 дп
Ну и славо Богу!
[Blocked by CFC] jack.sun (5 comments.) октября 21, 2009 в 10:49 дп
У меня такое впечатление, что весь гипотетический «АГС» – это никакой не фильтр, а что то похожее на Вашу, Алексей, ситуацию. Поскольку случаев, подобных Вашему целая уйма. Вывод один – при любый раскладах писать Платону. Кстати, Вам сразу человек ответил или были шаблонные ответы? Поскольку на два моих письма отвечали шаблоном, написал третий раз, жду ответа, может хоть теперь человек ответит.
seo-beginer (17 comments.) октября 21, 2009 в 11:06 дп
Тоже интересно сразу ответили нормально или шаблоны были? Сам писал четыре разных письма с различных email адресов и ответы были разные, но все равно шаблонные.
amah (14 comments.) октября 21, 2009 в 11:07 дп
Шары по ходу дела надуты не обычным воздухом а смесью, иначе-бы давно разлетелись
7IM0N (4 comments.) октября 21, 2009 в 11:07 дп
Нифига у них глюки, из-за этих глюков люди могут потерять недельный или месячный доход, не говоря уже о популярности ресурса и многих факторах.
Terehoff (1121 comments.) октября 21, 2009 в 11:10 дп
Jack.sun, seo-beginer, ответил Платон в тот же день, в течение 3х часов после моего письма. И ответ был не самым стандратным. Чувствуется, что он все же живой. Я как то писал об этом в посте http://www.terehoff.com/platot-schukin-living-person.html
Дмитрий (4 comments.) октября 21, 2009 в 11:16 дп
Мои поздравления.
Андрей Морковин (36 comments.) октября 21, 2009 в 11:24 дп
Это же надо. Кото бы мог подумать, что дело не в АГС, а в глюке Яндекса. Весьма неожиданно. И теперь возникает вопрос: «Остальные повылетавшие из индекса сайты – это АГС-17 или глюк алгоритмов?» И вообще, есть ли АГС-17 как таковой?
Вот так поворот событий. Спасибо, Алексей.
Sosnovskij (59 comments.) октября 21, 2009 в 11:42 дп
Поздравляю, Алексей. У меня также пару сайтов вылетело из индекса (осталась только главная страница). Попробую попозже тоже Платону написать
Aster (1 comments.) октября 21, 2009 в 11:43 дп
Алексей, поздравляю с нормальной индексацией
grigorkin (11 comments.) октября 21, 2009 в 11:44 дп
Ну вот… агс-17, агс-17. Банальный robots.txt неверен..
Андрей Морковин (36 comments.) октября 21, 2009 в 11:49 дп
grigorkin, так дело же в том, что robots.txt верен!
DareDevil (8 comments.) октября 21, 2009 в 11:53 дп
хорошо, что оперативно сработали. поздравляю с возвращением.
grigorkin (11 comments.) октября 21, 2009 в 12:00 пп
Андрей Морковин, скорее всего один из плагинов wordpress, сгенерил неверно и потом перегенерил через некоторое время, за которое яндекс успел опросить его.
Сибиряк октября 21, 2009 в 12:02 пп
ну вот, зря ты на яндекс грешил с его АГС, говорил же тебе, рано выводы делаешь ))
Challenger (16 comments.) октября 21, 2009 в 12:27 пп
В последнее время были проблемы с хостингом и мой блог часто бывал недоступен, потом страницы скушал «НЕАГС-17″, в индексе 5 страниц осталось, развлекательному сайту на том же хостинге оставили в индексе 1 страницу…
У тебя тоже некоторое время блог был недоступен… Наводит на определенные мысли, но пока выводы делать рано. Нужно больше примеров.
Felix (1 comments.) октября 21, 2009 в 1:04 пп
У меня все было с точностью до наоборот.
Добавил в Google robots.txt:
User-agent: *
Sitemap: http://{доменное имя}/sitemap.xml
И получил сообщение «Страницы вашего сайта недоступны для Google из-за огранчений в robots.txt».
Оказалось, что тег «Disallow:» должен присутствовать в каждой записи, так что Google воспринял его как «Disallow: /».
Возможно это был сбой, так как на странице «Анализ robots.txt» Google сказал, что все ок. Но рисковать не хотелось, так что я добавил тег «Disallow:»:
User-agent: *
Disallow:
Sitemap: http://{доменное имя}/sitemap.xml
и сообщение «»Страницы вашего сайта недоступны …» пропало.
seokiev (47 comments.) октября 21, 2009 в 1:28 пп
Повезло, что так быстро вернули. Это же Яндекс )
Shapranov Pavel (59 comments.) октября 21, 2009 в 1:33 пп
АГС не получают из-за продажи ссылок
Shapranov Pavel (59 comments.) октября 21, 2009 в 1:42 пп
А вообще, поздравляю! Пошёл проверять свой robots)))
ZavRab (3 comments.) октября 21, 2009 в 1:55 пп
Первый раз слышу про такой глюк, вам повезло и вы снова вернулись, молодец
Wizard октября 21, 2009 в 3:53 пп
кароче, пока у тебя домен стоял на паркинге, в роботсе было прописано disallow: /
яндекс его успел зайти и его проиндексирвоать, гугл нет вот и весь секрет
вот например роботс освобождающегося домена
ambmosca.ru/robots.txt
Wizard октября 21, 2009 в 3:54 пп
кароче, пока у тебя домен стоял на паркинге, в роботсе было прописано disallow: /
яндекс успел зайти и его проиндексирвоать, гугл нет, вот и весь секрет
вот например роботс освобождающегося домена
ambmosca.ru/robots.txt
Недовольный студент (7 comments.) октября 21, 2009 в 5:38 пп
Блин, я вас каждый день читаю. Очень полезный материал пишите! Для новичков вообще неоценим. Спасибо. Я свой robots.txt норм настроил, индексируется все что надо и не индексируется все, что не надо, пока сбоев не было:)
Terehoff (1121 comments.) октября 21, 2009 в 5:51 пп
Wizard, возможно вы и правы, так как домен повис 13го числа и робот увидел запрет к индексации 13го числа. Но есть одно но, почему то запрет к индексации он нашел только для 5ти страниц, а не для всех. Мое имхо – это все же глюк
Wizard октября 22, 2009 в 10:48 дп
как от спама на почту отделаться теперь? ))
disappear (6 comments.) октября 22, 2009 в 12:51 пп
Яша подглючивает, ничего с этим не поделаешь. Если сайт нормальный они всегда его вернут в индекс. Конечно всё это неприятно,нервы, но что поделаешь. Единственное в чём ещё раз убедился robots.txt нужно писать руками, не надеясь на плагины.
Хорошо, что теперь у тебя всё в норме.
SLiDER (7 comments.) октября 22, 2009 в 3:40 пп
Хорошо. Только сегодня смотрел семинар на СеоПульте об этом АГС-17. Много что интересного узнал.
А еще мне не приходит рассылка от твоего блога =(
Shapranov Pavel (59 comments.) октября 22, 2009 в 9:46 пп
Думаю что это случилось всё-таки из-за не вовремя продленного домена, как и писал Wizard)
Lisa (2 comments.) октября 23, 2009 в 10:25 дп
Спасибо, что поделились информацией. Буду знать теперь. Удачи!
Евгений (68 comments.) октября 23, 2009 в 11:28 пп
Материал полезен, можно взять, как пособие в подобном случае. Поздравляю с возвращением!
Удачи!
Антон Воронин (5 comments.) ноября 3, 2009 в 1:29 пп
У меня было тоже интересно
.
На сайте прописалась ссылка на сайт с вирусом. У меня слетели все показатели ТИЦ и ПР ( они были не большими но были, блог молодой )
Когда я смог это дело убрать. Как?) Прописал на хостинге вход в ftp только со своего IP и о проблеме прописывания вражеского кода на сайт можно забыть ( по крайней мере процентов на 90 )
Гугл сам принял меня обратно и повысил ПР. Из Яндекса же написали ( по моему запросу ), что мой блог не имеет уникального контента, хотя всё творчество на моём бизнес блоге моих рук дело.
У кого было такое? Как вернуть себя в нашенскую поисковую машину ?
Terehoff (1121 comments.) ноября 3, 2009 в 2:59 пп
Антон Воронин, продолжать писать им и наклепать еще немного уникального контента.Евгений, спасибо
Антон Воронин (5 comments.) ноября 5, 2009 в 12:20 пп
Только получил письмо о новом коментарии. На gmail оно сразу попало в спам.
Спасибо. Так и поступлю !