В этой теме отвечено 7 раз и проглядели 16305 раза!

администратор

Всем хорош яндекс, наш российский замечательнейший поисковик. Он индексирует темы, страницы, картинки и видео. Он достоин в выдаче тем в поиске и это всегда радует владельца сайта. Владельцы сайтов всегда ищут любые возможности, как привлечь яндекс на домен и заставить индексировать целиком установленный сайт. Яндекс тугодум в плане индексации чем быстрый американский гугл. И еще - у яндекса есть одна отвратительная черта: если он начнет нагружать сайт, то держитесь. Всем здравствуйте, уважаемые владельцы сайтов. Сегодня пойдет речь не о том как кормить с руки яндекс, как заставить яндекс индексировать свой сайт, какие способы привлекательны в плане ускорения яндекса. Нет, сегодня пойдет речь, как гнать яндекс с сайта, как создавать ему проблемы в плане индексации, как создать те жесткие условия, чтобы он еще медленнее индексировал весь сайт целиком по таймингу - наоборот.

У яндекса есть много ботов стучалок. Эти боты, так называемые индексаторы чего либо, периодически сканируют на наличие изменений в структуре сайта (посты, темы, ответы), и если бот находит новое или дополненное, он скачивает все к себе в логи-архивы. Это и картинки, видео, метки, тексты, разделы, подразделы, страницы, анимашки. Если яндекс естественно все индексирует у вашего сайта, то это замечательно. Но... если у вас есть твиттер-аккаунты, профили стамплеапона, блоги гугл, которые привязаны через RSS, как в моем случае на этом форуме, то яндекс начинает уже шалит не по-детски. И это правда.

Для начала давайте вспомним одну особенность. Яндекс заходит на сайт, если вы:
1. делитесь заметкой в твиттер, да не в один или два
2. добавляете тему в стамблеапон
3. ваш RSS-канал постоянно скармливается через ленты микроблогов
4. если появилась новая тема или новый ответ. Через RSS опять лезут боты яндекса и сканируют изменение.
5. если вы заказали рекламу через яндекс директ (этот случай мною пока не исследован)

Представьте на миг. Вы не делаете эти 3 пункта: вы просто создаете темы, отвечаете в постах кому-либо. Тогда яндекс не будет у вас постоянно жить, не будет каждые 2-10 минут в статистике отображаться что он темах или в разделах. Ваши темы не будут через 1-2 часа выдаваться уже в поиске(!). Обычно яндекс медлителен и сканирует сайт периодически раз в 2-3 дня, а то и раз в неделю, из-за многих факторов. Этих факторов полно: молодой сайт, не качественный контент, неопытный админ, домен не связан с социальными сетями и прочее.

На днях я снова столкнулся с неприятной проблемой нагрузки яндексом на этот форум. На этот раз еще хуже стало. Как я упоминал ранее в одной теме про нагрузку на хостинг и пожаловался Вам всем, что яндекс начал грузить форум родителей. Да да, ~~долбаный~~ яндекс снова сейчас начал грузить еще жесче, хотя я уже перестал с опаской экспериментировать и навешивать еще прокачанные твиттер профили, чтобы еще быстрее индексировались темы и выдавались быстрее в поиск. Нет, уже все перестал делать и только следить за процессом всего. Для меня уже странность, что яндекс перестал быть полезным а стал грузить форум, усерднее индексируя. Куда еще ~~нафиг~~! Зачем мне это, если и так хватит всего!

Представьте мое удивление, как после 1 мая этого года каждое утро я открывал почту и с удивлением обнаруживал уведомления, что я стал снова нагружать моего хостера. Нагружать! Вот уж не ожидал. И только вот вчера дошли руки написать хостеру с просьбой выслать на какой домен идет нагрузка и какие айпи адреса виноваты.

Как только увидел этот айпи - 5.255.253.51 - я заржал!

Помимо 5.255.253.51, я обнаружил, что яндекс начал грузить меня и под другими айпи: 93.158.152.35, 141.8.142.55. Эти айпи шли с разной сетки. То есть, видимо были стучалки текстов, картинок и прочего - не стал вдаваться в подробности и мне это не интересно.

Второй признак, что часто снова начал грузить, это я давно заметил с весны, это быстрое заполнение установленного скрипта Статистики визитов поисковых ботов. По этому логу я стал наблюдать нездоровый интерес яндекса к домену.

Он стал быстрее работать, чаще бывать, хотя я уже поставил ему раннее ограничение таймера в 20 секунд. Это много! В логах яндекс стал отображаться каждую минуту!!!!!!! Это не нормально, это плохо, это не есть хорошо!

После обновления тица у форума отобрали половину тица и сейчас тиц60. Все равно наличие маленького тица не повлияло на степень индекскции. Вот уж неожиданность для моих читателей )))) . Это будет на заметку молодым и начинающим админам - наличие тица вашего домена не влияет на выдачу в поиск. Уж поверьте мне, народ. Не впервой ставил такие опыты.

Вот тут я вам приводил код, установленный в роботс.тхт с помощью хостера, который был установлен аж в июне 2015 года.

администратор

Вы будете смеяться, но сегодня утром снова пришло уведомление от хостера.

Злобные боты яндекса вновь одолели форум родителей и беспощадно скакали и резвились по сайту, жестоко нагружая хостинг. Жить и искать на форуме с периодичностью в 40 секунд им мало было))))

Выставил теперь значение в роботс.тхт в 180 секунд (в 3 минуты паузы).

~~Заманали~~ боты
Shocked

администратор

Уже как то не смешно.
Сегодня утром оп-пппяяяять увидел уведомление, что снова яндекс краулеры нагрузили хостинг. Также у знакомой девушки на дальнем востоке та же самая катавасия. Ее блог тоже грузят.

После переговоров с хостером я предложил занести в черный список на время (на 1-2 обновления, чтобы сработал роботс.тхт) все айпи адреса ботов и краулеров яндекса. То есть фактически запретить им бывать на сайте! Чтоб для них сайт был невидим, то есть поставить забор и не пускать их к себе. Дожился. Доизыскивал способы как этих яндексовых ботов привлекать. Теперь гоню их от себя - кыш кыш.

Занес в хтассес айпи адреса яндекс краулеров (поисковых ботов-стучалок):

администратор

Ну вот. Сегодня не было с утра письма-уведомления от моего хостера. Форум родителей не нагружал их после моих манипуляций с роботс и с хтассес.

администратор

Сейчас при просмотре статистики обнаружил, что яндекс начал выискивать совершенно иные дубли на форуме, подсовывая обозначения с вордпресса и с других смз. Немного был как то неприятно удивлен. Ладно уж там, если дубль выдает в /m/ и /mobile/ (мобильные), то вот это: /wp-content/uploads/ и /wp-content/plugins/ (путь до файлов до папок в вордпрессе) куда ни шло. Странно очень!

администратор

Эту тему уже стали посещать многие люди через различные запросы, например как, яндекс грузит что делать.

Скажу сразу, если яндекс начал грузить в точности на оборот более ускоренно и жестко, то манипуляции с хтассес и роботс только навредят сайту. Ограничивая ботам заходить к сайт, тем самым можно чуточку убить свой портал, как сделал это я. Да. я убивал медленно через роботс, ставя лимит в 20, в 40, и в 120 - было и это. Представьте, кто то хочет чтобы его сайт попадал в поиск и висел там в запросах и по вч и по нч, но я все избегал этого. Для меня период того, что ставил лимиты для яндекс ботов - это не дать хостеру закрыть меня и сайту стать офф, то есть быть недоступным для всех до решения технических проблем с нагрузкой хостинга.

Все хороши любые хостинги, но рано или поздно наступает тот момент, когда сайт вырастает и ему нужен более крупный мощный сервер, как VDS или VPS. Форум родителей переехал на мощный сервер VDS и для меня стало иначе все понятно, надо было раньше перевести домен с простого хостинга на сервер.

Те описанные мною манипуляции для ограничения яндекс ботов, краулеров и пауков будут востребанны всем без исключения, если вас реально грузит яндекс поисковик.

Для отслеживания заходов на ваш сайт любыми поисковыми ботами рекомендую поставить очень полезный скрипт посещения ботов. его установка. настройка и все работы с ним мною подробно выложены в теме Скрипт Статистика визитов поисковых ботов, или как узнать, кто вас посещает.

Его работу можно посмотреть прямо тут внизу, начальную страницу я вам в инклюдил через модуль форума.Если инклюденная страница отображается белым фоном, значит, статистика переполнена. Примерно размер переполненного файла будет в 15-20 мегабайт, это оч много. В среднем статистика форума заполняется за неделю или полторы недели.

Ольга23

а зачем боты так нагружают форум?

администратор

В этой теме отвечено 7 раз и проглядели 16305 раза!

Наши сервисы

Анонимное голосование