Главная Блоги Пользователи Поиск Фото Регистрация Добрый день, Гость Вход


forumroditeley.ru



Форум родителей, для пап и мам, который уже живет
приглашает общаться будущих мам, беременных и родивших детей,
разведенных и одиноких родителей и всех тех, кто хочет знакомиться,
переживать и помогать на форуме родителей другим. Сайт для родителей
это познавательно-увлекательный и интересный новостной портал
для всех посетителей. Наш форум - разговоры о детях, болталка о малышах.
В мире есть много сайтов, но мы стремимся быть лучше и комфортнее быть
для вашего восприятия всего необычного в мире, полезного для семьи,
увлекательного для детей, познавательного для себя.
Форум сделан для людей и у нас нет вообще тупой раздражающей рекламы
Как нагружает яндекс или как яндексу вставлять палки в ходули  
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру

Рейтинг для темы >> Как нагружает яндекс или как яндексу вставлять палки в ходули

Общая оценка: 0.00 :: Минимальная оценка: 0 :: Максимальная оценка: 0 :: Всего оценило: 0

Оцените труд автора по пятибальной шкале -
Выберите оценку: 
Автор Сообщение
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 13-Май-16 19:34      #1  [дать ссылку]    
Всем хорош яндекс, наш российский замечательнейший поисковик. Он индексирует темы, страницы, картинки и видео. Он достоин в выдаче тем в поиске и это всегда радует владельца сайта. Владельцы сайтов всегда ищут любые возможности, как привлечь яндекс на домен и заставить индексировать целиком установленный сайт. Яндекс тугодум в плане индексации чем быстрый американский гугл. И еще - у яндекса есть одна отвратительная черта: если он начнет нагружать сайт, то держитесь. Всем здравствуйте, уважаемые владельцы сайтов. Сегодня пойдет речь не о том как кормить с руки яндекс, как заставить яндекс индексировать свой сайт, какие способы привлекательны в плане ускорения яндекса. Нет, сегодня пойдет речь, как гнать яндекс с сайта, как создавать ему проблемы в плане индексации, как создать те жесткие условия, чтобы он еще медленнее индексировал весь сайт целиком по таймингу - наоборот.

У яндекса есть много ботов стучалок. Эти боты, так называемые индексаторы чего либо, периодически сканируют на наличие изменений в структуре сайта (посты, темы, ответы), и если бот находит новое или дополненное, он скачивает все к себе в логи-архивы. Это и картинки, видео, метки, тексты, разделы, подразделы, страницы, анимашки. Если яндекс естественно все индексирует у вашего сайта, то это замечательно. Но... если у вас есть твиттер-аккаунты, профили стамплеапона, блоги гугл, которые привязаны через RSS, как в моем случае на этом форуме, то яндекс начинает уже шалит не по-детски. И это правда.

Для начала давайте вспомним одну особенность. Яндекс заходит на сайт, если вы:
1. делитесь заметкой в твиттер, да не в один или два
2. добавляете тему в стамплеапон
3. ваш RSS-канал постоянно скармливается через ленты микроблогов
4. если появилась новая тема или новый ответ. Через RSS опять лезут боты яндекса и сканируют изменение.
4. если вы заказали рекламу через яндекс директ (этот случай мною пока не исследован)

Представьте на миг. Вы не делаете эти 3 пункта: вы просто создаете темы, отвечаете в постах кому-либо. Тогда яндекс не будет у вас постоянно жить, не будет каждые 2-10 минут в статистике отображаться что он темах или в разделах. Ваши темы не будут через 1-2 часа выдаваться уже в поиске(!). Обычно яндекс медлителен и сканирует сайт периодически раз в 2-3 дня, а то и раз в неделю, из-за многих факторов. Этих факторов полно: молодой сайт, не качественный контент, неопытный админ, домен не связан с социальными сетями и прочее.

На днях я снова столкнулся с неприятной проблемой нагрузки яндексом на этот форум. На этот раз еще хуже стало. Как я упоминал ранее в одной теме про нагрузку на хостинг и пожаловался Вам всем, что яндекс начал грузить форум родителей. Да да, долбаный яндекс снова сейчас начал грузить еще жесче, хотя я уже перестал с опаской экспериментировать и навешивать еще прокачанные твиттер профили, чтобы еще быстрее индексировались темы и выдавались быстрее в поиск. Нет, уже все перестал делать и только следить за процессом всего. Для меня уже странность, что яндекс перестал быть полезным а стал грузить форум, усерднее индексируя. Куда еще нафиг! Зачем мне это, если и так хватит всего!

Представьте мое удивление, как после 1 мая этого года каждое утро я открывал почту и с удивлением обнаруживал уведомления, что я стал снова нагружать моего хостера. Нагружать! Вот уж не ожидал. И только вот вчера дошли руки написать хостеру с просьбой выслать на какой домен идет нагрузка и какие айпи адреса виноваты.

pic


Как только увидел этот айпи - 5.255.253.51 - я заржал!

pic


Помимо 5.255.253.51, я обнаружил, что яндекс начал грузить меня и под другими айпи: 93.158.152.35, 141.8.142.55. Эти айпи шли с разной сетки. То есть, видимо были стучалки текстов, картинок и прочего - не стал вдаваться в подробности и мне это не интересно.

pic


Второй признак, что часто снова начал грузить, это я давно заметил с весны, это быстрое заполнение установленного скрипта Статистики визитов поисковых ботов. По этому логу я стал наблюдать нездоровый интерес яндекса к домену.

pic


Он стал быстрее работать, чаще бывать, хотя я уже поставил ему раннее ограничение таймера в 20 секунд. Это много! В логах яндекс стал отображаться каждую минуту!!!!!!! Это не нормально, это плохо, это не есть хорошо!

После обновления тица у форума отобрали половину тица и сейчас тиц60. Все равно наличие маленького тица не повлияло на степень индекскции. Вот уж неожиданность для моих читателей )))) . Это будет на заметку молодым и начинающим админам - наличие тица вашего домена не влияет на выдачу в поиск. Уж поверьте мне, народ. Не впервой ставил такие опыты.

Вот тут я вам приводил код, установленный в роботс.тхт с помощью хостера, который был установлен аж в июне 2015 года.

Код:
User-agent: *
Disallow: /search
Crawl-delay: 20 # задает таймаут в 20 секунд


Сейчас на календаре 13 мая 2016 года. Прошло почти год и бабайка-яндекс стал более агрессивнее по отношению к форуму.

Теперь я поставил запрет индексировать порог в 40 секунд, который еще больше стал ограничивать индексацию краулеров яндекса наш форум. Я начал ему мешать бывать у нас. Я стал вставлять ему палки в колеса или не знаю что у него там за ходули, на чем он там заходит на сайт.

Код:
User-agent: *
Disallow: /search
Crawl-delay: 40 # задает таймаут в 40 секунд


Цитата:
Поистине, если кому сказать что яндекс такой бяка и грузит сайт так, что хостер начал беспокоиться и высылать уведомления с требованием устранить причину нагрузки - никто не поверит. Sad


Что то меня берут сомнения, что надо ставить сразу 60 или 70 порог, чтобы как то наверняка было.

Настроить то я форум настроил, как индексировать, но что вот так было - сроду не думал, что так будет в точности наоборот в полезности яндекса.

Мои полезные темы вам про яндекс и нагрузку на хостинг:
Помогают ли социальные сети в раскрутке сайта? А знаете ли вы...
Как узнать, проиндексировалась ли ссылка
Нужный плагин твиттера для мозиллы
Немного о российском поисковике. Что любит и как приручить яндекс
Прямые ссылки в вебмастере яндекса от сервисов по анализу сайтов, whois и других открытых источников
Как снизить нагрузку на хостинг. Что делать, если сайт тормозит


Последний раз редактировалось: администратор (14-Май-16 13:16), всего редактировалось 2 раз(а)
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 14-Май-16 13:12      #2  [дать ссылку]    
Вы будете смеяться, но сегодня утром снова пришло уведомление от хостера.

Злобные боты яндекса вновь одолели форум родителей и беспощадно скакали и резвились по сайту, жестоко нагружая хостинг. Жить и искать на форуме с периодичностью в 40 секунд им мало было))))

Выставил теперь значение в роботс.тхт в 180 секунд (в 3 минуты паузы).

Заманали боты
Shocked Mad heat -1

_________________
... иной среди других
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 15-Май-16 17:52      #3  [дать ссылку]    
Уже как то не смешно.
Сегодня утром оп-пппяяяять увидел уведомление, что снова яндекс краулеры нагрузили хостинг. Также у знакомой девушки на дальнем востоке та же самая катавасия. Ее блог тоже грузят.

После переговоров с хостером я предложил занести в черный список на время (на 1-2 обновления, чтобы сработал роботс.тхт) все айпи адреса ботов и краулеров яндекса. То есть фактически запретить им бывать на сайте! Чтоб для них сайт был невидим, то есть поставить забор и не пускать их к себе. Дожился. Доизыскивал способы как этих яндексовых ботов привлекать. Теперь гоню их от себя - кыш кыш.

Занес в хтассес айпи адреса яндекс краулеров (поисковых ботов-стучалок):

Код:
Order Allow,Deny
Allow from all
Deny from 93.158.152.35
Deny from 5.255.253.51
Deny from 5.255.253.94
Deny from 5.255.253.62
Deny from 141.8.142.55


Через недельку буду убирать по одной строке из блокировки и смотреть на их поведение.

Если зашалят СНОВА, то уже я не знаю что делать.

По поводу ограничения в роботс в 180, хостер посоветовал пока выставить в 30 и наблюдать за логами.

Код:
Crawl-delay: 30


Еще вчера вечером, сидя у компа и исследуя что же ищет яндекс у меня на форуме, оказалось, что выискивает дубли страниц. Вот этот самый поиск дублей тем, фотографий, постов и подразделов стал грузить хостера.
Перелопатил интернет - оказывается, такая проблема существует у тех сайтов, яндекс который считает трастовым или авторитетным. Помимо основных страниц, поисковик шерстит и дубли через /index?/ и /index/. Такая же проблема есть в других смз движках, где владельцы часто сталкиваются, если не доделывают настройки в панели управления в разделе Seo.

Буду ждать с интересом завтрашнего утра. Интересно, придет снова уведомление о нагрузке на хостинг?

Теперь в статистике не сыпятся какую страницу посетил яндекс. Теперь уже меееееедленно, по-эстонски, капают события. Теперь как положено, выдаются места вьютопиков, а не дубли страниц.

Вот такой запрет на дубли в форуме, прописаные в роботс.тхт

Код:
User-agent: yandex
Disallow: /index.php/
Disallow: /index.php/images
Disallow: /index.php/misc
disallow: /index.php?/
disallow: /index.php/
disallow: /index.php?*
disallow: /index.php*
Disallow: /search.php?search_id=*
disallow: /search.php?/
disallow: /search.php?/*
Disallow: /search
Disallow: /search/
Disallow: /search/*
disallow: /index.php?*
disallow: /album_download.php?cat_id=
Crawl-delay: 30


Почему я это пишу? Потому что через поиск сюда придут те владельцы сайтов, которые тоже испытают проблему с яндексом. Думается, что надо выложить мои потуги, что делал и как настраивать роботс против краулеров, а также как проверить правильность кода и строк роботс.
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 16-Май-16 10:29      #4  [дать ссылку]    
Ну вот. Сегодня не было с утра письма-уведомления от моего хостера. Форум родителей не нагружал их после моих манипуляций с роботс и с хтассес.

_________________
... иной среди других
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 09-Июн-16 10:30      #5  [дать ссылку]    
Сейчас при просмотре статистики обнаружил, что яндекс начал выискивать совершенно иные дубли на форуме, подсовывая обозначения с вордпресса и с других смз. Немного был как то неприятно удивлен. Ладно уж там, если дубль выдает в /m/ и /mobile/ (мобильные), то вот это: /wp-content/uploads/ и /wp-content/plugins/ (путь до файлов до папок в вордпрессе) куда ни шло. Странно очень!

Цитата:
Вордпресс - это распространенный движок блога, который универсален для всех типов сайта. На нем можно сделать обычный блог, форум, каталог сайтов, сайт-визитка для чего либо, сайт знакомств, каталог файлов, сайт в виде пинов (как пинми и пинтерест) и прочее. Все зависит от выбора темы и навешивания соответствующих плагинов.


Яндекс странный. Написал в поддержку, Платону, по поводу дублей страниц, а пока занес в роботс запретить и эти типы не индексировать:

Код:
Disallow: /wp-content/uploads/
Disallow: /wp-content/uploads/*
Disallow: /wp-content/plugins/
Disallow: /wp-content/plugins/*
Disallow: /.well-known/
Disallow: /.well-known/*
Disallow: /blog/
Disallow: /blog/*
Disallow: /mobile/
Disallow: /mobile/*
Disallow: /m/
Disallow: /m/*
Disallow: /www.youtube.com/embed/
Disallow: /www.youtube.com/embed/*


Подумываю постепенно разбанивать айпи краулеров яндекса. По одному айпи каждую неделю.
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 10-Мар-17 11:40      #6  [дать ссылку]    
Эту тему уже стали посещать многие люди через различные запросы, например как, яндекс грузит что делать.

Скажу сразу, если яндекс начал грузить в точности на оборот более ускоренно и жестко, то манипуляции с хтассес и роботс только навредят сайту. Ограничивая ботам заходить к сайт, тем самым можно чуточку убить свой портал, как сделал это я. Да. я убивал медленно через роботс, ставя лимит в 20, в 40, и в 120 - было и это. Представьте, кто то хочет чтобы его сайт попадал в поиск и висел там в запросах и по вч и по нч, но я все избегал этого. Для меня период того, что ставил лимиты для яндекс ботов - это не дать хостеру закрыть меня и сайту стать офф, то есть быть недоступным для всех до решения технических проблем с нагрузкой хостинга.

Все хороши любые хостинги, но рано или поздно наступает тот момент, когда сайт вырастает и ему нужен более крупный мощный сервер, как VDS или VPS. Форум родителей переехал на мощный сервер VDS и для меня стало иначе все понятно, надо было раньше перевести домен с простого хостинга на сервер.

Те описанные мною манипуляции для ограничения яндекс ботов, краулеров и пауков будут востребанны всем без исключения, если вас реально грузит яндекс поисковик.

Для отслеживания заходов на ваш сайт любыми поисковыми ботами рекомендую поставить очень полезный скрипт посещения ботов. его установка. настройка и все работы с ним мною подробно выложены в теме Скрипт Статистика визитов поисковых ботов, или как узнать, кто вас посещает.

Его работу можно посмотреть прямо тут внизу, начальную страницу я вам в инклюдил через модуль форума.Если инклюденная страница отображается белым фоном, значит, статистика переполнена. Примерно размер переполненного файла будет в 15-20 мегабайт, это оч много. В среднем статистика форума заполняется за неделю или полторы недели.


_________________
... иной среди других
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Ольга23
начинающий
Не онлайн
Зарегистрирован: 2017-06-26
Рейтинг:
живет тут 172 день
Сообщ.: 64

Темы: 5
Откуда Вы: Краснодар
Страна: russia.gif
Сообщение 11-Окт-17 21:18      #7  [дать ссылку]    
а зачем боты так нагружают форум?
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2271 день
Сообщ.: 7792

Темы: 3917
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 12-Окт-17 06:13      #8  [дать ссылку]    
Ольга23 писал(а):
а зачем боты так нагружают форум?
Слишком много связал RSS форума с другими сервисами, связал с социальными сетями. Как только что то новое появляется, идет жуткий наплыв ботов, а также в обычные дни. Долго еще рассказывать, что и как, но думаю, с RSS форума слишком уж переборщил! Слишком много всего с автокросспостингом. Ну и вручную тоже делаю всегда. Evil or Very Mad

И еще были виноваты дубликаты страниц, которые запретил в роботс.

Сейчас форум на VDS, хоть живем, а то раньше был лимит в дилей в 30 и в 60 было Laughing
Хостер, где я был раньше, наверно, вздохнул с облегчением, что уехал от них. Embarassed
Вернуться к началу

Share on APSense Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Сохранить ссылку на 100zakladok.ru яндекс-аддурилка. Добавь страницу в яндекс гугл-аддурилка. Добавь страницу в гугл Добавить в закладки в folkd Добавить в закладки juwit Добавить в toodoo Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Заголовок новой темы
Форум для новой темы
 
Страница 1 из 1
Показать сообщения:   
Как нагружает яндекс или как яндексу вставлять палки в ходули
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру Часовой пояс: GMT + 3

 

Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы можете скачивать файлы
Вход
Имя:    Пароль:      Автоматически входить при каждом посещении    


Подписка RSS

Наши сервисы

На правах рекламы

Анонимное голосование

Визиты

спс
Понравилось?
Мы в сетях:
                 
Все материалы сайта представлены только для ознакомления. При копировании материала ссылка на forumroditeley.ru обязательна!

sitemap     карта форума | sitemap 2 | Статистика визитов поисковых ботов | Выдача в поисковиках | слова | tv

Новости науки от яндекса


Опубликовать на Friendbuzz
Яндекс.Метрика
Рейтинг@Mail.ru

Powered by phpBB © 2001, 2011 phpBB Group
| ©2012-2017 - Воронеж |