Главная Микроблоги Знакомства Люди Поиск Фото Музыка Регистрация Добрый день, Гость Вход


forumroditeley.ru


Социальная сеть для всех живет , нам 11 лет!
Здравствуйте. Вы попали на форум родителей, где нет вообще никакой назойливой рекламы!
Сайт сделан для людей, для вас, для тех, кто ищет новые знания и ответы на свои вопросы.
Вкусные рецепты, неспешное общение, узнать законы и льготы, вопросы отношений,
скачать прямой ссылкой книги, новые знакомства, истории людей,
воспитание детей, завести блог и писать свои мысли, все о свадьбах,
здоровье и уход за собой, полезные идеи для вашего дома - море информации в нужных разделах!
У нас есть: сам форум, фотоальбомы, чат, блоги, доска объявлений,
микроблоги, слушать онлайн радио, онлайн игры и многое другое.


Мы не воруем Ваше время - мы даем возможность узнать мир лучше!

Как нагружает яндекс или как яндексу вставлять палки в ходули

В этой теме отвечено 7 раз и проглядели 15591 раза!

 
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру

Просмотров темы Как нагружает яндекс или как яндексу вставлять палки в ходули: 15591
Общая оценка: 0.00 :: Минимальная оценка: 0 :: Максимальная оценка: 0 :: Всего оценило: 0
Понравилось? Оцените по пятибальной шкале!
Выберите оценку: 
Страница 1 из 1
Автор Сообщение
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 13-Май-16 19:34      #1  [дать ссылку]    
Всем хорош яндекс, наш российский замечательнейший поисковик. Он индексирует темы, страницы, картинки и видео. Он достоин в выдаче тем в поиске и это всегда радует владельца сайта. Владельцы сайтов всегда ищут любые возможности, как привлечь яндекс на домен и заставить индексировать целиком установленный сайт. Яндекс тугодум в плане индексации чем быстрый американский гугл. И еще - у яндекса есть одна отвратительная черта: если он начнет нагружать сайт, то держитесь. Всем здравствуйте, уважаемые владельцы сайтов. Сегодня пойдет речь не о том как кормить с руки яндекс, как заставить яндекс индексировать свой сайт, какие способы привлекательны в плане ускорения яндекса. Нет, сегодня пойдет речь, как гнать яндекс с сайта, как создавать ему проблемы в плане индексации, как создать те жесткие условия, чтобы он еще медленнее индексировал весь сайт целиком по таймингу - наоборот.

У яндекса есть много ботов стучалок. Эти боты, так называемые индексаторы чего либо, периодически сканируют на наличие изменений в структуре сайта (посты, темы, ответы), и если бот находит новое или дополненное, он скачивает все к себе в логи-архивы. Это и картинки, видео, метки, тексты, разделы, подразделы, страницы, анимашки. Если яндекс естественно все индексирует у вашего сайта, то это замечательно. Но... если у вас есть твиттер-аккаунты, профили стамплеапона, блоги гугл, которые привязаны через RSS, как в моем случае на этом форуме, то яндекс начинает уже шалит не по-детски. И это правда.

Для начала давайте вспомним одну особенность. Яндекс заходит на сайт, если вы:
1. делитесь заметкой в твиттер, да не в один или два
2. добавляете тему в стамблеапон
3. ваш RSS-канал постоянно скармливается через ленты микроблогов
4. если появилась новая тема или новый ответ. Через RSS опять лезут боты яндекса и сканируют изменение.
5. если вы заказали рекламу через яндекс директ (этот случай мною пока не исследован)

Представьте на миг. Вы не делаете эти 3 пункта: вы просто создаете темы, отвечаете в постах кому-либо. Тогда яндекс не будет у вас постоянно жить, не будет каждые 2-10 минут в статистике отображаться что он темах или в разделах. Ваши темы не будут через 1-2 часа выдаваться уже в поиске(!). Обычно яндекс медлителен и сканирует сайт периодически раз в 2-3 дня, а то и раз в неделю, из-за многих факторов. Этих факторов полно: молодой сайт, не качественный контент, неопытный админ, домен не связан с социальными сетями и прочее.

На днях я снова столкнулся с неприятной проблемой нагрузки яндексом на этот форум. На этот раз еще хуже стало. Как я упоминал ранее в одной теме про нагрузку на хостинг и пожаловался Вам всем, что яндекс начал грузить форум родителей. Да да, долбаный яндекс снова сейчас начал грузить еще жесче, хотя я уже перестал с опаской экспериментировать и навешивать еще прокачанные твиттер профили, чтобы еще быстрее индексировались темы и выдавались быстрее в поиск. Нет, уже все перестал делать и только следить за процессом всего. Для меня уже странность, что яндекс перестал быть полезным а стал грузить форум, усерднее индексируя. Куда еще нафиг! Зачем мне это, если и так хватит всего!

Представьте мое удивление, как после 1 мая этого года каждое утро я открывал почту и с удивлением обнаруживал уведомления, что я стал снова нагружать моего хостера. Нагружать! Вот уж не ожидал. И только вот вчера дошли руки написать хостеру с просьбой выслать на какой домен идет нагрузка и какие айпи адреса виноваты.

pic


Как только увидел этот айпи - 5.255.253.51 - я заржал!

pic


Помимо 5.255.253.51, я обнаружил, что яндекс начал грузить меня и под другими айпи: 93.158.152.35, 141.8.142.55. Эти айпи шли с разной сетки. То есть, видимо были стучалки текстов, картинок и прочего - не стал вдаваться в подробности и мне это не интересно.

pic


Второй признак, что часто снова начал грузить, это я давно заметил с весны, это быстрое заполнение установленного скрипта Статистики визитов поисковых ботов. По этому логу я стал наблюдать нездоровый интерес яндекса к домену.

pic


Он стал быстрее работать, чаще бывать, хотя я уже поставил ему раннее ограничение таймера в 20 секунд. Это много! В логах яндекс стал отображаться каждую минуту!!!!!!! Это не нормально, это плохо, это не есть хорошо!

После обновления тица у форума отобрали половину тица и сейчас тиц60. Все равно наличие маленького тица не повлияло на степень индекскции. Вот уж неожиданность для моих читателей )))) . Это будет на заметку молодым и начинающим админам - наличие тица вашего домена не влияет на выдачу в поиск. Уж поверьте мне, народ. Не впервой ставил такие опыты.

Вот тут я вам приводил код, установленный в роботс.тхт с помощью хостера, который был установлен аж в июне 2015 года.

Код:
User-agent: *
Disallow: /search
Crawl-delay: 20 # задает таймаут в 20 секунд


Сейчас на календаре 13 мая 2016 года. Прошло почти год и бабайка-яндекс стал более агрессивнее по отношению к форуму.

Теперь я поставил запрет индексировать порог в 40 секунд, который еще больше стал ограничивать индексацию краулеров яндекса наш форум. Я начал ему мешать бывать у нас. Я стал вставлять ему палки в колеса или не знаю что у него там за ходули, на чем он там заходит на сайт.

Код:
User-agent: *
Disallow: /search
Crawl-delay: 40 # задает таймаут в 40 секунд


Цитата:
Поистине, если кому сказать что яндекс такой бяка и грузит сайт так, что хостер начал беспокоиться и высылать уведомления с требованием устранить причину нагрузки - никто не поверит. Sad


Что то меня берут сомнения, что надо ставить сразу 60 или 70 порог, чтобы как то наверняка было.

Настроить то я форум настроил, как индексировать, но что вот так было - сроду не думал, что так будет в точности наоборот в полезности яндекса.

Мои полезные темы вам про яндекс и нагрузку на хостинг:
Помогают ли социальные сети в раскрутке сайта? А знаете ли вы...
Как узнать, проиндексировалась ли ссылка
Нужный плагин твиттера для мозиллы
Немного о российском поисковике. Что любит и как приручить яндекс
Прямые ссылки в вебмастере яндекса от сервисов по анализу сайтов, whois и других открытых источников
Как снизить нагрузку на хостинг. Что делать, если сайт тормозит


Последний раз редактировалось: администратор (04-Апр-18 10:50), всего редактировалось 3 раз(а)
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 14-Май-16 13:12      #2  [дать ссылку]    
Вы будете смеяться, но сегодня утром снова пришло уведомление от хостера.

Злобные боты яндекса вновь одолели форум родителей и беспощадно скакали и резвились по сайту, жестоко нагружая хостинг. Жить и искать на форуме с периодичностью в 40 секунд им мало было))))

Выставил теперь значение в роботс.тхт в 180 секунд (в 3 минуты паузы).

Заманали боты
Shocked Mad heat -1

_________________
Быть иным среди других сложно, но удивляя окружающих, можно быть Богом
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 15-Май-16 17:52      #3  [дать ссылку]    
Уже как то не смешно.
Сегодня утром оп-пппяяяять увидел уведомление, что снова яндекс краулеры нагрузили хостинг. Также у знакомой девушки на дальнем востоке та же самая катавасия. Ее блог тоже грузят.

После переговоров с хостером я предложил занести в черный список на время (на 1-2 обновления, чтобы сработал роботс.тхт) все айпи адреса ботов и краулеров яндекса. То есть фактически запретить им бывать на сайте! Чтоб для них сайт был невидим, то есть поставить забор и не пускать их к себе. Дожился. Доизыскивал способы как этих яндексовых ботов привлекать. Теперь гоню их от себя - кыш кыш.

Занес в хтассес айпи адреса яндекс краулеров (поисковых ботов-стучалок):

Код:
Order Allow,Deny
Allow from all
Deny from 93.158.152.35
Deny from 5.255.253.51
Deny from 5.255.253.94
Deny from 5.255.253.62
Deny from 141.8.142.55


Через недельку буду убирать по одной строке из блокировки и смотреть на их поведение.

Если зашалят СНОВА, то уже я не знаю что делать.

По поводу ограничения в роботс в 180, хостер посоветовал пока выставить в 30 и наблюдать за логами.

Код:
Crawl-delay: 30


Еще вчера вечером, сидя у компа и исследуя что же ищет яндекс у меня на форуме, оказалось, что выискивает дубли страниц. Вот этот самый поиск дублей тем, фотографий, постов и подразделов стал грузить хостера.
Перелопатил интернет - оказывается, такая проблема существует у тех сайтов, яндекс который считает трастовым или авторитетным. Помимо основных страниц, поисковик шерстит и дубли через /index?/ и /index/. Такая же проблема есть в других смз движках, где владельцы часто сталкиваются, если не доделывают настройки в панели управления в разделе Seo.

Буду ждать с интересом завтрашнего утра. Интересно, придет снова уведомление о нагрузке на хостинг?

Теперь в статистике не сыпятся какую страницу посетил яндекс. Теперь уже меееееедленно, по-эстонски, капают события. Теперь как положено, выдаются места вьютопиков, а не дубли страниц.

Вот такой запрет на дубли в форуме, прописаные в роботс.тхт

Код:
User-agent: yandex
Disallow: /index.php/
Disallow: /index.php/images
Disallow: /index.php/misc
disallow: /index.php?/
disallow: /index.php/
disallow: /index.php?*
disallow: /index.php*
Disallow: /search.php?search_id=*
disallow: /search.php?/
disallow: /search.php?/*
Disallow: /search
Disallow: /search/
Disallow: /search/*
disallow: /index.php?*
disallow: /album_download.php?cat_id=
Crawl-delay: 30


Почему я это пишу? Потому что через поиск сюда придут те владельцы сайтов, которые тоже испытают проблему с яндексом. Думается, что надо выложить мои потуги, что делал и как настраивать роботс против краулеров, а также как проверить правильность кода и строк роботс.
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 16-Май-16 10:29      #4  [дать ссылку]    
Ну вот. Сегодня не было с утра письма-уведомления от моего хостера. Форум родителей не нагружал их после моих манипуляций с роботс и с хтассес.

_________________
Быть иным среди других сложно, но удивляя окружающих, можно быть Богом
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 09-Июн-16 10:30      #5  [дать ссылку]    
Сейчас при просмотре статистики обнаружил, что яндекс начал выискивать совершенно иные дубли на форуме, подсовывая обозначения с вордпресса и с других смз. Немного был как то неприятно удивлен. Ладно уж там, если дубль выдает в /m/ и /mobile/ (мобильные), то вот это: /wp-content/uploads/ и /wp-content/plugins/ (путь до файлов до папок в вордпрессе) куда ни шло. Странно очень!

Цитата:
Вордпресс - это распространенный движок блога, который универсален для всех типов сайта. На нем можно сделать обычный блог, форум, каталог сайтов, сайт-визитка для чего либо, сайт знакомств, каталог файлов, сайт в виде пинов (как пинми и пинтерест) и прочее. Все зависит от выбора темы и навешивания соответствующих плагинов.


Яндекс странный. Написал в поддержку, Платону, по поводу дублей страниц, а пока занес в роботс запретить и эти типы не индексировать:

Код:
Disallow: /wp-content/uploads/
Disallow: /wp-content/uploads/*
Disallow: /wp-content/plugins/
Disallow: /wp-content/plugins/*
Disallow: /.well-known/
Disallow: /.well-known/*
Disallow: /blog/
Disallow: /blog/*
Disallow: /mobile/
Disallow: /mobile/*
Disallow: /m/
Disallow: /m/*
Disallow: /www.youtube.com/embed/
Disallow: /www.youtube.com/embed/*


Подумываю постепенно разбанивать айпи краулеров яндекса. По одному айпи каждую неделю.
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 10-Мар-17 11:40      #6  [дать ссылку]    
Эту тему уже стали посещать многие люди через различные запросы, например как, яндекс грузит что делать.

Скажу сразу, если яндекс начал грузить в точности на оборот более ускоренно и жестко, то манипуляции с хтассес и роботс только навредят сайту. Ограничивая ботам заходить к сайт, тем самым можно чуточку убить свой портал, как сделал это я. Да. я убивал медленно через роботс, ставя лимит в 20, в 40, и в 120 - было и это. Представьте, кто то хочет чтобы его сайт попадал в поиск и висел там в запросах и по вч и по нч, но я все избегал этого. Для меня период того, что ставил лимиты для яндекс ботов - это не дать хостеру закрыть меня и сайту стать офф, то есть быть недоступным для всех до решения технических проблем с нагрузкой хостинга.

Все хороши любые хостинги, но рано или поздно наступает тот момент, когда сайт вырастает и ему нужен более крупный мощный сервер, как VDS или VPS. Форум родителей переехал на мощный сервер VDS и для меня стало иначе все понятно, надо было раньше перевести домен с простого хостинга на сервер.

Те описанные мною манипуляции для ограничения яндекс ботов, краулеров и пауков будут востребанны всем без исключения, если вас реально грузит яндекс поисковик.

Для отслеживания заходов на ваш сайт любыми поисковыми ботами рекомендую поставить очень полезный скрипт посещения ботов. его установка. настройка и все работы с ним мною подробно выложены в теме Скрипт Статистика визитов поисковых ботов, или как узнать, кто вас посещает.

Его работу можно посмотреть прямо тут внизу, начальную страницу я вам в инклюдил через модуль форума.Если инклюденная страница отображается белым фоном, значит, статистика переполнена. Примерно размер переполненного файла будет в 15-20 мегабайт, это оч много. В среднем статистика форума заполняется за неделю или полторы недели.


_________________
Быть иным среди других сложно, но удивляя окружающих, можно быть Богом
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Ольга23
начинающий
Не онлайн
Зарегистрирован: 2017-06-26
Рейтинг:
живет тут 2467 день
Сообщ.: 72

Темы: 5
Откуда Вы: Краснодар
Страна: russia.gif
Сообщение 11-Окт-17 21:18      #7  [дать ссылку]    
а зачем боты так нагружают форум?
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 4566 день
Сообщ.: 9375

Темы: 5105
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 12-Окт-17 06:13      #8  [дать ссылку]    
Ольга23 писал(а):
а зачем боты так нагружают форум?
Слишком много связал RSS форума с другими сервисами, связал с социальными сетями. Как только что то новое появляется, идет жуткий наплыв ботов, а также в обычные дни. Долго еще рассказывать, что и как, но думаю, с RSS форума слишком уж переборщил! Слишком много всего с автокросспостингом. Ну и вручную тоже делаю всегда. Evil or Very Mad

И еще были виноваты дубликаты страниц, которые запретил в роботс.

Сейчас форум на VDS, хоть живем, а то раньше был лимит в дилей в 30 и в 60 было Laughing
Хостер, где я был раньше, наверно, вздохнул с облегчением, что уехал от них. Embarassed
Вернуться к началу

Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Добавить в закладки i.ua Добавить в закладки в folkd Добавить в imgfave Пост! Добавить в xerpi

Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Заголовок новой темы
Форум для новой темы
 
Страница 1 из 1
Показать сообщения:   
Как нагружает яндекс или как яндексу вставлять палки в ходули
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру Часовой пояс: GMT + 3

 

Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы можете скачивать файлы
Вход
Имя:    Пароль:      Автоматически входить при каждом посещении    


Наши сервисы

На правах рекламы

Анонимное голосование

Нравится

Форум родителей живет
Форум для подростков и приемных детей, для родителей школьников и усыновителей,
где опыт мам и пап важен для всех в общении.
Родительский сайт по разделам где есть статьи, по городам где общие интересы в эфире.
Социальная сеть родителей, бабушек и дедушек - это аудитория охвата по Грузии, Казахстану, Азербайджану, Молдова и стран СНГ

Все материалы сайта представлены только для ознакомления. При копировании материала ссылка на forumroditeley.ru обязательна!

sitemap     карта форума | Статистика визитов поисковых ботов | Выдача в поисковиках | слова | Мы в сетях

Написать админу

Яндекс.Метрика
Powered by phpBB © 2001, 2011 phpBB Group форум общения родителей ©27.09.2011-2024