Микроблоги Знакомства Люди Поиск Фото Музыка Регистрация Доброй ночи, Гость Вход


forumroditeley.ru


Социальная сеть родителей, для пап и мам, живущий
приглашает общаться будущих мам, беременных и родивших детей,
разведенных и одиноких родителей и всех тех, кто хочет знакомиться,
переживать и помогать на форуме родителей другим.
Мужской, женский и детский большой сайт - это полезные новости,
общение сейчас, интересные разговоры о наших детях.
В мире много-много порталов, но именно мы делаем все,
чтобы Вам было у нас лучше и комфортно без регистрации читать.

Наш сайт только для вас и у нас нет вообще тупой раздражающей рекламы
И помните: любые социальные сети воруют ваше время, а мы даем все самое лучшее!
Август на исходе - кончается лето. Ловите солнечные деньки!
Кто куда, а некоторых отправляю в баню

В этой теме отвечено 6 раз и проглядели 5367 раза!

 
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> мои мысли

Просмотров темы Кто куда, а некоторых отправляю в баню: 5367
Общая оценка: 0.00 :: Минимальная оценка: 0 :: Максимальная оценка: 0 :: Всего оценило: 0
Понравилось? Оцените по пятибальной шкале!
Выберите оценку: 

Или обязательно сохраните в браузере в закладки, если тема нужна Вам!
Автор Сообщение
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 04-Дек-16 16:51      #1  [дать ссылку]    
Вчера получил этот форум очередной тиц, на этот раз уже тиц150.

Для простых людей эта тема будет непонятной и вы можете покинуть эту страницу.

Мне кажется, мои манипуляции в профилактике форума будут кому то полезны в ведении сайта.

Практически каждую неделю добавляю в хтассес дубли страниц вот отсюда: http://forumroditeley.ru/bot/botsinfo.php . Все дубли запрещаю в роботс.

Если посмотреть, то можно удивится как яндекс уже в точности наоборот грузит форум в следствии моих манипуяций для индексации всего. Теперь яндекс уже гоняю так, что ставлю ему палки в ходули. В роботс стоит ограничение сканировать все в 40 секунд. Это значит, каждые 40 секунд заходят боты стучалки и шастают. Периодически можно наблюдать на главной сайта сколько онлайн висят.

Каждый день мне на почту приходили уведомления что превышен лимит. Это значит еще кто то нагружал. Мне прислали отчет и увидел особенности. Забанил одну сетку полностью с этого vprmz.rempm.ru. ай пи 188.128.19.46. Также в этом отчете было превышено количество заходов гуглебота. Вот не люблю этого поисковика, терпеть его не могу. Пришлось идти в панель управления и ставить минимальный тайминг для посещения домена. То есть, и ему тоже ограничил индексировать. Это жесть. Куда нафиг)

Забанил в хтассес один непонятный поисковый паук под названием synthesia вот такой строкой:

Код:
SetEnvIfNoCase User-Agent "^Synthesio" bot

Вчера этот гаденыш выкачивал чего то с форума 461.27 МБ. Что он выкачал, не стал дальше смотреть. Тупо ему заходить запретил.

Бот Phantom непонятен тоже. В сети его сложно найти описание что он такое, что же он творит с сайтами. У меня он вчера выкачал 15.88 МБ чего то.

Вот этот айпи 52.29.26.11 отображается как паук амазона, что его местоположение показывается как в Германии. Пока он на заметке. Теоретически, насколько я знаю, этот паук амазона посещает интернет-банкинги и магазины. У меня этого тут нет вообще. Как это логически?

Форум, видел, периодически атаковывали программами-регистраторами с почты gmail.com и с других почт. Сейчас дошли руки и тупо начал тоже банить все сетки в хтассесе. Проверить айпи можно вот тут:https://cleantalk.org/. Пример, что пытались регистрировать профили вот тут и тут.

Как только буду манипулировать что то опять, параллельно сюда буду дописывать в записи
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 05-Дек-16 22:55      #2  [дать ссылку]    
Сейчас снова смотрел статистику и увидел что уже давно программы-авторегистаторы типа хрумера и зеуса лезут, пытаясь проспамить или зарегистрировать левый профиль.

Прописал в хтассес:

Код:
SetEnvIfNoCase User-Agent "^XRumer" bot
SetEnvIfNoCase User-Agent "^xrumer" bot


Код:
SetEnvIfNoCase User-Agent "^Xenu" bot
SetEnvIfNoCase User-Agent "^Zeus" bot


Все таки пришлось бота амазона забанить к чертям.

Также заодно занес в хтассес ботов качалок-программ типа регет, телепорт и копиер.

Кстати, сам пользуюсь программой для выкачивания у конкурентов, чтобы просмотреть всю структуру и продумать для себя нечто. Вот она программа: HTTrack

Код:

SetEnvIfNoCase User-Agent "^HTTrack" bot
SetEnvIfNoCase User-Agent "^Magnet" bot
SetEnvIfNoCase User-Agent "^Mag-Net" bot
SetEnvIfNoCase User-Agent "^Microsoft.URL" bot
SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot
SetEnvIfNoCase User-Agent "^Ninja" bot
SetEnvIfNoCase User-Agent "^NPbot" bot
SetEnvIfNoCase User-Agent "^Octopus" bot
SetEnvIfNoCase User-Agent "^Offline\ Explorer" bot
SetEnvIfNoCase User-Agent "^Offline\ Navigator" bot
SetEnvIfNoCase User-Agent "^PageGrabber" bot
SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bot
SetEnvIfNoCase User-Agent "^RealDownload" bot
SetEnvIfNoCase User-Agent "^ReGet" bot
SetEnvIfNoCase User-Agent "^Teleport" bot
SetEnvIfNoCase User-Agent "^Telesoft" bot
SetEnvIfNoCase User-Agent "^WebCopier" bot
SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bot
SetEnvIfNoCase User-Agent "^WebReaper" bot
SetEnvIfNoCase User-Agent "^WebSauger" bot
SetEnvIfNoCase User-Agent "^Wget" bot


Уже собрал целую коллекцию всех зловред-ботов программ, регистраторов.

Это 3.14ец.

Целая коллекция и думаю тоже ее выложить, но уже в осмысленной форме в теме о ботах, которых тоже нужно банить. Кстати, эти зловреды, насколько прошерстив все форумы и поспрошав у друзей, шалят на сайтах как и с тиц10, так и с тиц40. Им пофигу сколько у вас тиц и посещалка. Так что, эти боты кладут намертво слабые сайты на слабых хостингах.

Я не все строчки с ботами выложил. Просто показал, что сегодня сделал в очередной раз на этом форуме.

Кстати, если прояндексить про синтесио, его полное имя также выводится как Synthesio Crawler release MonaLisa

Знаете что обидно? В хтассес занес еще 7 сеток айпи с америки, с нидерланды, с россии (провайдер Ростелеком). Обидно то, что люди, находясь в запрещенном айпи в сетке не смогут попросту зайти на этот форум - им покажется белый экран.

Также снова в форуме прописал в черный список почтовиков (иностранных и российских однодневок), с которых хрумер, зеус и прочие авторегистраторы пытаются зайти на сайт.

_________________
Быть иным среди других сложно, но удивляя окружающих, можно быть Богом
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 08-Дек-16 13:57      #3  [дать ссылку]    
Все мои манипуляции по яндексу пришли в полный порядок и вместо 180 лимит на яндексботов (стучалок, индексаторов картинок и краулеров) понизил в 2 минуты, то есть сейчас поставил в 120. Такая же проблема у людей на их сайтов, кто получил тиц в большую сторону, видимо, боты и краулеры яндекса активизировались и чаще индексируют, хотя я не знаю что там можно искать, если все есть в базе запросов и в логах.

Руки дошли и до гуглебота. То, что сделал в панели управления, конечно помогло, но такая вещь как дубли страниц гуглебот также начал к себе кидать. Не понятно все это, зачем ему такое вытворять. На сайте searchengines.guru нашел как запретить в роботс дубли для гугл. Ссылка вела на поддержку вебмастерам в гугле как правильно составить роботс для гуглебота, чтобы запретить дубли страниц. Вот она - пользуйтесь на здоровье.

Сейчас смотрел на моих сайтах, где тиц поднялся в 20 и в 40 очков и тоже приметил, что и там зашалили боты яндекса и гугл. Основной роботс на форум родителей перекинул в корень сайтов, где шалят, чуть поправив папки. А так, ниче, все срабатывается. Интересно, как дела стоят у других людей с тиц, у кого поднялся? Не замечают или не видят нихрена что их грузят. Мне очень нравится и помогает то что установил заране скрипт статистики визитов ботов, где могу видеть, что яндекс и гугл сканируют и посещают. На основе его несуществующие папки и подпапки в роботс запрещаю. Почитать и скачать скрипт можно в соседнем подразделе вебмастеру .

Уже дней 5 назад полностью прекратил работать с социальными сетями. Это заметно на главной странице в низу, в плавающих кнопках поделиться. Циферки остановились расти. Считаю, что с лета и до получения тиц150 работа в социальных сетях сильно помогло форуму! Этот же алгоритм уже давно мною протестирован на других сайтах и применять начал к форуму родителей. Кстати, нихрена не вложил рубля в такой способ поднятия форума.

Я не хвастаюсь, просто виден результат...

_________________
Быть иным среди других сложно, но удивляя окружающих, можно быть Богом
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 19-Дек-16 20:27      #4  [дать ссылку]    
Сейчас все устаканилось. Все мои манипуляции помогли справится с напастями:
1. лишний траффик с каких то сайтов
2. нагрузка поисковых ботов
3. убрал все дубли страниц, форумов и разделов.

Единственное, играюсь с ограничением лимита для яндекс-ботов. Было 50, сейчас выставил буквально минуту назад в 10. И оповестил яндекс об изменении. Хочу посмотреть эти 2 дня что яндекс будет делать с форумом. Если снова нагрузит, то поставлю как было раньше в 30.

Для тех, кто хочет посмотреть файл роботс >> http://forumroditeley.ru/robots.txt
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
mili60
новичок
Не онлайн
Зарегистрирован: 2016-12-07
Рейтинг:
живет тут 992 день
Сообщ.: 30

Темы: Нет
Откуда Вы: Петрозаводск
Страна: russia.gif
Сообщение 20-Дек-16 12:25      #5  [дать ссылку]    
Сложно все-это как-то, прочитала внимательно, не очень поняла в этих настройках. Нужны познания, уж точно! Хотя понятие о роботс имеется

Посмотрела Ваш роботс, у меня намного короче, но мне его рекомендовал программист, я особо туда не лезла сама. Хорошо, когда в этом разбираешься! Surprised Razz
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 21-Дек-16 12:39      #6  [дать ссылку]    
mili60 писал(а):
Сложно все-это как-то, прочитала внимательно, не очень поняла в этих настройках. Нужны познания, уж точно! Хотя понятие о роботс имеется

Посмотрела Ваш роботс, у меня намного короче, но мне его рекомендовал программист, я особо туда не лезла сама. Хорошо, когда в этом разбираешься! Surprised Razz


У вас движок вордпресс на Вашем блоге и в роботс закрывают от индексации папки. Там, если не ошибаюсь 2 или 4 строчки.
Кстати, полезный блог очень интересный. Почитал и много узнал полезного! Так держать!

Если желаете, обращайтесь за помощью, проконсультирую и сделаю бесплатно и безвозмездно.

Кстати, у вас в блоге занимательный роботс.txt
Код:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/stb-themes
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php

User-agent: Googlebot
Allow: /wp-content/uploads
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.png
Allow: *.gif
Allow: *.svg
Disallow: /wp-

User-Agent: Yandex
Allow: /wp-content/uploads
Allow: *.css
Allow: *.js
Allow: *.jpg
Allow: *.png
Allow: *.gif
Disallow: /wp-
Crawl-delay: 5
Host: lmoroshkina.ru

Sitemap: http://lmoroshkina.ru/sitemap.xml


Эта тема будет передавать вам тицулю на ваш блог, так как домен блога упомянут. Яндекс тоже увидит помимо вашего профиля.
И если честно. у вас очень грамотно составлено, я бы так не смог.

+1
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2889 день
Сообщ.: 8759

Темы: 4714
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 22-Дек-16 15:56      #7  [дать ссылку]    
Как понизить индексацию в настройках гугл
https://www.google.ru/webmasters/

Как изменить скорость индексации:

На главной странице Инструментов для веб-мастеров выберите нужный сайт.
В меню Конфигурация сайта нажмите Настройки.
В разделе Скорость индексации выберите требуемое значение.

Новая скорость индексирования будет действовать в течение 90 дней.
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Поделиться в memori Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Заголовок новой темы
Форум для новой темы
 
Страница 1 из 1
Показать сообщения:   
Кто куда, а некоторых отправляю в баню
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> мои мысли Часовой пояс: GMT + 3

 

Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы можете скачивать файлы
Вход
Имя:    Пароль:      Автоматически входить при каждом посещении    


Подписка RSS

Follow

Наши сервисы

На правах рекламы

Анонимное голосование

Понравилось?
Мы в сетях:
                           
Все материалы сайта представлены только для ознакомления. При копировании материала ссылка на forumroditeley.ru обязательна!

sitemap     карта форума | Статистика визитов поисковых ботов | Выдача в поисковиках | м | слова | Новости науки от яндекса

Написать админу

Нравится
Яндекс.Метрика
Powered by phpBB © 2001, 2011 phpBB Group форум общения родителей ©27.09.2011-2019