Главная Блоги Пользователи Поиск Фото Регистрация Добрый вечер, Гость Вход


forumroditeley.ru


Большой форум родителей, для пап и мам, который уже живет
приглашает общаться будущих мам, беременных и родивших детей,
разведенных и одиноких родителей и всех тех, кто хочет знакомиться,
переживать и помогать на форуме родителей другим.
Мужской, женский и детский форум общения сейчас - это новости города, онлайн разговоры о детях.
В мире есть много сайтов, но мы стремимся быть лучше и комфортнее быть
для вашего восприятия всего необычного в мире, полезного для семьи,
увлекательного для детей, познавательного для себя.
Форум обсуждения сделан для людей и у нас нет вообще тупой раздражающей рекламы
Как снизить нагрузку на хостинг. Что делать, если сайт тормозит  
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру

Рейтинг для темы >> Как снизить нагрузку на хостинг. Что делать, если сайт тормозит
Общая оценка: 0.00 :: Минимальная оценка: 0 :: Максимальная оценка: 0 :: Всего оценило: 0
Оцените труд автора по пятибальной шкале!
Выберите оценку: 

Автор Сообщение
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2306 день
Сообщ.: 7894

Темы: 3988
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 06-Авг-13 12:40      #1  [дать ссылку]    
Добрый день, уважаемые вебмастеры, владельцы сайтов и даже хостингов. Хочу рассказать некоторые хитрости, как снизить нагрузку сайта на хостинг. В общем все понятно, если у вас сайт малопосещаем и даже он сателлит. Речь пойдет сейчас о тех сайтах, которые имеют посещаемость от 200 и выше людей.

Что такое нагрузка? Под нагрузкой понимается высокий расход оперативной памяти сервером, нагрузка на процессор (процессорное время), а также нагрузка на интернет канал. Вот эти параметры мы и будем разгружать.

Кто создает нагрузку? На любом сайте посетители (люди) создают процентов 5-10 нагрузки, остальные ресурсы нагружают боты (поисковые и прочие). Наша задача будет состоять в том, чтоб на сайт не ходили "плохие и бесполезные" боты, тем самым уменьшим по максимуму реальную (ботовую) посещаемость сайта.

Любой сайт всегда создает нагрузку на свой сервер, но ее можно уменьшить, причем очень заметно. Уменьшая нагрузку на хостинг или сервер, создаваемую своим сайтом, вы уменьшаете свои затраты на хостинг, vds или аренду выделенного сервера.

Недавно я узнал интересные методы и успешно применил для форума родителей эти маленькие хитрости, как снизить нагрузку на хостинг, если сайт нагружают, позволяющих снизить нагрузку до 90% от первоначальной. При этом вам не понадобятся знания администрирования сервера, root доступ к серверу и знание прочих "высоких технологий"! Все просто и примитивно!

Часто можно читать на форумах или сайтах вопросы, что у владельца сайт в дауне или отключен из-за нагрузки на процессор в целом. Как правило, хостер сразу же отключает ваш сайт, чтобы вы могли устранить причину нагрузку на хостинг. Проходит время, а если это на выходных, и не сразу сайт ваш будет доступен, не сразу же можно достучаться до саппорта хостера. Последствия - падает траффик, постоянные люди уже не заходят. Вам это надо?

Для наглядности подсчета давайте считать для примера исходную нагрузку в 100 условных пунктов. Хочу вам сказать, чем больше на вашем сайте страниц и чем сайт старше и раскрученнее - тем больше на нем ботовая посещаемость, поэтому мои рекомендации, как понизить потребеление нагрузки на ваш сервер, в целом вам помогут, уверяю Вас!

Способ 1. Первый способ снижения нагрузки - определиться с главным зеркалом сайта. Скорей всего ваш сайт доступен по двум адресам - с www и без. Большинство ботов, кроме самых умных - яндекса и гугла, считают что это два разных сайта, а значит и выкачивают ваш сайт по два раза. Наша задача - решить какой URL сайта оставлять, а с какого сделать 301 редирект на главное зеркало. Для примера идем по ссылке вида: http://webmaster.yandex.ru/check.xml?hostname=www.forumroditeley.ru (вместо www.forumroditeley.ru поставить ваш сайт) и видим: Сайт является зеркалом forumroditeley.ru. Значит в нашем случае будем делать главным зеркалом домен forumroditeley.ru, а с www.forumroditeley.ru сделаем 301 редирект. Редирект этот делается с помощью .htaccess

Если вы желаете, чтоб главным доменом был сайт без www, то в .htaccess который лежит у вас в корне (если его там не лежит, то создать) пишите такое:

Код:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.forumroditeley.ru$ [NC]
RewriteRule ^(.*)$ http://forumroditeley.ru/$1 [R=301,L]


Вместо forumroditeley.ru следует прописать ваш сайт. Адрес с www достаточно быстро переклеится на вид без www, все SEO показатели также склеятся (суммируются) достаточно быстро.

Если вашим главным доменом будет домен с www - то в .htaccess писать:

Код:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^forumroditeley.ru$ [NC]
RewriteRule ^(.*)$ http://www.forumroditeley.ru/$1 [R=301,L]


Не забудтьте указать главный домен в файле robots.txt. Такая принудительная склейка зеркал заметно снижает посещаемость сайта ботами, ведь им теперь не нужно по 2 раза выкачивать один и тот же сайт, в среднем это снимет 20 пунктов нагрузки с сайта.

Способ 2. - robots.txt. В него обязательно прописать для яндекса главный домен, а также для всех ботов закрыть от индексации все бесполезные страницы - часто это страницы списка пользователей, внутренние дубли страниц, поиск по сайту, страницы тегов, pda и print версии сайта и т.п.. Если таких "мусорных" страниц на вашем сайте было много - то и нагрузка снизится заметно.

Способ 3. - баним ботов. Достаточно действенный способ, с помощью .htaccess блокируем полностью доступ к сайту ботам по их именам. Для этого в .htaccess прописываем:

Код:
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]


Вы можете в этот список дополнительно добавить ботов: bingbot, msnbot, Slurp, для русскоязычных сайтов от них пользы мало, трафика почти нету, а Yahoo (Slurp) нагрузку создает огромнейшую, т.к. очень активный и агрессивный. Даже без блокировки Yahoo и Bing - этот способ уменьшит посещаемость ботами примерно на 40 условных пунктов.

Пример:
Код:
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]

Это строки ставим перед последней строкой!

Способ 4. - блокировка по IP. Тут вам будет тяжелее! Вам придется вести логи активности ip адресов или анализировать серверные логи, и банить ip адреса безымянных активных ботов, в основном это парсеры (автоматические воры контента и т.п.) и в большинстве случаев их ip принадлежат хостинг провайдерам, заметили активный ip, посмотрите whois ip адреса, например вот так http://whois.domaintools.com/83.222.14.3 и если там явно указан хостер - смело можно всю подсеть банить через .htaccess (каждый ip построчно в виде: deny from 83.222.14.). Очень много таких неизвестных ботов-парсеров, а также спам-ботов идет с российских хостингов: Мастерхост, Агава, Руцентр, Можордомо, также Китай, Турцию и т.п. страны третьего мира можно банить сразу всю подсеть... Данный способ дает минимум 10 пунктов снижения нагрузки.

Думаю, этот способ решения проблем, как устранить нагрузку на свой хостинг, поможет вам в любом случае!
Вот такие простые и примитивные методы помгают снизить количество посещений сайта ботами на 80-90% и соответственно нагрузка падает очень заметно, при этом сайт ни в чем не страдает и не ущемляется, т.е. можно не бояться, что поисковики начнут к сайту плохо относиться, даже наоборот, способы 1 и 2 - можно отнести к внутренней оптимизации сайта... Если у вас многостраничные сайты (от нескольких тысяч страниц) или сайтов много - вам обязательно нужно проделать вышеописанное, и возможно вместо выделенного сервера от 150-200$ в месяц - вам хватит обычного шаред хостинга за 15$.

От меня: у меня после этих манипуляций значительно понизилась нагрузка на хостинг. Пока я доволен и проверяю график нагрузки в панели управления в свем хостинге. Поверьте, после таких переделок в хтассесе вы сможете значительно уменьшить посещаемость не нужных вам поисковых ботов и пауков. Для наглядности вы можете посмотреть открытую статистику посещений поисковиков!
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
администратор
администратор
Не онлайн
Зарегистрирован: 2011-09-27
Рейтинг:
живет тут 2306 день
Сообщ.: 7894

Темы: 3988
Откуда Вы: Новая Усмань, Воронежская обл
Страна: russia.gif
Сообщение 04-Авг-16 11:53      #2  [дать ссылку]    
Также, чтобы снизить нагрузку на свой сайт, почитайте эту тему:

Как нагружает яндекс или как яндексу вставлять палки в ходули

_________________
... иной среди других
Вернуться к началу

Share on APSense Поделиться в LiveJournal Поделиться в Liveinternet Blogger.com Поделиться на Tumblr Запомнить эту страницу на Закладок.нет! Поделиться на zakladki.by Поделиться на stumbleupon.com Поделиться на url.org Поделиться в zakladki.orbita.co.il Поделиться в memori Мой Мир Одноклассники.ru Добавить в закладки i.ua Добавить в закладки в folkd Добавить в закладки juwit Добавить в imgfave Пост! Добавить в xerpi



Мануал - как поделиться с друзьями в сетях - откроется в новой вкладке
Заголовок новой темы
Форум для новой темы
 
Страница 1 из 1
Показать сообщения:   
Как снизить нагрузку на хостинг. Что делать, если сайт тормозит
Начать новую тему   Ответить на тему    forumroditeley.ru -> администратор -> вебмастеру Часовой пояс: GMT + 3

 

Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы можете скачивать файлы
Вход
Имя:    Пароль:      Автоматически входить при каждом посещении    


Подписка RSS

Наши сервисы

На правах рекламы

Анонимное голосование

Визиты

Понравилось?
Мы в сетях:
                 
Все материалы сайта представлены только для ознакомления. При копировании материала ссылка на forumroditeley.ru обязательна!

sitemap     карта форума | sitemap 2 | Статистика визитов поисковых ботов | Выдача в поисковиках | слова | tv

Новости науки от яндекса | Написать админу


Яндекс.Метрика

Powered by phpBB © 2001, 2011 phpBB Group
| ©2012-2018 - форум общения