На сайте немного посетителей – откуда нагрузки? Что делать?
Нередки случаи, когда даже малопосещаемые сайты создают чрезмерные нагрузки на сервер. Частой причиной является высокая интенсивность сканирования сайтов ботами поисковых систем. Расходуемый трафик может доходить до гигабайт в сутки.
Как снизить нагрузку от ботов поисковых систем?
Для того чтобы поисковые системы не грузили сервер, настоятельно рекомендуем создать файл “robots.txt” в корне каждого сайта (если еще не создан) и прописать следующие строки:
User-agent: msnbot
Crawl-delay: 120
User-agent: Slurp
Crawl-delay: 5
Это снизит нагрузку от роботов Yahoo.com и msn.com. Среди русскоговорящей аудитории данные поисковые системы непопулярны, поэтому данный метод можно смело использовать для всех Ваших сайтов.
Также можно добавить сайт в центр вебмастеров Гугла http://www.google.com/webmasters/ , подтвердить права и указать минимальную скорость индексации. Это не повлияет на видимость Вашего сайта в Гугле, а лишь снизит интенсивность индексации.
Прочие рекомендации
По возможности оптимизируйте работу скриптов. Используйте кэширование. Если у Вас на сайте есть фотогалерея, убедитесь, что картинки не обрабатываются при каждом запросе пользователя «на лету», а загружаются уже предобработанные статические файлы.
Если Вы используете на хостинге сайтов популярные движки форумов, порталов и CMS, в панели администратора есть, как правило, дополнительные функции для снижения нагрузок.