Онлайн журнал для всех — дофоллоу блог девушки

robots.txt — специальный файл, предназначенный для поисковых машин. В нем указываются параметры индексации для конкретного сайта. Если вы хотите, чтобы ваш форум индексировался правильно, то нельзя упускать из внимания наличие данного файла.

Настройка robots.txt, специализированного под форумы phpBB.

Запрет индексации

Для начала нужно запретить индексацию всех служебных страниц, которые не содержат уникального контента и только лишь снижают релевантность форума. Запрет индексации делается при помощи директивы Disallow: с аргументом в виде страницы (или шаблона страниц), которые не нужно индексировать. Служебными страницами в phpBB являются, например ucp.php (Личный раздел), faq.php (FAQ), search.php (Поиск), memberlist.php (Пользователи). Нужный нам код:

Также для phpBB стоит запретить к индексации ссылки на конкретные сообщения. Выглядят они следующим образом — viewtopic.php?p=54#p54. Для этого нам достаточно указать в robots.txt всего одну строку, воспользовавшись * (звездочкой) для указания шаблона:

Можно еще запретить к индексации первые страницы тем, так как ссылка на тему без указания параметра страницы ведет именно на нее, поэтому дополнительно указывать первую страницу в качестве параметра не имеет смысла — получается одинаковый контент по разным ссылкам. Ссылки на первые страницы имеют вид viewtopic.php?f=69&t=724145&start=0. Поэтому для запрета индексации нужно использовать следующий код:

При просмотре каждой темы внизу выводятся 2 ссылки, ведущих на соседние темы — предыдущую и следующую в списке. Для таких ссылок используются параметр view, имеющий соответственно значения view=next и view=previous. Такие ссылки лучше также запретить для индексации:

Указание файла sitemap

Для ускорения индексации новых страниц и переиндексации старых очень помогают файлы sitemap. Встроенного sitemap в phpBB3 на данный момент нет, однако можно поставить один из существующих модов-генераторов sitemap для форума (например, написанный мною Sitemap FX). Если у вас нет sitemap и вы не планируете таковой устанавливать, то можете пропустить этот пункт. Остальным же нужно прописать директиву Sitemap: с указанием пути к файлу sitemap в качестве аргумента:

Можно указывать сразу несколько sitemap, если у вас они сгенерированы в нескольких файлах:

Указание промежутков между обращениями роботов

Иногда бывает так, что робот при индексировании вашего форума создает слишком большую нагрузку на сервер, в результате чего могут быть плохие последствия, например, временное отключение сервера. Чтобы исправить такую ситуацию, введена директива Crawl-delay, устанавливающая тайм-ауты при обращении роботов к сайту. Аргументом этой директивы является время в секундах, чаще которого робот не должен обращаться к сайту (реже — может). Если мы хотим указать тайм-аут, например, 5 секунд, то нужно поместить такой код в наш robots.txt:

Указание динамических параметров из url

В phpBB достаточно давно используются сессии, которые дописываются к ссылкам на форуме в виде параметра sid=. При правильной настройке cookies на форуме, данный параметр в адресе будет всего лишь один раз, затем он запишется в куки. Кроме того, для всех поисковиков, прописанных на форуме в группе «Боты», сессии отключены автоматически. Однако можно перестраховаться, прописав идентификатор сессии как динамический параметр в файле robots.txt — и тогда роботы не будут учитывать его при индексации страниц. Получаем следующий код для robots.txt: