robots.txt [Решено]

[Surf_rider]

Привет, нужна помощь с файлом robots.txt. Можете подсказать "правильный" файл, либо ткнуть на ошибки в этом. Не помню откуда его взял, кто то порекомендовал. Спасибо заранее.

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: mysite.org
Sitemap: http://www.mysite.org/sitemap.xml

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

[Anvar]

Форум как основной сайт или в отдельной директории сайта? Версия phpbb 3.0 или 3.1?

[Surf_rider]

Версия 3.1.4, Форум основной сайт.

[Anvar]

Я использую такой вот: (Заменить site.ru на свой домен)

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /authorize
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /url.php
Disallow: /index.php
Disallow: /viewtopic.php?p=*
Sitemap: http://site.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /authorize
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /url.php
Disallow: /index.php
Disallow: /viewtopic.php?p=*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Тут уже запрещён url.php добавляемый расширением External Links - Менеджер внешних ссылок можно эти строки удалить.
Также правило для карты сайта sitemap.xml указано, либо поставить карту или удалить строку.

[Surf_rider]

Благодарю. SitemapFX установлен, карта генерится. Но у меня есть ощущение что что то не так с ссылками и индексацией. К сожалению я в этом не силен.

[Anvar]

Sitemap FX нет для phpBB3.1.x, возможно поставили мод от phpBB 3.0 - он требует правок движка.

На данный момент есть расширение phpBB3 SEO Sitemap от Shredder
Но в ней присутствует не канонический вариант ссылок на темы /viewtopic.php?f= , должны начинаться так /viewtopic.php?t=, т.е. без f=

Для более детальной проверки индексации сайта, добавлении карты в яндекс, рекомендую добавить сайт в Яндекс Вебмастер

[Staiki Kiev]

Не согласен с такими запретами:

Disallow: /style.php

Disallow: /index.php

Disallow: /url.php

[Anvar]

style.php нет в 3.1, достался в наследство от 3.0 и проблем не несёт, это запрет можно удалить.
index.php нужен тому у кого прортал, то можно удалить. Если портал не стоит, то это дубль.
url.php запрещает индексировать страницу на внешние ссылки. Сколько ссылок, столько и страниц будет в поиске если этот запрет удалить.

[Surf_rider]

Спасибо коллеги, решил оставить вариант предложенный Anvar. Можно еще вопрос по случаю, можете подсказать где раздобыть расширение - пометить как ответ как у вас? Или это ручная работа?