robots.txt  [Решено]

Помощь, обучение и решение проблем с phpbb. Запросы и просьбы по созданию модификаций для форумов
Правила форума
Не загружайте скриншоты(изображения) на внешние хостинги для их размещения в сообщениях. Такие изображения могут быть утеряны и темы будут уже не актуальными, не перспективные темы могут остаться не решёнными!
Ответить
Аватара пользователя
Surf_rider
bb3.0.7
bb3.0.7
Сообщения: 75
Зарегистрирован: 25.05.2015, 11:36
Репутация: 2

robots.txt

Сообщение Surf_rider » 25.05.2015, 12:58 #1

Привет, нужна помощь с файлом robots.txt. Можете подсказать "правильный" файл, либо ткнуть на ошибки в этом. Не помню откуда его взял, кто то порекомендовал. Спасибо заранее.

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: mysite.org
Sitemap: http://www.mysite.org/sitemap.xml

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Аватара пользователя
Anvar
Администратор
Администратор
Сообщения: 1260
Зарегистрирован: 08.08.2014, 14:26
Репутация: 356

robots.txt

Сообщение Anvar » 25.05.2015, 14:07 #2

Форум как основной сайт или в отдельной директории сайта? Версия phpbb 3.0 или 3.1?
Не пишите в ЛС и ICQ вопросы которые можете задать на форуме!
Заказы по разработке не выполняю!

Аватара пользователя
Surf_rider
bb3.0.7
bb3.0.7
Сообщения: 75
Зарегистрирован: 25.05.2015, 11:36
Репутация: 2

robots.txt

Сообщение Surf_rider » 25.05.2015, 14:31 #3

Версия 3.1.4, Форум основной сайт.

Аватара пользователя
Anvar
Администратор
Администратор
Сообщения: 1260
Зарегистрирован: 08.08.2014, 14:26
Репутация: 356

robots.txt  [Решено]

Сообщение Anvar » 25.05.2015, 17:10 #4

Я использую такой вот: (Заменить site.ru на свой домен)

Код: Выделить всё

User-agent: *
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /authorize
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /url.php
Disallow: /index.php
Disallow: /viewtopic.php?p=*
Sitemap: http://site.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /*?sid=*
Disallow: /adm/*
Disallow: /download/*
Disallow: /authorize
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /url.php
Disallow: /index.php
Disallow: /viewtopic.php?p=*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Тут уже запрещён url.php добавляемый расширением External Links - Менеджер внешних ссылок можно эти строки удалить.
Также правило для карты сайта sitemap.xml указано, либо поставить карту или удалить строку.

Аватара пользователя
Surf_rider
bb3.0.7
bb3.0.7
Сообщения: 75
Зарегистрирован: 25.05.2015, 11:36
Репутация: 2

robots.txt

Сообщение Surf_rider » 25.05.2015, 17:17 #5

Благодарю. SitemapFX установлен, карта генерится. Но у меня есть ощущение что что то не так с ссылками и индексацией. К сожалению я в этом не силен.

Аватара пользователя
Anvar
Администратор
Администратор
Сообщения: 1260
Зарегистрирован: 08.08.2014, 14:26
Репутация: 356

robots.txt

Сообщение Anvar » 25.05.2015, 21:28 #6

Sitemap FX нет для phpBB3.1.x, возможно поставили мод от phpBB 3.0 - он требует правок движка.

На данный момент есть расширение phpBB3 SEO Sitemap от Shredder
Но в ней присутствует не канонический вариант ссылок на темы /viewtopic.php?f= , должны начинаться так /viewtopic.php?t=, т.е. без f=

Для более детальной проверки индексации сайта, добавлении карты в яндекс, рекомендую добавить сайт в Яндекс Вебмастер

Аватара пользователя
Staiki Kiev
bb3.1.3
bb3.1.3
Сообщения: 387
Зарегистрирован: 03.03.2015, 02:57
Репутация: 5

robots.txt

Сообщение Staiki Kiev » 26.05.2015, 01:56 #7

Не согласен с такими запретами:
Anvar писал(а):Disallow: /style.php

Anvar писал(а):Disallow: /index.php

Anvar писал(а):Disallow: /url.php
http://staiki.net/index.php - Форум Компьютерной Помощи

Аватара пользователя
Anvar
Администратор
Администратор
Сообщения: 1260
Зарегистрирован: 08.08.2014, 14:26
Репутация: 356

robots.txt

Сообщение Anvar » 26.05.2015, 07:13 #8

style.php нет в 3.1, достался в наследство от 3.0 и проблем не несёт, это запрет можно удалить.
index.php нужен тому у кого прортал, то можно удалить. Если портал не стоит, то это дубль.
url.php запрещает индексировать страницу на внешние ссылки. Сколько ссылок, столько и страниц будет в поиске если этот запрет удалить.

Аватара пользователя
Surf_rider
bb3.0.7
bb3.0.7
Сообщения: 75
Зарегистрирован: 25.05.2015, 11:36
Репутация: 2

robots.txt

Сообщение Surf_rider » 26.05.2015, 08:09 #9

Спасибо коллеги, решил оставить вариант предложенный Anvar. Можно еще вопрос по случаю, можете подсказать где раздобыть расширение - пометить как ответ как у вас? Или это ручная работа?


Вернуться в «Вопросы, ответы и запросы»