Forums / National / Russian / Тех. поддержка / Вопрос о файле robots.txt

Herzog Zwei
#1 2016-03-05 06:05

Сегодня обнаружил в гугле ссылку на страницу http://nebuzi.ru/?questionsd=1

Как запретить индексацию вопросов в плагине news на главной странице чтобы избежать дублирования? 
Нужно чтобы индексировались только сами страницы вопросов.
А также запретить индексацию Новостей в плагине news на главной.

Сайт: nebuzi.ru

Добавлено 58 минут спустя:

С первым разобрался вроде Disallow: /?questionsd  все вопросы на страницах 2,3,4,5 и тд запрещаются к индексации, а на самих страницах вопроса нет. Проверял через яндекс вебмастер.
Вот на 1-й не знаю скрываются или нет, так как это главная страница сайта nebuzi.ru, да и пусть все равно там будут добавляться новые вопросы тем самым смещая вопросы в 2,3,4,5 и тд.

Также закрыл от робота такие страници как /auto , с помощью Disallow: /auto$
$ в конце не дает запретить индексировать сами  страницы и вопросы в подкатегориях

А вот с новостяси на главной в плагине NEWS пока не знаю что делать. Если кто знает напишите.

This post was edited by Herzog Zwei (2016-03-05 12:01, 8 years ago)
Roffun
#2 2016-03-05 14:07

А зачем вы категории закрываете от индексации ?

Лучше напишите немного текста для каждой категории, и пусть работает.

О каких дублях идёт речь ?  меньше слушайте сеошников, как может быть дублем часть текста (в краткой) если она ссылается на полную новость ?

Это превью к статье, можно сказать снипет, в котором есть ссылка на статью. Лучше оптимизировать категорию чем закрывать её.

Сейчас даже файлы css и js не нужно закрывать в robots, а они явно не сравнятся по информативности с категорией.

То же самое облако тегов, оно должно работать.

Настройте ЧПУ везде где можно, а адреса с ? можно закрыть такой строчкой:

Disallow: /*?*

Улетел на другую планету, а там почты нету.. https://www.cotonti.com/forums/45298?m=posts
Herzog Zwei
#3 2016-03-05 14:46

Просто я выделил часть текста одного вопроса и вставил его в поиск. В поисковой выдаче была ссылка на категории, а не на саму страницу вопроса. Это неудобно для посетителей. Они не будут искать среди кучи вопросов, ключевые слова которые они ввели в поиск. Лучше чтобы они сразу попадали на страницу вопроса. У меня основной контент сайта это вопросы с небольшим описанием, которое на превью то не всегда тянет.
Поэтому я закрыл от индексации чтобы не было одного и того же дважды. Эта страница нужна лишь для тех кто захочет посмотреть вопросы в определенной тематике, а таких я думаю меньшенство - основные посетители будут из поиска, просто посмотреть ответ и уйти с сайта.

Новости тоже нашел как скрыть добавить Disallow: /?d