cotonti.com : Вопрос о файле robots.txt https://www.cotonti.com Last topic posts Cotonti en Tue, 02 Dec 2025 19:22:20 -0000 Herzog Zwei Просто я выделил часть текста одного вопроса и вставил его в поиск. В поисковой выдаче была ссылка на категории, а не на саму страницу вопроса. Это неудобно для посетителей. Они не будут искать среди кучи вопросов, ключевые слова которые они ввели в поиск. Лучше чтобы они сразу попадали на страницу вопроса. У меня основной контент сайта это вопросы с небольшим описанием, которое на превью то не всегда тянет.
Поэтому я закрыл от индексации чтобы не было одного и того же дважды. Эта страница нужна лишь для тех кто захочет посмотреть вопросы в определенной тематике, а таких я думаю меньшенство - основные посетители будут из поиска, просто посмотреть ответ и уйти с сайта.

Новости тоже нашел как скрыть добавить Disallow: /?d

]]> Sat, 05 Mar 2016 14:46:38 -0000 Roffun А зачем вы категории закрываете от индексации ?

Лучше напишите немного текста для каждой категории, и пусть работает.

О каких дублях идёт речь ?  меньше слушайте сеошников, как может быть дублем часть текста (в краткой) если она ссылается на полную новость ?

Это превью к статье, можно сказать снипет, в котором есть ссылка на статью. Лучше оптимизировать категорию чем закрывать её.

Сейчас даже файлы css и js не нужно закрывать в robots, а они явно не сравнятся по информативности с категорией.

То же самое облако тегов, оно должно работать.

Настройте ЧПУ везде где можно, а адреса с ? можно закрыть такой строчкой:

Disallow: /*?*

]]> Sat, 05 Mar 2016 14:07:25 -0000 Herzog Zwei Сегодня обнаружил в гугле ссылку на страницу http://nebuzi.ru/?questionsd=1

Как запретить индексацию вопросов в плагине news на главной странице чтобы избежать дублирования? 
Нужно чтобы индексировались только сами страницы вопросов.
А также запретить индексацию Новостей в плагине news на главной.

Сайт: nebuzi.ru

Добавлено 58 минут спустя:

С первым разобрался вроде Disallow: /?questionsd  все вопросы на страницах 2,3,4,5 и тд запрещаются к индексации, а на самих страницах вопроса нет. Проверял через яндекс вебмастер.
Вот на 1-й не знаю скрываются или нет, так как это главная страница сайта nebuzi.ru, да и пусть все равно там будут добавляться новые вопросы тем самым смещая вопросы в 2,3,4,5 и тд.

Также закрыл от робота такие страници как /auto , с помощью Disallow: /auto$
$ в конце не дает запретить индексировать сами  страницы и вопросы в подкатегориях

А вот с новостяси на главной в плагине NEWS пока не знаю что делать. Если кто знает напишите.

]]> Sat, 05 Mar 2016 06:05:13 -0000