Forums / National / Russian / Тех. поддержка / Вопрос о файле robots.txt

А зачем вы категории закрываете от индексации ?

Лучше напишите немного текста для каждой категории, и пусть работает.

О каких дублях идёт речь ?  меньше слушайте сеошников, как может быть дублем часть текста (в краткой) если она ссылается на полную новость ?

Это превью к статье, можно сказать снипет, в котором есть ссылка на статью. Лучше оптимизировать категорию чем закрывать её.

Сейчас даже файлы css и js не нужно закрывать в robots, а они явно не сравнятся по информативности с категорией.

То же самое облако тегов, оно должно работать.

Настройте ЧПУ везде где можно, а адреса с ? можно закрыть такой строчкой:

Disallow: /*?*