Cotonti / Open Source PHP Content Management FrameworkContent Management Framework

Форуми / National / Russian / Сборка «Фриланс-биржа» / Как сделать правильный Robots.txt ?

Louck
#1 06.06.2020 14:59

Протестировал сайт в seranking. Система индексирует много ненужных служебных страниц. 

Поделитесь пожалуйста вашим Robots.txt под этот движок.

Kopusha
#2 06.06.2020 16:02

User-agent: *
Disallow: /

Louck
#3 07.06.2020 08:24

Смешно 

Kopusha
#4 07.06.2020 09:07

У меня действительно такой файл

kushelbek
#5 17.06.2020 12:34
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml
Виктор
#6 28.06.2020 06:03
#44901 kushelbek:
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml

я бы добавил еще

Disallow: /users
Kopusha
#7 28.06.2020 10:32

Зачем 

Allow: /*/*.js 

и тд?