Forums / National / Russian / Сборка «Фриланс-биржа» / Как сделать правильный Robots.txt ?

Louck
#1 2020-06-06 14:59

Протестировал сайт в seranking. Система индексирует много ненужных служебных страниц. 

Поделитесь пожалуйста вашим Robots.txt под этот движок.

Kopusha
#2 2020-06-06 16:02

User-agent: *
Disallow: /

Louck
#3 2020-06-07 08:24

Смешно 

Kopusha
#4 2020-06-07 09:07

У меня действительно такой файл

kushelbek
#5 2020-06-17 12:34
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml
Виктор
#6 2020-06-28 06:03
#44901 kushelbek:
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml

я бы добавил еще

Disallow: /users
Kopusha
#7 2020-06-28 10:32

Зачем 

Allow: /*/*.js 

и тд?