Как сделать правильный Robots.txt ?

Louck	#1 2020-06-06 14:59
Members	Протестировал сайт в seranking. Система индексирует много ненужных служебных страниц. Поделитесь пожалуйста вашим Robots.txt под этот движок.

Kopusha	#2 2020-06-06 16:02
Members Thanked: 90 kez	User-agent: * Disallow: /

Louck	#3 2020-06-07 08:24
Members	Смешно

Kopusha	#4 2020-06-07 09:07
Members Thanked: 90 kez	У меня действительно такой файл

kushelbek	#5 2020-06-17 12:34
Members Thanked: 16 kez	User-agent: * Disallow: /datas Disallow: /images Disallow: /js Disallow: /lang Disallow: /lib Disallow: /themes Disallow: /system Host: yousite.org Allow: //.js Allow: //.css Allow: //.jpg Allow: //.png Sitemap: https://yousite.org/sitemap.xml

kushelbek

#5 2020-06-17 12:34

Members

Thanked:
16 kez

User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml

Виктор	#6 2020-06-28 06:03
Members Thanked: 16 kez	#44901 kushelbek: User-agent: * Disallow: /datas Disallow: /images Disallow: /js Disallow: /lang Disallow: /lib Disallow: /themes Disallow: /system Host: yousite.org Allow: //.js Allow: //.css Allow: //.jpg Allow: //.png Sitemap: https://yousite.org/sitemap.xml я бы добавил еще Disallow: /users

Виктор

#6 2020-06-28 06:03

Members

Thanked:
16 kez

#44901 kushelbek:

User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml

я бы добавил еще

Disallow: /users

Kopusha	#7 2020-06-28 10:32
Members Thanked: 90 kez	Зачем Allow: //.js и тд?