Cotonti / Open Source PHP Content Management FrameworkContent Management Framework

Forumlar / National / Russian / Сборка «Фриланс-биржа» / Как сделать правильный Robots.txt ?

Виктор
#44944 2020-06-28 06:03
#44901 kushelbek:
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml

я бы добавил еще

Disallow: /users