Cotonti / Open Source PHP Content Management FrameworkContent Management Framework

Foren / National / Russian / Сборка «Фриланс-биржа» / Как сделать правильный Robots.txt ?

kushelbek
#44901 17. Juni 2020, 12:34
User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /lang
Disallow: /lib
Disallow: /themes
Disallow: /system
Host: yousite.org
Allow: /*/*.js        
Allow: /*/*.css 
Allow: /*/*.jpg
Allow: /*/*.png

Sitemap: https://yousite.org/sitemap.xml