Битые ссылки, куча ошибок и багов

Perceive	#17861 2009-10-16 03:42
Members	# Ratibor : Не реально, слишком много вариаций, robots.txt на пол километра получится. Реально). Можно от обратного пойти: разреши только то, что надо, остальное в блок. Я вот так вырезал: Disallow: /list.php&s= Disallow: /list.php&d=0 Disallow: /page.php&print Disallow: /page.php&comments Disallow: /forums.php&n=last Disallow: /forums.php&d=0 Disallow: /forums.php?m=newtopic Disallow: /message.php Ну и на будущее, конечно, удалил все "мусорные" дублирующие ссылки + в имеющихся и ненужных для сканеров <noindex> и rel="nofollow". P.S. Интересная заметка: до блокировки дублирующих ссылок заметил, что короткие ссылки page.php?id=123 лучше кушались поисковиком, чем page.php?al=nazvanie_stranici.

Perceive

#17861 2009-10-16 03:42

# Ratibor : Не реально, слишком много вариаций, robots.txt на пол километра получится.

Реально). Можно от обратного пойти: разреши только то, что надо, остальное в блок. Я вот так вырезал:

Disallow: /list.php*&s=
Disallow: /list.php*&d=0
Disallow: /page.php*&print
Disallow: /page.php*&comments
Disallow: /forums.php*&n=last
Disallow: /forums.php*&d=0
Disallow: /forums.php?m=newtopic
Disallow: /message.php

Ну и на будущее, конечно, удалил все "мусорные" дублирующие ссылки + в имеющихся и ненужных для сканеров <noindex> и rel="nofollow".

P.S. Интересная заметка: до блокировки дублирующих ссылок заметил, что короткие ссылки page.php?id=123 лучше кушались поисковиком, чем page.php?al=nazvanie_stranici.