Показать статистику
0 голосов
от (3.8тыс. баллов)
редактировать от

Пытаюсь запретить через robots.txt или через .htaccess доступ или индексацию роботами. 

Есть куча обращений типа:

GET 33.1s http://site.com/?index=tag&tag=%D0%9...0%D1%80%D0%BF;
GET 149.2s http://site.com/?index=tag&tag=%D0%B...1%80%D1%8F%3B;
GET 112.0s http://site.com/?index=tag&tag=real;

При этом закономерность всегда одинаковая: 

http://site.com/?index=tag&tag=

Как это настроить? Хелп.

98 просмотров 1 ответов
от (3.8тыс. баллов)
0
Интересно, на серче такой же вопрос недавно задавали: https://searchengines.guru/showthread.php?t=1009355

1 Ответ

0 голосов
от (15.2тыс. баллов)

Попробуйте отредактировать свой .htaccess, добавив такие строки:

RewriteCond %{QUERY_STRING} index=tag&tag
RewriteRule ^.*$ - [F]


Пояснение: index=tag&tag это любой произвольно взятый участок запрещаемого URL.

...