Как запретить индексацию ботами определенные страницы сайта ?

Question

Пытаюсь запретить через robots.txt или через .htaccess доступ или индексацию роботами. 

Есть куча обращений типа:

GET 33.1s http://site.com/?index=tag&tag=%D0%9...0%D1%80%D0%BF;
GET 149.2s http://site.com/?index=tag&tag=%D0%B...1%80%D1%8F%3B;
GET 112.0s http://site.com/?index=tag&tag=real;

При этом закономерность всегда одинаковая: 

http://site.com/?index=tag&tag=

Как это настроить? Хелп.

Comments

Интересно, на серче такой же вопрос недавно задавали: https://searchengines.guru/showthread.php?t=1009355

Answer 1

Попробуйте отредактировать свой .htaccess, добавив такие строки:

RewriteCond %{QUERY_STRING} index=tag&tag
RewriteRule ^.*$ - [F]

Пояснение: index=tag&tag это любой произвольно взятый участок запрещаемого URL.