X-Robots-Tag
или мета-тега Robots
ни в коем случае нельзя одновременно запрещать доступ в robots.txt
, так как следуя запрету в robots.txt
поисковики просто не узнают об изменении кода ответа сервера или о запрете индексирования (см. справку Google и Bing)!
Но почему здесь вложенные циклы и что именно требуется получить?