<?php
$password = '123';
$salt = 'my secret key';
$hash = md5($password.$salt);В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding:gzip, deflate
Accept-Language:ru,uk;q=0.8,en-US;q=0.6,en;q=0.4
Cache-Control:max-age=0
Connection:keep-alive
Cookie:_ym_uid=1484935085328804222; PHPSESSID=j520o8hnqh6uh9v81hptsiirf5; gwcc=%7B%22fallback%22%3A%22380443379494%22%2C%22clabel%22%3A%22lvo9CPO09WsQw9mpoQM%22%2C%22backoff%22%3A86400%2C%22backoff_expires%22%3A1502789347%7D; salesUpWidget_cookid=5266121205720553741; mycallback_cookie=JKc9GyKs73F9GGGh; luckyWidgetPosX2=1265; luckyWidgetPosY2=573; mywitget_showed=1; mywitget_session=1; _ga=GA1.3.808983260.1492610424; _gid=GA1.3.855452248.1502702948; b=b; mywitget_params=%7B%22s%22%3A1502702950563%2C%22p%22%3A100%7D
Host:example.com
Upgrade-Insecure-Requests:1
User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36