Добрый день. Мне ваша ситуация знакома. Мучился с одним сайтом месяца 3.
Движок самописный или нет? Если нет, то какой?
Проверять нужно начать с .htaccess, что там mod rewrite делает, например.
Про robot.txt вообще молчу, думаю, что тут все и так ясно.
Смотрю на ваш сайт. Настоятельно советую определить DOCTYPE, а также проверить:
/>
Реально ли контент в этой кодировке. К примеру, в моем случае одна из проблем была такова: кодировка была UTF-8 прописана в мета-тэге, а htaccess AddDefaultCharset UTF-8 тоже, а админка (на фреймворке Typo3 сайт работал) сохраняла в виндовой кодировке.
При этом во всех браузерах все было хорошо, и до поры до времени никто не обращал на это внимания!
В общем надо мелочи смотреть разные. Если что пишите в личку, подумаем.