Посмотрите какой список ресурсов тянется при загрузке страницы, скорее всего ответ в этом. Робот яндекса сканирует страницу без кеша, соответственно скачивает все ресурсы заново
UPD: Сам сервер отвечает быстро, дело в тонне ресурсов. Проверьте при помощи этого инструмента
bertal.ru - отрабатывает моментально, а вот ресурсы грузятся очень долго.
Ресурсы кстати почти все находятся в head, и грузятся синхронно, соответственно пока браузер не загрузит все ресурсы, он не будет считывать страницу.