anstif

OCSP stapling настройте. И кеширование ssl-сессий для клиентов.
(на nginx это действительно проще сделать).

Ну и да - ssl-хендшейк лочит воркеры web-сервера, так что их может банально не хватать.

<meta property="og:image" content="http://domain.name/img/vkontakte.png">
200x200 px recommended.