Спасибо всем за участие в обсуждении!
В общем пока еще до конца не разобрался, но это точно проблема моего компьютера (даже не сети). И на 90% это проблема в антивирусе касперского, который вероятно к ip адресам относится более трепетно и дольше их проверяет. Если смогу точно определить источник проблемы, то обновлю ответ.