Скорее всего причина банальна - вечером идет наплыв юзеров, и у провайдера либо начинает тупить оборудование на доме, либо не хватает ширины канала от дома до узла связи.
Я такое наблюдал у домру например.
Вариант решения тут один - смена провайдера.
Конечно это всё при условии что витая пара к Вам нормальная и Ваше оборудование тоже. И проверяется это всё надеюсь по кабелю, а не по вифи. В целом это проверить достаточно просто - подключив ПК напрямую в прова, минуя роутеры. Если косяк сохраняется - то 100% вина провайдера. тем более раз это не постоянно, а только в часы пик