Отвечаю сам себе и всем интересующимся.
Проблема известна под названием Path MTU Discovery Black Hole. Я уже догадывался, что проблема как-то связана с параметром MTU, но его уменьшение привело к тому, что speedtest.net вообще перестал открываться.
Решается проблема разными путями, я же просто поменял в /etc/ppp/peers/dsl-provider
pty "/usr/sbin/pppoe -I eth1 -T 80 -m 1412"
man pppoe-m MSS
Заставляет pppoe фиксировать максимальный размер сегмента TCP на заданном значении. Поскольку из-за накладных расходов PPPoE максимальный размер сегмента PPPoE меньше, чем при нормальной инкапсуляции Ethernet. Это может вызывать проблемы на компьютерах в локальной сети за пределами шлюза, использующего PPPoE. Если у вас имеется локальная сеть за шлюзом, и шлюз подключается к Интернет посредством PPPoE, строго рекомендуется использовать опцию -m 1412. Это позволит не устанавливать MTU на всех узлах в локальной сети.