Не угадали. Кроме простого woff/woff2 есть ещё диапазоны unicode символов. По нормальному (как Google Fonts делает) шрифт нарезается на множество кусочков, и реально загружаются лишь те глифы, которые нужны. Так что хотя Google Fonts и сторонний сервис (и тормозит загрузку страницы) это один из самых оптимальных способов, самостоятельно всё это делать очень больно.
Александр: На самом деле мне сложно понять, как можно проксировать на 0.0.0.0:80, разве такое бывает О_о?
Давайте по порядку, у вас на хосте (VPS) есть Nginx (мимо того, который в Docker контейнере?
У меня обычно на хосте стоит Nginx, потом я с его помощью разные домены проксирую в разные контейнеры. Например, первый контейнер с Nginx будет слушать на 127.0.0.1:8001:80, Nginx на хосте будет отправлять туда запросы (ну и HTTPS он занимается, в контейнерах сертификатов нет).