Monnoroch

Решением оказалось собрать сами druntime и phobos вручную с включенной опцией gcc и dmd -fPIC. Сделал пулл реквест с патченными мэйкфайлами в официальный репозиторий, посмотрим, примут ли, но у себя все собрал, всем спасибо.

Вероятнее всего компилятор просто проинлайнил все что можно, и код таким образом получился толще.