Это какой-то новый БолгенОС или чего? Почему бы не использовать Убунту или условный Минт? Разбираться в хитросплетениях кастомных репозиториев - так себе занятие.
Возможно, стоит добавить логирование. Тормозить может много где - от резолва доменов и TLS-хэндшейка до скорости сети, хилого процессора и медленных дисков под базой.
Если вам нужны как можно более свежие пакеты - Дебиан максимально неподходящий дистрибутив. В целом, как уже совершенно правильно заметили выше - лучше подключать отдельные репозитории, а не всю нестабильную ветку.
Единственное решение - использовать везде одинаковую схему. Либо отключайте шифрование везде, либо добавляйте в фрейме (например, запроксировав его через nginx).