Итак, решением являлось задействовать ножку SS (в моем случае это PB4) в коде, в явном виде указав её как выход.
Так как я использовал для выбора управляемого устройства совсем другую ногу (PD7), то штатную решил вообще не определять в коде. Подключение к ней подтягивающего вверх резистора сделало её невосприимчивой к случайным сигналам.
В документации написано, что при включении режима мастера по SPI приходящий на данную ногу сигнал автоматически выключает мастера, так как означает, что другой мастер выбрал это устройство, как слейв. А по умолчанию нога является входом, и случайные наводки давали такой результат.