карта не бракованная случаем? похоже на хардовый трабл. видяхи часто с браком бывают, как показывает личная практика (например не полноценно заболленный чип). особенно эта проблемам частая у карточек NVIDIA
тогда блок питания тестером в нагрузке проверяйте. и читайте логи устройств в инструментах администратора. там обычно коды ошибок показываются, вот их гуглите и разбираетесь.
особо не имеет значения. Но советую Дебиан, поскольку он показал себя очень стабильно на моих серверах. Выбор ОС это дело вкуса на самом желе, все они идентичны практически.