Короче я починил таки.
Нашёл на просторах интернета заметку про переменную PYSPARK_PYTHON. Добавил её в переменные среды со значением пути до файла, т.е. прямо до самого экзешника питона. И всё заработало. Просто эта переменная редко когда в каких-либо туториалах упоминается.