Как исправить ошибку java.io.IOException: Cannot run program "python3": CreateProcess error=2, на Windows 10?

Question

[Влад]

Всем привет! Пытаюсь установить всё необходимое для работы с PySpark в Pycharm. Еле еле нашёл какую-то обучалку как это всё установить, но когда в Pycharm'e пытаюсь запустить простой код, то вываливается груда ошибок во главе с этими:

21/03/18 00:00:18 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1)
java.io.IOException: Cannot run program "python3": CreateProcess error=2, �� ������� ����� ��������� ����
at java.lang.ProcessBuilder.start(Unknown Source)
	at org.apache.spark.api.python.PythonWorkerFactory.createSimpleWorker(PythonWorkerFactory.scala:165)
	at org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:107)
	at org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:119)

Пути все прописаны, всё вроде бы установлено, подскажите, пожалуйста в каком направлении копать?
Заранее огромное спасибо!

Answer 1

[Влад]

Короче я починил таки.
Нашёл на просторах интернета заметку про переменную PYSPARK_PYTHON. Добавил её в переменные среды со значением пути до файла, т.е. прямо до самого экзешника питона. И всё заработало. Просто эта переменная редко когда в каких-либо туториалах упоминается.

Answer 2

[Vindicar]

error=2 означает что исполняемый файл не найден.
Причин может быть несколько.
Я подозреваю, что ява пытается запустить питон просто командой 'python3', без абсолютного пути. Тогда нужно, чтобы директория с бинарником питона была добавлена в %PATH%. Если точно прописана, то можно попробовать Монитор Ресурсов (в виндовс вроде из коробки есть), чтобы посмотреть, какие именно файлы пытается открыть java.

Comments

[Влад]

Vindicar Монитор ресурсов показывает вот это вот

Путь у меня прописан следующим образом:



Когда ввожу в cmd python, то всё работает нормально и pyspark когда вводишь в cmd всё работает замечательно. Именно в pycharm ругается

Answer 3

[comrade_747]

ну да, железобетонно сработало. У меня Anaconda стоит с environment spark. В блокноте указал следующее:

import os

os.environ["PYSPARK_PYTHON"]="C:\ProgramData\Anaconda3\envs\spark\python.exe"