Как я могу подключиться к локально развернутому спарку через airflow?

mayton2019, устанавливал с оф сайта
Пути:

export SPARK_HOME=/opt/spark/spark-3.3.1-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
export PATH=$PATH:$JAVA_HOME/bin

В UI не выводит spark-master, хотя я его запускал(sudo ./sbin/start-master.sh)

А в переменных стоит localhost[*]

Как я могу подключиться к локально развернутому спарку через airflow?

mayton2019 Другие порты тоже пробовал - 7077, 30688. Connection refused. Может что-то недонастроил

Как я могу подключиться к локально развернутому спарку через airflow?

mayton2019 странно при попытке подключиться с такими настройками
spark-shell --master spark://172.22.102.229:4040
пишет
Too large frame: 5211883372140375593
Когда набираю просто spark-shell, он разворачивает по тому же адресу и все ок

Ошибка при попытке записать dataframe в базу данных из pyspark?

mayton2019, Тут задача именно через спарк выкачать, json тут как тестовая заглушка. Получилось загрузить dataframe через либу clickhouse-driver (конвертируя spark в pandas, но кажется это костыль)
С джавой я я так понимаю какие-то внутренние конфликты конфигов. Я все драйвера перепробовал

Привести сводную таблицу в исходное состояние pandas?

Решил таким способом на основе вашего ответа

df = pd.read_excel(rejected_rate_report_path, engine='openpyxl')
out = []
for i in df.columns[1:]:
    for row in df[[df.columns[0],i]].values.tolist():
        if row[1] != 1:
            print(row)
        out += [[i,row[0],row[1]]]

pd.DataFrame(out, columns=['tg', 'attr', 'value'])

Как получить строку из файла пропуская определенные слова регулярным выражением?

dodo512, да сори все работает, сначала ставил в конструктор регексов

Как найти название исключая определенные слова в нем регулярным выражением?

Akina, из всего этого файла получить строку RV_Lnk_Document_X_PostedDocument_Purchases. Чтоб было понятнее это название таблицы которое мне нужно для дальнейшей обработки

Как найти название исключая определенные слова в нем регулярным выражением?

Akina, Алан Гибизов, обновил вопрос

Как отправить русские символы в put запросе jira?

shurshur, Да utf-8 но это не решило проблему. Ему не нравится кодировка по прежнему

b'<?xml version="1.0" encoding="UTF-8" standalone="yes"?><status><status-code>500</status-code><message>Unexpected character (\'\xc3\x90\' (code 208)): expected a valid value (number, String, array, object, \'true\', \'false\' or \'null\')\n

Как вычесть 5 рабочих дней из даты?

Не всегда, если с 15 число попадает на выходные то нет

Как вычесть 5 рабочих дней из даты?

Rrule метод, который в примере, но найти правильную конфигурацию чтобы вычитать я не смог

Как задать окно в таблице до значение 0 в поле?

galaxy спасибо, а можешь пояснить по filter во втором запросе, это чисто постгрес тема, на оракле просто не запускается из за него

Как задать окно в таблице до значение 0 в поле?

Антон Шаманов, тут еще и по периодам группировка не только по клиентам

Как при groupby обьединить значения в строку?

o5a Ошибка: sequence item 0: expected str instance, float found

Почему celery не отправляет письмо в указанное время?

GlamorousCar, удалось вроде декоратор другой нужно было использовать

Почему выдает ошибку в динамическом запросе oracle?

Там ; в конце запроса нужно убрать, в этом проблема

Почему выдает ошибку в динамическом запросе oracle?

Заменил на ''example''(результат 'example'). Но получаю ошибку sql command not properly ended в строке с execute

Как вставить дробь в partition by?

А без групбай нельзя обойтись(я использую партишн здесь чтоб как раз его избежать). Там не дата а номер я опечатался(средняя стоимость командировки)

Как вставить дробь в partition by?

idShura, select sum(rashody)/count(distinct data_prikaza_) over(partition by gosb)
from erp_trips
Ничего нового, единственное если поможет этот запрос в cte и инсертится в таблицу

Ошибка ORA-00922 при создании таблицы?

Проблема не в этом была , это я здесь опечатался