Как изменить файл сsv в файл parquet?

Question

[Denis]

Я написал две функции. Функции принимают два аргумента: название файла, который лежит в той же директории, что и сам скрипт, и название файла, на который он должен быть изменен. Эти две функции не работают. В чем ошибка?

import pandas as pd

# csv_to_parquet
def csv_to_parquet(src_filename, dst_filename):
    df = pd.read_csv(src_filename)
    df.to_parquet(dst_filename)

# parquet_to_csv
def parquet_to_csv(src_filename, dst_filename):
    df = pd.read_parquet(src_filename)
    df.to_csv(dst_filename)

csv_to_parquet(example.csv, example123.parquet)
parquet_to_csv(example123.parquet, example.csv)

Comments

[Влад Григорьев]

что не работает, где не работает?
если вы про сохранения файлов, то вы ничего не делаете такого, с чего само должно делаться?

[Denis]

Влад Григорьев, То есть, мне нужно дописать df.save() ?

[Влад Григорьев]

denislysenko, вероятнее, я не так много работал с pandas, по нему много документации.

[denizen]

В документации pandas пишут что первый параметр метода DataFrame.to_parquet() должен быть либо str, либо file-like object. В вашем коде example.csv и example123.parquet какого типа?

[Denis]

denizen, example.csv и example123.parquet это пути к файлам, str

[Denis]

denizen,
вот мое задание:
написать консольную утилиту converter.py, поддерживающую аргументы командной строки.

python convert.py [--csv2parquet | --parquet2csv ] | [--get-schema ] | [--help]

утилита поддерживает
- режим конвертации из csv в parquet
- режим конвертации из parquet в csv
- получение схемы паркет файла
- вывод справки по ее использованию

это код convert.py

import pandas as pd
import argparse

from pyarrow.parquet import read_schema
import json



parser = argparse.ArgumentParser()
parser.add_argument('--csv2parquet',
                    nargs=2,
                    help='csv to parquet'
)
parser.add_argument('--parquet2csv',
                    nargs=2,
                    help='parquet to csv'
                    )
parser.add_argument('--get_schema',
                    help='to get a schema'
                    )


args = parser.parse_args()
print(args)

# csv_to_parquet
def csv_to_parquet(src_filename, dst_filename):
    df = pd.read_csv(src_filename)
    df.to_parquet(dst_filename)

# parquet_to_csv
def parquet_to_csv(src_filename, dst_filename):
    df = pd.read_parquet(src_filename)
    df.to_csv(dst_filename)

# get schema
def get_schema(filename):
    schema = read_schema(filename)
    schema_dict = json.loads(schema.metadata[b'org.apache.spark.sql.parquet.row.metadata'])['fields']
    print(schema_dict)



# !!!!! main condition
if args.csv2parquet is not None:
    csv_to_parquet(args.csv2parquet[0], args.csv2parquet[1])
elif args.parquet2csv is not None:
    parquet_to_csv(args.parquet2csv[0], args.parquet2csv[1])
elif args.get_schema is not None:
    get_schema(args.get_schema)

[denizen]

Проверьте, что на вход функций действительно попадают значения из командной строки.
Если не поможет, то напишите минимальный кусок кода, в котором имена файлов будут константами - это чтобы проверить работу pd.read_parquet() и df.to_csv().