Как корректно извлечь данные из CSV-датасета?

Question

[fetch_girl]

Пишу нейронку распознавания изображений, нужно использовать внешний скаченный датасет(CSV формат). Знаний не так много, поэтому не совсем понимаю как корректно считать с него данные. Может кто помочь?

Answer 1

[Сергей П]

import csv
with open('dataset.csv') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Можно воспользоваться csv.DictReader, если полей очень много и с ними удобнее работать как со словарями по имени.

Могут быть нюансы:
- проблемы с кодировкой файла (решается указанием кодировки при открытии);
- необычные разделители (решается указанием или настройкой диалекта);
- данные изображений, скорее всего, не лежат прямо в csv (хотя могли бы=), там скорее всего имена файлов. Не думаю что корректно загружать весь датасет для обучения целиком. Лучше это делать в потоке по одному элементу и забывать использованные сразу не оставляя в памяти.

Если уже используете pandas, то решение выше вам подойдёт лучше.

Answer 2

[Dimonchik]

https://pandas.pydata.org/pandas-docs/stable/refer...