@fetch_girl

Как корректно извлечь данные из CSV-датасета?

Пишу нейронку распознавания изображений, нужно использовать внешний скаченный датасет(CSV формат). Знаний не так много, поэтому не совсем понимаю как корректно считать с него данные. Может кто помочь?
  • Вопрос задан
  • 43 просмотра
Решения вопроса 1
trapwalker
@trapwalker
Программист, энтузиаст
import csv
with open('dataset.csv') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Можно воспользоваться csv.DictReader, если полей очень много и с ними удобнее работать как со словарями по имени.

Могут быть нюансы:
- проблемы с кодировкой файла (решается указанием кодировки при открытии);
- необычные разделители (решается указанием или настройкой диалекта);
- данные изображений, скорее всего, не лежат прямо в csv (хотя могли бы=), там скорее всего имена файлов. Не думаю что корректно загружать весь датасет для обучения целиком. Лучше это делать в потоке по одному элементу и забывать использованные сразу не оставляя в памяти.

Если уже используете pandas, то решение выше вам подойдёт лучше.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы