Как верно вытащить список всех папок и файлов включенных в папки?

Question

[Игорь Дубодел]

при выводе директорий через библиотеку OS и вывод в файл формата .csv каждый символ добавляется как отдельный элемент списка.

import os
import csv
from typing import List

root_path = "~MM_Common_Data\космоснимок"
directory: list[str] = []
for root, dirs, files in os.walk(root_path):
    for name in files:
        print(os.path.join(root, name))
        directory.append(os.path.join(root, name))

with open('DIR_Geo.csv', 'w', encoding='utf-8', newline="") as f:
    writer = csv.writer(f)
    writer.writerows(directory)

Вывод в print:

~MM_Common_Data\космоснимок\Thumbs.db
~MM_Common_Data\космоснимок\Иванов-тект.схема.grf

Вывод в файл формата .csv:

~,M,M,_,C,o,m,m,o,n,_,D,a,t,a,\,к,о,с,м,о,с,н,и,м,о,к,\,T,h,u,m,b,s,.,d,b
~,M,M,_,C,o,m,m,o,n,_,D,a,t,a,\,к,о,с,м,о,с,н,и,м,о,к,\,И,в,а,н,о,в,-,т,е,к,т,.,с,х,е,м,а,.,g,r,f

Подскажите пожалуйста, каким способом избавиться от запятых, ибо строчек большое количество и объединение элементов построчно выделить мне не удается.

upd:
выводится все строка в качестве элемента списка, но после каждого символа добавлена запятая

Comments

[Игорь Дубодел]

Борис Алексеев, вполне возможно что вы правы, но при открытии этого файла формата .csv через Exсel одна строка содержащая адрес файла и формат была помещена и вправду в 1 ячейку, но через каждый символ были запятые. Решение простое - удалить все запятые через ctrl+H, при условии что в названиях папок и файлов их не присутствовало.

Answer 1

[Алан Гибизов]

Я думаю, проблема была в csv writer-е, надо внимательно изучить, как он работает внутри. Мне лень его изучать, в данном случае проще собрать элементы списка через «перевод строки» в одну длинную строку и всё разом записать в файл.

import os

root_path = "testfolder"
directory = []
for root, dirs, files in os.walk(root_path):
    for name in files:
        directory.append(os.path.join(root, name))
with open('DIR_Geo.csv', 'w', encoding='utf-8') as f:
    f.write('\n'.join(directory))

Это костыль, но в данном случае, когда мы элементы списка формируем из os, и мы понимаем, что в них не попадут какие-нибудь специальные символы вроде переводов строки, табуляций и т.п., то ничего страшного произойти не должно.

Comments

[Игорь Дубодел]

Благодарю за вашу правку, что исправила код, и за

проблема была в csv writer-е, надо внимательно изучить, как он работает внутри

наводку - думаю буду часто обращаться к csv!

Хорошего времени суток!)

[Алан Гибизов]

Игорь Дубодел, по сути, csv - простой текстовый формат, и готовить его можно простыми операциями конкатенации строк или методом str.join(), как у меня.

Читать его и в дальнейшем обрабатывать удобно посредством pandas. Там есть метод read_csv. Но писать методами pandas не всегда удобно, и если объёмы данных не чрезмерно большие, проще методами строк, ведь это строчный формат.

[Игорь Дубодел]

Алан Гибизов, Вновь благодарю. Данных для обработки от 100к до 10кк+. Буду иметь ввиду!

[Алан Гибизов]

Игорь Дубодел, ну главное, чтоб в память влезло :) вот если не влезет, тогда надо по частям писать.

Но вообще-то тут вопрос - зачем всё это затевается?

[Игорь Дубодел]

Алан Гибизов, тут вопрос задан для сканирования сетевого диска, что бы затем изменить директории отдельных файлов, упростить систематизацию уже имеющихся файлов. ибо всё раскидано абы куда, десятки папок архивов, которые можно объединить и так далее. а по данным с большим объемом - это базы данных по скважинам, опробованиям, различного рода изменениям пород и так далее - всё что связанно с геологией, программа Micromine - там возможно использование скриптов на Python с инструментами внутренней библиотеки.

upd.
Этот код рассчитан просто для скана файлов на сетевом диске.

Answer 2

[Ярослав]

У вас как выглядит directory? Это список строк, как я понимаю. А writerows ожидает "список списков строк". (каждый элемент верхнего списка, список из строк, каждая строка в отдельную клетку).
Вот поэтому он строку и итерирует побуквенно, обрабатывая ее как список.

попробуйте в directory.append() давать не строку, а список из одного элемента (этой строки) и должно быть счастье.

Comments

[Игорь Дубодел]

Прошу прощения, я не совсем понял вопроса - не так давно заинтересовался языком программирования дабы начать упрощать свою работу. Буду рад если вы подробнее мне объясните что значит - как выглядит directory в коде, что я выложил.

[Ярослав]

Игорь Дубодел, всего одну строчку надо поменять (добавлять не строку, а список со строкой):

directory.append([os.path.join(root, name)])

[Игорь Дубодел]

Ярослав, я почти так и сделал, только вот скобки поставил как для кортежа, а не списка. Благодарю за подсказку!)

upd.
Теперь я понял что вы имели ввиду.:

У вас как выглядит directory?

- Как выглядят данные в моём файле вывода

А writerows ожидает "список списков строк".

как двухуровневый список/списки внутри списка