Как парсить большой текст на Python?

Question

[Михаил Файто]

Добрый день, есть такие исходные данные:
дан текстовый файл (txt), данные в котором располагаются вот в таком виде (форматирование выполнено пробелами):

Иванов Иванов    (rus)                            ООО "Белое и пушистое"
Ivanov Ivan           (en)                             White and Fluffy LLC
                                                                 Москва, Кремль, офис №15

Таких записей огромное количество (общий вес документа около 50 мегабайт).

Задача состоит в том, чтобы утилите на вход подать "Белое и пушистое" или "White and Fluffy LLC" и "rus" или "eng", а она в ответ имя и фамилию в нужном языке.
Проблема в весе исходного текстового документа.

Что посоветуете для более-менее быстрого парсинга такого файла?

Как оказалось, важное замечание: этот файл мы не сами редактируем, его присылает другая организация (государственная) изменить его формат невозможно.

Comments

[javedimka]

Тебе файл распарсить надо ровно один раз. Создать словарь, потом сохранить его с помощью модуля shelve.

[nirvimel]

javedimka: Лучше в БД с индексом по полю company.

[Михаил Файто]

nirvimel: хорошо, если БД, то какую посоветуете? простую (с нормальными доками) и лёгкую (не требовательную к ресурсам
)

[javedimka]

Михаил Файто mongodb + pymongo
но имхо, лучше шелв, дб тут избыточность, а с шелв можно сделать почти тоже самое, редактирование, добавление данных как в словаре + в пару строк можно написать графический интерфейс или веб.

[javedimka]

Михаил Файто: Ну и надо было сразу писать, что файл вы не сами редактируете. Сразу бы половина комментов и ответов отпала. Щас уже все что выше не валидно и смысла не имеет.

[sim3x]

Чем разделяются блони компиний?
Почему

ООО "Белое и пушистое" == White and Fluffy LLC

если по правилам должна происходить транслитерация?

! не используйте монгу

[Михаил Файто]

sim3x: парсер съел форматирование. В общем, разделение между словами выполнено пробелами (переменным количеством), чтобы визуально формировались одинаковые 3 столбика (адрес компании находит под английским наименованием).
Вообще, по правилам можно выбрать любое название на английском для ООО, на усмотрение регистрирующего, поэтому они могут отличаться как угодно

[sim3x]

Михаил Файто: разделение между блоками

\n\n
компания1
\n\n
компания2

[Михаил Файто]

один \n между строками, а внутри строки разное количество пробелов, чтобы сформировались 3 колонки (имя, язык, компания)

[sim3x]

Михаил Файто: те определить машинно, что закончилась одна компания и началась другая никак нельзя?

[Михаил Файто]

в конце каждой компании будет \n

Answer 1

[Anton fon Faust]

Не понятно, для чего это делать на питоне? Тестовое задание?
Соберите в словарь, чтобы ключами были "Белое и пушистое" и "White and Fluffy LLC" и внутри лежал еще один словарь с ключами "rus" и "eng", а данными соответственно были "Иванов Иванов" и "Ivanov Ivan".

Но, вообще, лучше сделать парсер, который будет одноразово складывать данные в базу, и клиента, который будет подключаться к базе и выбирать нужные данные в зависимости от запроса. Работать будет быстро и надежно.

Comments

[Михаил Файто]

нет, это утилитка для облегчения жизни людям, которые сейчас в этом файлике руками ищут нужную информацию

[Михаил Файто]

с базой думал, но наколенного скрипта решил, что будет слишком громоздко
плюс, этот файл примерно раз в день меняется (что-то удаляется, что-то добавляется), придётся каждый раз базу заново инициализировать
решение со словарями мне видится будет таким же медленным

[nirvimel]

Только так.
Прежде чем выполнять поиск, нужно иметь построенный индекс.
Поиск без индекса - киловатты на ветер.

[riot26]

Михаил Файто: распарсить всё в БД и заставить юзеров добавлять данные не в файл, а в новую БД

[Михаил Файто]

riot26: был бы идеальный вариант:) но этот файл нам даёт другая организация (государственная), попросить её завести базу вместо файла будет невозможно

[Anton fon Faust]

Михаил Файто: Ну, так раз в день после изменения файла делать trunсate и заново заполнять.
50Мб - это не полтора гига, быстро в базу сложится.

Громоздко? Ой не смешите...
Цикл, который проходит по файлу и создает sql-файл.
Запуск sql-файла.

В python я пока еще нуб, но, например, на php это все можно сделать уложившить строк в 100 (без фреймворков).

Answer 2

[iSergios]

Однако лягушки. Однако кактус.
Решение настолько простое, что выкладывать готовый код как-то неприлично. Копайте в сторону метода .readline()
Вообще же, чтобы не колоться в будущем и облегчить жизнь людям, я бы на вашем месте прислушался к советам по поводу БД. Сложить один раз в базу (можно sqlite), написать простенькую гуевину к бд для ввода, удаления и поиска. Работы на пол дня.

Comments

[Михаил Файто]

задача именно парсить этот файл, присылают нам его готовым, поменять формат нельзя

[iSergios]

Тогда второй абзац не читайте.

Answer 3

[Xander017]

Например для того, что сейчас в вопросе:
inp = input()

f = open("yourfile", "r")

for line in f:
if inp in line:
fio = line.split(" ")
print(fio[0] + " " + fio[1])

Comments

[Михаил Файто]

сейчас примерно так и сделано, но для файла, в котором 2 с лишним миллиона строк, работает ну крайне медленно

[Xander017]

Михаил Файто: ну у меня в 1,6 млн. строк одинаковых из примера ищет одно изменённоеимя - 2,8 секунды.

В конце концов никто же не мешает вам тот файл, что присылает гос.орган закидывать в БД и работать дальше с БД.
Они же не шлют вам файлы раз в 5 минут.

Answer 4

[abcd0x00]

Что посоветуете для более-менее быстрого парсинга такого файла?

Ты должен перегнать это в базу данных, у которой есть средства для SQL запросов. Это сейчас тебе надо найти вот это вот по этому, а завтра понадобится найти совсем другое по совсем другому. И для всего этого (всех возможных вариантов) подходит именно гибкий язык запросов. Поэтому тебе нужно написать перегонщик исходных данных в хорошую базу данных, который ты потом привяжешь к скрипту, который проверяет, изменился ли этот файл с исходными данными, чтобы автоматически составить новую базу. И для того, чтобы его написать, нужно сначала подготовить исходный файл (удалить лишние пробелы), потом проанализировать его на отдельные записи (это лексический анализатор нужно сделать), а потом этот поток лексем сохранить уже в виде записей в таблице базы данных. Но в базе данных у тебя уже должно быть всё по уму сделано, чтобы любые поиски выполнять можно было и ничего не путалось. Возможно даже, что тебе нужно будет сделать разные таблицы (для русского и для английского и связать их). Работы немало.

Как оказалось, важное замечание: этот файл мы не сами редактируем, его присылает другая организация (государственная) изменить его формат невозможно.

А ты вызвался упростить работу? Зря, всё равно не оценят. Будешь бесплатно работать за грамоту и похлопывание по плечу.
Если есть возможность, вообще в такие вещи не лезь, пусть ищут хоть руками, хоть ногами. Говори, что так и должно быть, а сам занимайся полезными вещами, чтобы не деградировать.