Как грамотно распараллелить обработку большого количества файлов?

Question

[g00dv1n]

Есть большое колличество файлов. Около миллиона. Это PE файлы, каждый из них парсится, обрабатывается и информация записывается в базу.

Спарсить надо разово. Потом база пополняется постепенно. Но та как проект в стадии разработки. Структура немного меняется. И нужно делать миграции.

Суть вопроса в том, как максимально эффективно распараллелить обработку большого колличества файлов. Если использовать потоки, ускорить ли это работу? Знаю есть pypy.

UPD. Опишу подробней задачу. Есть много семплов PE (portable executable) файлов. Нужно обработать их большое колличество, чтобы выделить закономерности, статистику и тд. Каждый файл читается и их него парсится нужная информация. Какая именно можно глянуть тут https://github.com/g00dv1n/KnowledgeBase/blob/mast... .
Суть вопроса была в том, как можно максимально быстро обработать большое количество файлов.

Comments

[Дмитрий]

А какое отношение к BigData имеет ваша проблема?

[g00dv1n]

Дмитрий: Убрал

Answer 1

[Roman Mindlin]

multiprocessing может ускорить, если парсинг одного файла занимает существенное время, threading не ускорит, т.к. исполняется на одном ядре. Если основное время уходит на ожидание операций с БД то помоему и то и то ускорит

Comments

[g00dv1n]

Как раз основное время на парсинг уходит.

[Roman Mindlin]

g00dv1n: ну тогда multiprocessing и ядер побольше

[g00dv1n]

Спасибо. Подрубил multiprocessing + pypy. Прирост скорости значимый

[Дмитрий]

g00dv1n: Кстати, буквально недавно pypy начал поддерживать еще и 3.3.5.

Answer 2

[Дмитрий]

Что рекомендую почитать :
1. Что такое CPU bound, IO Bound, Memory Bound?
2. Что такое GIL ?

Если кратко, то:
1. В Python-е "мультипоточность" решается в различных процессах, из-за п.2
2. Знайте свою ситуацию как можно лучше!
Если у вас все упарается в IO, к примеру много запросов от пользователей, то это одно. А если очень большой вычислительный процесс, к примеру подбор пароля, накладывание защиты, виртуализация кода и т.д. и т.п. это другое.

Программисту достаточно часто приходится регулярно жертвовать чем-либо, чтобы что-то другое стало по-лучше. К примеру памятью лишь бы ЦПУ сэкономить, либо ЦПУ чтобы IO было по-круче.

Comments

[g00dv1n]

Опишу подробней. У меня много сэмплов malware. Задача структуризировать их. Сортировать по статическим признакам и прочее. Хочу ускорить начальный процесс наполенния базы .Я открываю файл читаю всю инфу что мне нужно. Подробней тут https://github.com/g00dv1n/KnowledgeBase/blob/mast... . Это IO . Каких то тяжелых вычислительных операций тут не просходит. И спасибо за подробный ответ.

[Дмитрий]

g00dv1n: Сделайте UPD в вашем вопросе и опишите в нем! Люди редко читают весь набор комментариев. Я лично дальше 1-5 не читаю, лень!

[g00dv1n]

Дмитрий: Да, окей) Просто редко их задаю!)

Answer 3

[asd111]

chriskiehl.com/article/parallelism-in-one-line