Как ускорить код с подсчетом похожести?

pcdesign, Спасибо, что сообщил о результатах :) Было интересно

Как ускорить код с подсчетом похожести?

pcdesign, Да, очень вероятно, что время на передачу данных очередью может накладывать крайне большие расходы :)

Как ускорить код с подсчетом похожести?

pcdesign, Кстати, вариант с отдельным процессом-генератором и даже одним воркером должен быть быстрее, чем вообще однопоточный код. А учитывая то, что на скрине 3 процесса загружены на 50%, значит, что они всё же быстрее, чем один. Так что, последний вариант должен быть быстрее всех. Но я бы всё равно потестил на небольшой выборке, но достаточно большой, чтобы нивелировать время на создание процессов. Подбери такую выборку, чтобы она выполнялась за минуту, скажем.

Как ускорить код с подсчетом похожести?

pcdesign, Нет, это я просто твой массив из примера умножил на 500.

Как ускорить код с подсчетом похожести?

pcdesign, Собственно, мои опасения подтвердились. Вот на скрине можно увидеть, как работают 3 воркера для обработки массивов и один для генерации этих сочетаний. Генератор напрягается сильней, так что, оптимизировать надо его.



Но для академического интереса я всё равно скину пример кода с очередью :)

Как ускорить код с подсчетом похожести?

pcdesign, Да, такое чувство, что что-то пропускается :) Ради интереса я решил немного заморочиться с мультипроцессингом. Сейчас апну ответ. Вариант с воркером для создания очереди и воркерами для обработки. Однако, у меня есть такое чувство, что именно генерация комбинаций занимает львиную долю времени, не обработка. Если это так, то параллелить надо её, а не обработку.

Как ускорить код с подсчетом похожести?

pcdesign,

os.getpid() выдает все время одно и тоже число

os.getpid() выдаёт PID процесса. Эта штука просто для того, чтобы показать тебе, что функции действительно выполняются в разных процессах. Если на всех строках одно число, значит у тебя на компе/сервер всего одно ядро и смысла параллелить нет. Сейчас это редкость. Встречается либо на самых дешёвых VPSках, либо на первой модели Raspberry PI

Почему-то оба варианта выдают разные результаты

Потому что они работают параллельно, без синхронизации. Это значит, что они будут выполняться в порядке, который ты не сможешь никогда предсказать, не обязательно последовательно.

Эта строчка у меня не работала:

Эта строчка использует синтаксис Python3.6. Если у тебя нет такой версии, переделай это на то, что ты хочешь

Как ускорить код с подсчетом похожести?

Роман, Я тут подумал, что куда проще не отдавать процессу диапазоны, а просто брать остаток от деления

Как ускорить код с подсчетом похожести?

Резюмирую:
1. Откидывание симметричных значений уменьшает время в 2 раза
2. 16 процессов на 16 ядер уменьшают время ГРУБО ГОВОРЯ в 16 раз.

7 / (16 * 2) = 1/5 дня или ~5 часов. Удачи :)

Как ускорить код с подсчетом похожести?

Роман,

строить отдельно список всех комбинаций без повторений

Чтобы сильно не напрягаться, можно отвести каждому ядру конретные диапазоны, а другие пропускать с помощью `continue`. Да, это будет не так быстро, как построить список для каждого ядра и каждому ядру придётся итерироваться ПО ВСЕМ комбинациям (но считать не все), зато мозг не напрягать))

Например:
1-ый процесс считает первые [0; 100_000] элементов, затем [200_001; 300_000]
2-ой [100_001; 200_000], [300_001; 400_000] и т.д.

При этом первый после подсчёта первой сотни тысяч продолжает итерироваться, но пропускает с 100_001 по 200_000, потому что знает, что второй процесс это сделает.

Так можно масштабировать хоть на сколько процессов.
Ну это, конечно, при условии, что итерация по элементам списка сильно быстрее, чем подсчёт похожести :)

Как ускорить код с подсчетом похожести?

Роман, Да, к сожалению. Но 3.5 дня — уже не 7 :)

Как ускорить код с подсчетом похожести?

Руслан, потоки юзать бессмысленно. Только процессы.

Как правильно пользоваться management\commands в Django?

Чорд. Это бедуин. Опять я попался

Когда может понадобиться модуль enum?

albertalexandrov, Именно. Чтобы нигде не перепутать "январь" с "янаврь".

Почему комбинированные инструкции выполняются быстрее традиционных?

lega, и много у тебя проектов на 3.8 версии в проде или ты просто решил выпендриться чтением ченжлогов?

К слову, 572 PEP, имхо, редкостная херня в стиле Си, которой горе-программисты будут ломать глаза нормальным людям. Единственное годное применение, которое я вижу — списковые включения.

Почему комбинированные инструкции выполняются быстрее традиционных?

lega, так она выполнится ноль раз, так как невалидный синтаксис :)

Возможна ли программная разработка только на Windows?

АртемЪ, я знаю, что такое тестирование. Ты ответил на вопрос, который я не задавал.

Стоит ли начинать изучение Vue.js с посредственными знаниями javascript?

Что-то я не заметил в голом Vue.js ООП

Возможна ли программная разработка только на Windows?

Программирование это написание кода в первую очередь, поэтому программировать можно вообще без компьютера, используя ручку и бумагу.

Ложь. Программирование — это решение проблем. Код не имеет ни малейшей ценности, пока он не запустился интерпретатором / не скомпилировался и не запустился. Код на бумажке — это просто текст на носителе. Код, который не тестировался, нельзя считать рабочим. Как много ты напишешь тестов для кода на бумажке?

Написал managment команду, но она не работает и не выдает ошибку, что я написал не так?

Перефразирую твой вопрос:

"Я нихрена не разбирался в питоне, просто скопировал это и оно не работает. Сделайте за меня"