Как распределить массивы данных между потоками?

Question

[lemonlimelike]

Всем привет! Задача вроде простая, но я не понимаю как такое сотворить.
Есть два массива по 50к элементы. Нужно создать третий массив в котором будут не повторяющиеся элементы из тех двух массивов. Вообщем нужно убрать дубли. Скрипт написал, но он работает в одном потоке. И это очень долго. Как распределить эти все данные между потоками?

Вот мой код:

import pandas as pd
import json
from time import sleep
from threading import Thread


def get_data(file_name):
	df = pd.read_excel(file_name,sheet_names=0)
	data = []
	for item in df.to_records(index=False):
		data.append(item[0])

	return data


if __name__ == '__main__':
	test1 = get_data('t1.xlsx')
	test2 = get_data('t3.xlsx')

	result = []
	# with open('result.json','w') as file_json:
	
	for i,ii in enumerate(test1):
		for j,jj in enumerate(test2):
			print(i,j)
			if i == j:
				continue
			if ii.strip().lower() not in jj.strip().lower():
				if ii.strip().lower() not in result:
					result.append(ii.strip().lower())

	df = pd.DataFrame(result)
	df.to_excel('r.xlsx',index=False,header=None)
						# file_json.write(json.dumps(ii)+'\n')

Есть такая мысль как это сделать, но довести до ума не получается: длины этих двух массивов разделить на 10(кол-во потоков) а затем каким-то образом через функцию range запускать массив в каждом потоке по выбранным областям

Comments

[ScriptKiddo]

Это задача с упором в процессор, потоки тут не помогут. Используйте модуль multiprocessing

[lemonlimelike]

ScriptKiddo, Ну даже если задача с процессами, то как распределить массивы между процессами?

[ScriptKiddo]

lemonlimelike, https://docs.python.org/3.8/library/multiprocessin...

Answer 1

[Dmitry]

Не совсем по вашим требованиям, но вы не пробовали объединить файлы и удалить дубликаты с помощью pandas? Вероятнее всего так будет быстрее. Т.е. что-то вроде такого:

# df1 - датафрейм t1.xlsx, df2 - датафрейм t3.xlsx
df = pd.concat([df1, df2])

# перевести все нужные столбцы в нижний регистр и обрезать пробелы
# можно сделать новые столбцы с измененными данными, если исходные данные важны
df['column_name'] = df['column_name'].apply(lambda x : x.lower().strip())

# удаление дубликатов по всем столбцам
df.drop_duplicates(keep=False, inplace=True)

# удаление дубликатов по какому-то определенному столбцу
#df.drop_duplicates(subset=['letter'], inplace=True)

https://pandas.pydata.org/pandas-docs/stable/refer...

Comments

[lemonlimelike]

Да, это то что я искал) Благодарю! Но все же хотелось бы узнать каков будет алгоритм, чтобы распределить массивы данных между потоками, как такое сделать

[Dmitry]

lemonlimelike, есть много вариантов, но в целом:
1. разбиваете файл на N меньших файлов, например, по 100 Mb - главное, чтобы помещались в память
2. сортируете каждый файл по отдельности (например, используя multiprocessing, как было указано ранее; т.е. в каждом процессе сортируется отдельный файл)
3. читаете первые X мб из каждого файла (одновременно), объединяете прочитанное (в памяти), удаляете дубли, записываете в итоговый файл. И так до тех пор, пока не обработаете все созданные на шаге 2 файлы.

Вот для информации https://en.wikipedia.org/wiki/External_sorting#Ext...

Также на linux утилита sort - она умеет удалять дубли из больших текстовых файлов. Я обрабатывал ей без проблем файлы на несколько Гб. Да и других вариантов много