Как работать с массивом быстрее?

Question

[Ternick]

Доброго времени суток)

Задача предельно проста, есть 1 большой файл в котором записаны данные, разделённые знаком '|', нужно убрать строки в которых повторяются данные.

Как пример, входной файл:

CLICK

alter|15|25|46
...
alter|19|1|28

На выходе должно получится что-то такое:

CLICK

alter|15|25|46

Мой вариант решения данной задачи:

CODE

domens = []
unically_data = []

def main():
	with open("testdatabase.txt") as f:
		data = list(map(lambda x: x.split("|"), f.read().strip().split("\n")))

	for item in data:
		if item[0] not in domens:
			domens.append(item[0])
			unically_data.append(item)


	with open("_out.txt", "w") as f:
		f.write("\n".join(["|".join(i) for i in unically_data]))

if __name__ == '__main__':
	main()

Проблема в том, что в первоначальном файле очень много строк, около 2х миллионов. Даже если использовать библиотеку threading, особо ничего не меняется. Возможно ли как-то ускорить эту задачу ?

Comments

[MinTnt]

Приветствую, а можно как для примера 10 строчек, просто задача простая, но заинтересовала.

И ещё, интересно, фильтрация лишь по первому слову?

[Ternick]

MinTnt, да фильтрация лишь по первому слову. В целом можете сами сгенерировать по примеру в вопросе, 10 строк это мало чтобы что-то понять)

Answer 1

[Илья Рябыкин]

касаемо вашего кода:
это, я думаю, лучше сразу в цикле собирать для каждого item, а то Вы запускаете доп цикл для доп. обработки
"\n".join(["|".join(i) for i in unically_data])

threading нужно ещё правильно использовать чтобы ускорить работу)
попробуйте использовать библиотеку numpy и выполнять преобразования с помощью её функций, она под это заточена

если думать про алгоритм, то для меня он такой (судя по коду и примерам):
1. найти строки, где item[0] встречается впервые
2. собрать из них результирующий массив данных

Comments

[Ternick]

Он до этой части даже не доходит, где нужно собрать строку)

Как вариант просто использовать сложение строк, без ещё одного for.

Numpy, нужно изучить ещё.

Спасибо.

[Илья Рябыкин]

выдаёт ваш результат:

import numpy as np
data = np.genfromtxt("testdatabase.txt", delimiter="|", dtype='str')
unique_keys, indices = np.unique(data[:,0], return_index=True)
print(data[indices])

соберите в строки и велл-дан :)

[Илья Рябыкин]

сорри, импорт забыл указать, дописал)

[Ternick]

Илья Рябыкин, Да ничего, я понимаю, что np => numpy) Спасибо большое за ваш ответ =)

[Ternick]

Илья Рябыкин, В этот раз оперативы не хватило, у меня всего 4гб)

[Ternick]

Илья Рябыкин, Завтра на другом компьютере по тестирую, а случайно не знаете решение для C# ?

[Ternick]

MinTnt, в питоне потоки очень сомнительная штука на самом деле, я не уверен что ими можно решить этот вопрос.

[Илья Рябыкин]

не знаю решения на нём)
хых, у меня 16 Гб, проблем не заметил). код, который с нампи на 3+ млн строк у меня обработался секунд за 15 (но там было мало уникальных строк)

если это единоразовая операция - можете мне скинуть исходный файл, я вам результат верну)

[Ternick]

Илья Рябыкин, Спасибо, днем на другой машине запущу, там 32гб, думаю хватит =) сейчас смотрю что-то похожее на c#

Answer 2

[Hemul GM]

Даже если использовать библиотеку threading, особо ничего не меняется. Возможно ли как-то ускорить эту задачу ?

Просто запихнув цикл в "поток" работу не ускорит, а даже замедлит. Тебе нужно разделить обработку файла.
Например, на 4 части. 1 поток обрабатывает 1 часть строк файла, 2 поток 2 ую часть файла и т.д.

Только питон и потоки в принципе - так себе комбинация

Comments

[Ternick]

Я знаю все про потоки в питоне, в комментариях к основному ответу я уже упоминал, что не уверен, что потоки могут помочь

[Hemul GM]

Ternick, если ты разделишь обработку файла через потоки, то это как бы ускорит обработку.

[Ternick]

Hemul GM, не обязательно разделять обработку файла, можно прочитать файл в основном потоке, а потом разделить прочитанные данные. Это мероприятие может и ускорит работу, но не факт, что до нужного уровня.

[Hemul GM]

Ternick, что не обязательно? Делать проще, чем ты предлагаешь?
Создаешь функцию, которая принимает на вход отведенную ей часть в виде индексов строк (Например, 0 и 100) и файл. Запускаешь каждый метод в отдельном "питоновском потоке". Таким образом ты можешь сколько угодно распараллелить обработку. А если вместо потоков использовать процессы, то и ещё сильнее ускорится работа. И без переделки кода.

[Hemul GM]

Ternick, другой вопрос, что на питоне это делать как бы не разумно. Быстрее и эффективнее сделать на нормальном языке.

[Ternick]

Hemul GM, третий вопрос, как бы с чего это вас начинает волновать, практически любая задача может быть решена на любом языке.

[Hemul GM]

Ternick, так вопрос в эффективности выполнения работы

[Ternick]

Hemul GM, вопрос в адекватной скорости решения вопроса, какая только возможна средствами этого языка

[MinTnt]

Hemul GM, вообще, я вчера рассмотрел варянт потоков, и это не очень подходит его задачи. Ему нужно получать первое уникальное значение строки. А из-за потоков, оно может сначала добавить в список, то что шло ближе, относительно выполнения, а не в полной картине файла

[Hemul GM]

MinTnt, при чем тут это? Если твоё решение было не удачным, это не значит, что нельзя сделать иначе. Я делал такой подход. Разделял чтение файла по разным потокам. Каждый поток читал свою часть данных. Делить нужно на области. Я не просто так привел пример с функцией, которая принимает диапазон строк от 0 до 100.
В начале алгоритма читаем, сколько строк в файле. Далее, разбиваем эти строки на несколько частей. если в файле 1000 строк, то если делить на 5 потоков, то один поток будет обрабатывать строки от 0 до 199, второй поток от 200 до 399, тертий поток от 400 до 599, четвертый от 600 до 799, ну и пятый - от 800 до 999.

Алгоритм понятен?

[MinTnt]

Hemul GM, я тебе про твой алгоритм выше и описал, у меня мысли идентичные были.

Но допустим на примере. К примеру в первом промежутке 0:100 слово исключение находится на 98 позиции. А во втором промежутке 101:200 на 2ой позиции.

По итогу в новом списке запишется значение со второго потока, но по сути задачи, нужно чтоб первым и единным было значение с первого потока.

Надеюсь понятно объяснил.

Answer 3

[Andrey Dugin]

Выполняется менее чем за секунду:

import pandas as pd

pd.read_csv('input.txt', sep='|', header=None).drop_duplicates(0).to_csv('output.txt', sep='|', header=False, index=False)

Comments

[Ternick]

Вариант с сетом быстрее)

[Andrey Dugin]

Ternick, менее чем за 0 секунд?

[Ternick]

Andrey Dugin, Больше конечно, там около 3х миллионов строк, получилось 9.8 секунд, могло бы быть и быстрее при наличии ssd. Ваш вариант занимает около 25 секунд, но это относительной машины уже, не так и важно.