Каким образом отсеивать данные массива с одинаковым первым элементом?

Question

[3Create]

Салют! Каким образом можно отсеивать по первому элементу ?
Передаются данные массива на переменную в каждом цикле:

[[1016, '2', 141, 0], [1017, '2', 22341, 0], [1018, '2', 1109, 0], [1019, '2', 517, 0], [1020, '2', 443, 0], [1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0]]

[[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0], [1027, '2', 1933, 0], [1029, '2', 398, 0]]

#....и так далее

В первом цикле значение первого элемента 1021, 1022, 1023 совпадают со значениями со второго цикла. Как можно их игнорировать?
Записать в csv таблицу и в каждом цикле ее поднимать и сравнивать?
Был бы признателен за пример :)

Comments

[MinTnt]

Игнорировать в первом массиве или во втором?

Можно пример выходных данных, что должны получиться.

[3Create]

MinTnt, прости, только заметил)
Сверху- вниз идет.
Эти значение после первого цикла

[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0]

уже есть
Во втором цикле эти значения тоже есть. Их нужно как-то отсеить. И чтоб выдавались след значения:
[1027, '2', 1933, 0], [1029, '2', 398, 0]

То есть. Все что уже было- не записывается, и получается такая последовательность:

[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0], [1027, '2', 1933, 0], [1029, '2', 398, 0]

[MinTnt]

3Create, что-то вообще запутался. Что имеется ввиду под "циклами".

Мне проще всё понять в простой схеме.

Входные параметры --> Что должны получить

[3Create]

MinTnt, Чуть упрощу:
в цикле while появляются новый массив каждую секунду:

#1 сек входят данные
[1001, 50], [1002, 50], [1003, 50], [1004, 50]
#2 сек входят данные
[1003, 50], [1004, 50], [1005, 50], [1006, 50]
#так как [1003, 50], [1004, 50] уже были в первую секунду, то они не должны появиться

######################
#должно выходить так:
[1001, 50], [1002, 50], [1003, 50], [1004, 50], [1005, 50], [1006, 50]

[MinTnt]

3Create, в принципе, можно вот так

a = [[1001, 50], [1002, 50], [1003, 50], [1004, 50]]

b = [[1003, 60], [1004, 60], [1005, 50], [1006, 50]]

a = list({x[0]:x for x in b+a}.values())

print(a)

Т.е. превращение списка в словарь, с ключом ввиде первого значения. А так как в словарях {1: 2, 1:3}, ключ может быть лишь один, оно принимает значение, того элемента, что идёт позже. {1: 3}. А далее мы возвращаем всё обратно к виду списка

Хотя может я просто всё ещё не до конца понимаю, что именно нужно.

[MinTnt]

MinTnt, если же нужно, чтоб значения первого списка обновлялись похожими со второго. Можно изменить b+a, на a+b.

А так же, если нужно в первом списке, чтоб всё шло по порядку. То можно использовать
sorted(a, key: lambda x: x[0])

[3Create]

MinTnt, через sorted(a, key= lambda x: x[0]) работает нормально, если данные заранее определены.
А вот если через переменную обновляется массив, то не работает :(
Как быть в таком случае, ведь sorted сравнивает с прошлыми данными?

Answer 1

[o5a]

Если данные значения всегда идут последовательно, с увеличением этого идентификатора, как в примере (т.е. 106...1021,1022,1023...), то проще при каждом занесении набора данных запоминать в переменную последний номер, а при следующем занесении пропускать все, <= этому номеру.

# тестовые данные, 2 загрузки
d1 = [[1016, '2', 141, 0], [1017, '2', 22341, 0], [1018, '2', 1109, 0], [1019, '2', 517, 0], [1020, '2', 443, 0], [1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0]]
d2 = [[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0], [1027, '2', 1933, 0], [1029, '2', 398, 0]]
load_data = [d1, d2]

all_data = []
last_id = 0
for data in load_data:
    for row in data:
        if row[0] > last_id:
            all_data.append(row)
    last_id = row[0]

Если идентификаторы всегда строго увеличиваются на 1, то можно еще более оптимизировать, сразу начав выборку с нужной позиции следующих данных (зная last_id и 1-й id в новой партии данных, сразу можем вычислить, с какого элемента делать загрузку).

Если же такой зависимости нет, то можно заносить идентификаторы в множество (set) и перед вставкой новой партии проверять на вхождение в множество.

Comments

[3Create]

Видимо не правильно я сделал? Смотрю он потерял данные со значением 1020... что тут может быть не так?)

series_last = [[x[0], x[1], x[2], x[3]] for x in load_data if last_id not in load_data]

print(series_last)
# выводит  [[[1016, '2', 141, 0], [1017, '2', 22341, 0], [1018, '2', 1109, 0], [1019, '2', 517, 0]], [[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0], [1027, '2', 1933, 0]]]

[o5a]

3Create, А что тут вообще пытались изобразить? В вашем коде x[0], x[1] и т.д. это не 1016, 107 и т.д.,
а сами списки [1016, '2', 141, 0], [1017, '2', 22341, 0]
Т.е. Вы просто выбрали 4 первые списка из каждого блока загрузки. При этом условие if last_id not in load_data вообще ни на что не влияет.
Изначально же вроде вопрос стоял, как получить только новые данные, отбросив уже загруженные. Я и показал. Если не нужно грузить все в общий список, а просто показывать только новые в каждой загрузке, то достаточно немного изменить систему, переформировывая список:

# тестовые данные, 2 загрузки
d1 = [[1016, '2', 141, 0], [1017, '2', 22341, 0], [1018, '2', 1109, 0], [1019, '2', 517, 0], [1020, '2', 443, 0], [1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0]]
d2 = [[1021, '2', 1701, 0], [1022, '2', 1604, 0], [1023, '2', 295, 0], [1027, '2', 1933, 0], [1029, '2', 398, 0]]
load_data = [d1, d2]

last_id = 0
for data in load_data:
    current_data = []
    for row in data:
        if row[0] > last_id:
            current_data.append(row)
    last_id = row[0]
    print(current_data)

Но можете и через list comprehension, как пытались сделать до этого, просто условия правильно выбирайте.

[3Create]

Спасибо что разжевали!