Как загружать уникальный контент с json?

Question

[Игорь]

Есть JSON который парсится с сайта каждые 15 минут. В нем хранится куча заказов. После чего весь этот JSON отправляется в Google Cloud Storage и оттуда в Google BigQuery. Проблема в том, что нужно как-то проверять, что какие-то заказы уже есть в таблице BigQuery дабы контент не повторялся.
Подскажите в какую сторону смотреть.

Answer 1

[Гура]

Скиньте пример JSON, если сказать на вскидку то сравнивать по последней дате.

Comments

[Игорь]

pastebin.com/a3Q1nen1

думал сравнивать айдишники. те которые скрапятся с сайта и те которые на облаке. но у меня проблема с либой которая открывает JSON, что лежит на облаке. нужно другое решение.

[Арсений Кравченко]

Игорь: мне кажется, что лучше разобраться с «либой которая открывает JSON, что лежит на облаке», чем пытаться изобретать велосипед. Сравнение по ID – хороший подход.