Как прочитать список в файле с заданным отрезком?

Question

[PreFireSkills]

Доброй ночи.
Я беру из файла id товаров и вставляю его в url запрос.Проблема в том,что id товаров в файле слишком много (больше 100000),как мне прочитать файл,чтобы вставлять в запрос первые 400 id ,потом следующие 400 и так далее до конца файла?

def get_product_data():

    payload = {
        'product_ids': ''.join(
            [line.strip() for line in open('id.json', 'r')]
        )
    }
    f = requests.get('https://example.com./v2/product/getDetails?', params=payload)
    d = f.json()
    return d

Comments

[PreFireSkills]

Bavashi, нет.
Просто выдает ошибку.
url запрос не может отправить 100000 id за один запрос.

[PreFireSkills]

Bavashi, Нужно передавать id товаров в параметры url запроса порциями.

Answer 1

[Дмитрий]

>>> ids = [x for x in range(10)]
>>> ids
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> ids = [ids[n:n+3] for n in range(0, len(ids), 3)]
>>> ids
[[0, 1, 2], [3, 4, 5], [6, 7, 8], [9]]

Comments

[aRegius]

[x for x in range(10)] ---> list(range(10))

[Дмитрий]

aRegius, Спасибо. Утренний тупняк - вещь жестокая.

[aRegius]

Дмитрий, Бывает, понимаю )

[Дмитрий]

PreFireSkills, пишу с телефона, так что могут быть ошибки, но думаю идея будет понятна

# Читаем айдишники из файла в один большой список
with open(file_name, r) as f:
    ids = [line.strip() for line in f]

# Делаем из одномерного списка двумерный список каждые n элементов
count = 400
ids = [ids[n:n+count] for n in range(0, len(ids), count)]

# Отправляем GET и получаем результат
result = []
for group in ids:
    payload_data = {'product_ids':  ' '.join(group)}
    f = requests.get('https://example.com./v2/product/getDetails?', params=payload_data)
    result.append(f.json())

[Дмитрий]

PreFireSkills, Что-то не так с json файлом.

[Дмитрий]

PreFireSkills, Проверяй файл, например так

[Дмитрий]

PreFireSkills,

1. PEP 8

2. Каждая функция должна выполнять только одно действие. Например, функция get_product_data у тебя читает данные из файла, отправляет запросы, проверяет статус код, таким образом, вместо одной функции лучше сделать несколько.

3. Переменную count, список колонок для вывода, разные GOOD и урлы я бы вынес в самое начало файла (сразу после импортов) как "константы" или, если подобных штук много, то вынес бы их в какой-нибудь конфиг.

4.

d = get_product_data()
data = d['data']
data = list(map(flatten_dict, data))
df = pd.DataFrame(data)
print(df[["id","title","price","old_price","href","comments_amount","sell_status","category_id","mpath","tag.name","tag.priority"]])

Вот этот кусок кода лучше вынести в отдельную функцию под названием main() и разместить её самой первой (так, открывая файл со скриптом, ты будешь сразу видеть, что должен делать код). Функцию main() следует вызывать так:

if '__name__' == '__main__':
    main()

5. Вместо конкатенации лучше использовать f-строки - они быстрее выполняются и более читабельны.
Было:
key + '.' + k
Стало:
f'{key}.{k}'

6. Функция get_product_data(): return находится внутри цикла -> цикл будет делать только одну итерацию и возвращать самый первый json

7. map лучше заменить генератором списков (List comprehension):
data = [flatten_dict(i) for i in data]

8. Вместо велосипеда flatten_dict(d), лучше использовать pandas.json_normalize

>>> from pandas import json_normalize
>>> d = [{'A': {'a': 1, 'b': 2}, 'B': 3}, {'A': {'a': 12, 'b': 13}, 'B': 14}]
>>> df = json_normalize(d)
>>> df
    B  A.a  A.b
0   3    1    2
1  14   12   13

[Дмитрий]

# Отправляем GET и получаем результат
    result = []
    for group in ids:
        payload_data = {'product_ids': ' '.join(group)}
        f = requests.get('https://xl-catalog-api.rozetka.com.ua/v2/goods/getDetails?', params=payload_data)

        if f.status_code == 200:
            print('Good')

        if 'json' in f.headers['content-type']:
            print('Bad')

        result.append(f.json())
    return result