Как решить эту проблему в написании парсера?

Question

[Bruh_h_h_h]

Хочу впервые написать что-то большее, чем перебор чисел от 1 до 100)
Хотел спарсить vinted, чтобы выдавал список всех товаров на странице, но даже на первых этапах выступают проблемы, помогите решить)

from fake_useragent import UserAgent
import requests
import json

ua = UserAgent()


def collect_data():
    response = requests.get(
        url='https://www.vinted.it/api/v2/catalog/items?catalog_ids=1193&color_ids=&brand_ids=&size_ids=&material_ids=&status_ids=&is_for_swap=0&page=1&per_page=24&time=1644673298&search_session_id=&',
        headers={'user-agent': f'{ua.random}'}
    )
    with open('result.json', 'w') as file:
        json.dump(response.json(), file, indent=4, ensure_ascii=False)


def main():
    collect_data()


if __name__ == '__main__':
    main()
print(ua.random)

Вот что выдаёт файл json, куда я осуществляю вывод

"code": 100,
    "message": "Token d'authentification invalide",
    "message_code": "invalid_authentication_token"

Answer 1

[Dimonchik]

сначала
https://www.commentedout.dev/2020-08-02-copy-reque...

потом
https://networkdirection.net/python/resources/gene...

Answer 2

[Сергей Карбивничий]

1) Нужно сохранить cookies с именем _vinted_fr_session (либо с главной страницы, либо с любой другой)
2) В каждом запросе нужно передавать cookie с именем _vinted_fr_session

import requests

response = requests.get('https://www.vinted.co.uk/') # Загружаем главную страницу для получения cookies


x = response.cookies.get('_vinted_fr_session') # Сохраняем в переменную x cookie с именем _vinted_fr_session

params = (					# Параметры 
    ('catalog_ids', '1193'),
    ('color_ids', ''),
    ('brand_ids', ''),
    ('size_ids', ''),
    ('material_ids', ''),
    ('status_ids', ''),
    ('is_for_swap', '0'),
    ('page', '1'),
    ('per_page', '24'),
    ('time', '1644673298'),
)

response = requests.get('https://www.vinted.it/api/v2/catalog/items',params=params, cookies={'_vinted_fr_session':x}) # Передаем параметры и cookie с именем _vinted_fr_session


print(response.text)

На выходе получаем json:

JSON

{"items":[{"id":1627816766,"title":"Biliardino per bambini ","price":"20.0","discount":null,"currency":"EUR","brand_title":"Bambini","size_title":"","is_for_swap":false,"user":{"id":69909841,"login":"capitanleox","profile_url":"https://www.vinted.it/member/69909841-capitanleox"...

Бла бла бла...

ЗЫ: Можно прикрутить requests.Session()

Comments

[Barl]

Вставил точно такой же, никакой json я не получил. Только html

Answer 3

[Александр Нестеров]

Ну, очевидно, сайт требует определенный токен для авторизации.

Comments

[Bruh_h_h_h]

Это представляется возможным как-то решить?

[Игорь Маркин]

Bruh_h_h_h, да, для доступа к API нужно получить токен и передавать его в headers при каждом запросе.