Как расшифровать строку url запроса?

Question

[OctorberMyMonth]

Всем мир!

Url = 'https://www.avito.ru/rostov-na-donu/avtomobili/aud...'

Скажите, как расшифровать данный отрезок: f=ASgBAgECAUTgtg3elygBRfgCGHsiZnJvbSI6ODkzLCJ0byI6NDMxNzg5fQ
Возможно я не правильно сформулировал свой вопрос, ввиду не знания, но суть такова, можно ли перевести это в текст, чтобы самому отправлять запрос через requests и получать ответ.

Интересно, что это такое и для чего это делается?
Заранее всем спасибо!

Answer 1

[soremix]

base64, думаю, у авито своя кодировка, поэтому привести обратно в текст как обычный b64 не выйдет.

Интересно, что это такое и для чего это делается

Это просто строка для сокращения фильтров. Хотя, судя по всему, кроме года выпуска авто она ни за что не отвечает.

Если хотите узнать откуда она собирается - откройте инструменты разработчика на F12 - вкладка Network. При изменении года выпуска отправляется запрос на js/catalog с различными фильтрующими параметрами.

Если его причесать через urlencoder, то выйдет примерно это:

https://www.avito.ru/js/catalog?_=&categoryId=9&locationId=652000&radius=0&cd=1&s=101&p=1&params[188][from]=893&params[188][to]=896&params[110000]=329199&verticalCategoryId=0&rootCategoryId=1&localPriority=0&sellerId=&proprofile=1&proProfileDomain=&countOnly=1

Где params[188][from] и params[188][to] - года выпуска от и до соответственно.
params[188][from]=893 - год 2000
params[188][to]=896 - год 2003
Почему года не соответствуют цифрам - значит так надо авито.

В ответ на этот запрос возвращается ссылка на страницу с поиском машин с этими фильтрами, в данном случае:

/rostov-na-donu/avtomobili/audi?cd=1&f=ASgBAgECAUTgtg3elygBRfgCFXsiZnJvbSI6ODkzLCJ0byI6ODk2fQ&localPriority=0

Где и есть этот параметр f

Думаю, вам он не особо нужен, важен только первый запрос, который был во вкладке Network, можно просто отправлять его как GET и получать в ответ нужную вам ссылку из JSON объекта, который приходит в ответ.

В принципе, расшифровка base64 примерно и дает этот результат:


Так что открываете инструменты разработчика, Network, включаете фильтр на XHR и пробуете изменить какие либо фильтры. В результате находите запрос на js/catalog с нужными вам параметрами, ну и там уже методом проб разбираетесь какой параметр за что отвечает

Comments

[OctorberMyMonth]

Спасибо вам большое за внимание и ответ!

[ramazan8]

Подскажите пожалуйста юнцу)) Суть вопроса примерно та же, только мне нужно как то извлечь параметр страницы из URL на авито, вроде как очевидно но почему то моя программа парсит страницу циклом равным количеству страниц, но новый параметр, тобишь номер следующей страницы в URL вставлять не хочет((

import requests
import unidecode as unidecode
from bs4 import BeautifulSoup
import csv
import os

URL = 'https://www.avito.ru/sankt_peterburg_i_lo/telefony/mobilnye_telefony/apple-ASgBAgICAkS0wA3OqzmwwQ2I_Dc?f=ASgBAgECA0SywA36gTy0wA3OqzmwwQ2I_DcBRcaaDBV7ImZyb20iOjAsInRvIjo1MzAwMH0&q=iphone+12&s=104 '
HOST = 'https://www.avito.ru'

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36', 'accept': '*/*'}
FILE = 'phones.csv'


def get_html(url, params=None):
    r = requests.get(url, headers=headers, params=params)
    return r


def get_pages_count(html):
    soup = BeautifulSoup(html, 'html.parser')
    pagination = soup.find_all('span', class_='pagination-item-JJq_j')
    if pagination:
        return int(pagination[-2].get_text())
    else:
        return 1


def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div',
                          class_='iva-item-root-Nj_hb photo-slider-slider-_PvpN iva-item-list-H_dpX '
                                 'iva-item-redesign-nV4C4 iva-item-responsive-gIKjW items-item-My3ih '
                                 'items-listItem-Gd1jN js-catalog-item-enum')
    # print(items)
    phones = []
    for item in items:
        rub_price = item.find('span', class_='price-text-E1Y7h text-text-LurtD text-size-s-BxGpL').get_text()
        phones.append({
            'title': item.find('div', class_='iva-item-titleStep-_CxvN').get_text(),
            'link': HOST + item.find('a', class_='link-link-MbQDP link-design-default-_nSbv title-root-j7cja '
                                                 'iva-item-title-_qCwt title-listRedesign-XHq38 '
                                                 'title-root_maxHeight-SXHes').get('href'),
            'price': unidecode.unidecode(rub_price)
        })
    return phones


def save_file(items, path):
    with open(path, 'w', newline='') as file:
        writer = csv.writer(file, delimiter=';')
        writer.writerow(['Наименование', 'Ссылка', 'Цена'])
        for item in items:
            writer.writerow([item['title'], item['link'], item['price']])



def parse():
    URL = input('Введите URL: ')
    URL = URL.strip()
    html = get_html(URL)
    if html.status_code == 200:
        phones = []
        pages_count = get_pages_count(html.text)
        for page in range(1, pages_count + 1):
            print(f'Парсинг страницы {page} из {pages_count}...')
            html = get_html(URL, params={'&p': page})
            phones.extend(get_content(html.text))
            print(URL)
            print()
        print(f'Получено {len(phones)} телефонов')
        save_file(phones, FILE)
        os.startfile(FILE)
    else:
        print('Error')


parse()