Каким запросом подгружается информация?

Question

[twopercent]

Есть страничка товара с блоком Характеристики. Блок разворачивается полностью при нажатии "Развернуть описание". По определенным причинам парсить Селениумом мне не подходит. Хотелось бы разобраться по какому запросу браузер получает развернутые характеристики. На других форумах нашел библиотеку Requests-HTML, но в документации не увидел нужного инструмента.

Вот ссылка на страничку

Answer 1

[alexalexes]

Данные прикладываются в первоначальное состояние html.
В конце страницы есть тег script. Там определяется глобальный объект __NUXT__.
В нем есть свойство data, в нулевом элементе лежат данные, необходимые для интерактива.
Среди них есть то, что вы ищите:
window.__NUXT__.data[0].product.props
Чтобы забрать значение __NUXT__ нужно выполнить JS этого тега.
Но можно решить задачу влоб при помощи регулярки, получив содержимое между return и последней закрывающийся фигурной скобкой функции, формирующей этот объект:

(?<=window\.__NUXT__=\(function\(a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,V,W,X,Y,Z,_,\$,aa,ab,ac,ad,ae,af\){return\s).*(?=}\()

Данная регулярка получит JSON, который можно превратить в объект без выполнения JS.
Но данный метод будет работать до тех пор, пока разработчики магазина не добавят новых аргументов в эту функцию. Либо эта функция будет иметь переменное кол-во аргументов.

Comments

[twopercent]

Спасибо большое! Но у меня теперь другой вопрос возник: чем это можно обработать в Python? Я так понимаю есть что-то более продуктивное чем работать с этим как со строкой

[alexalexes]

Обновил ответ.

[alexalexes]

Ну вы же не хотите Селениумом это обрабатывать. Так что работайте со строками.
Сначала выделите часть строки с данными из всего тела ответа сервера regex функцией, используя текст регулярного выражения, который я привел, а потом сделайте с этой частью строки преобразование по аналогии с JSON.parse() в JS или json_decode() в PHP.
Получите объект и сможете достучаться до свойств по пути data[0].product.props.
Могут, конечно, возникнуть нюансы с кодировкой кириллических символов при преобразовании JSON, но они будут касаться настройки decode функции, с которыми в python я не знаком.

Answer 2

[Дмитрий]

Ни по какому запросу - там уже в json лежат данные

Скриншоты кода запрещены. Удалено модератором.

Comments

[Модератор]

См.п.3.8 правил.