Как спарсить информацию с динамического сайта на python/js?

Question

[pokemonchik2]

Всем привет
Хочу спарсить логины людей которые выставляют свои нфт на продажу

Пробовал различные способы которые были описаны в похожих темах и на ютубе, ничего не помогает, может кто то мог бы подсказать решение.

Вот примеры того какие способы пробовал:
Через обращение к graphql - <скрины> | <текст ошибки>
Также пробовал сначала сохранить каскад и дальше нужно было делать махинации с запросами но сохранялся зачастую или пустой документ или код json - <ссылка>
Ну и метод с этой темы, подставлял данные на свои но код выдавал ошибки.

По совету одного из комментаторов попробовал сделать инжект скрипта с помощью плагина tempermonkey но не могу разобраться с селектором <скрины>

ps. может у кого то будут болеть глаза от кода, искал способы как мог, буду благодарен за любую помощь.

Comments

[Ян]

Сейчас тебе в панаму накидают за то что не показал как пробовал.

К Ванге не ходи, пошлют на фриланс.

[pokemonchik2]

Ян, согласен, сейчас подгружу скрины

[Ян]

pokemonchik2, тогда уж листинг в code оберни что бы прям феншуйно было

[Александр Нестеров]

pokemonchik2,

Пробовал различные способы которые были описаны в похожих темах и на ютубе, ничего не помогает, может кто то мог бы подсказать решение.

Ну так опишите как пробовали (т.е. код), и что именно не получилось (текст ошибки или описание того, чем именно поведение вашего кода отличается от запланированного)

[pokemonchik2]

Александр Нестеров, добавил информацию, несколько методов которые пробовал к сожалению не скринил(

Answer 1

[rPman]

забрось ты эти попытки симуляции поведения браузера
потратишь времени вагон, а потом разработчики сайта что то подправят и тебе снова анализировать код

запускай полноценный браузер, симулируй клики пользователя, способов миллион, от инжекта javascript на страницу нормально запущенного браузера и прередачи информации через http до полноценных библиотек типа selenium

Comments

[pokemonchik2]

Хорошо, сейчас попробую поискать информацию о способах которые вы посоветовали, спасибо за комментарий.

[rPman]

инжект скрипта - например с помощью плагина типа tempermonkey или тупо в консоли браузера напиши загрузку своего скрипта со своего github pages (это чтобы cовсем бесплатно и https не бороться), в этом случае можно данные себе выгружать сформировав файл на сохранение (base64 data uri)

[pokemonchik2]

rPman, попробовал через tempermonkey, можете подсказать в чем ошибка?

[rPman]

не определен $?, так как на сайте нет jquery или он не определил эту функцию
ты не мучайся, не вызывай чужие методы, а симулируй клики querySelector('xxx').click(), смотри значения html и делай это все с таймаутами

[pokemonchik2]

rPman, что то на подобии этого? только не могу разобраться с значениями в селекторе.

[Zukrine]

pokemonchik2, ты навесил слушатель click, но после того, как он прослушивает, скрипт не знает что с этим делать дальше. Продолжи писать после клика стрелочную функцию.