Подкиньте идею как спарсить одну страничку?

Question

[med1um]

Подскажите что за хитрый способ защиты от парсинга используется вот здесь:
https://app.flipsidecrypto.com/fcas-scores
?

Реально ли получить данные (значение рейтинга) с этой страницы?

Comments

[sim3x]

F12

[dollar]

You need to enable JavaScript to run this app.

Это приложение, а не страница.

[med1um]

dollar, такое вобще никак не парсится?

[dollar]

med1um, Лучше не парсить то, что не хотят отдавать на парсинг.
Даже если у вас получится, то они в будущем специально вам опять всё сломают.

Answer 1

[Evgen]

Берете ключ из скрипта

https://app.flipsidecrypto.com/static/js/Settings.34929545.chunk.js

return n = new E("a7936778-4f87-4790-889f-3ab617271458")

,
Обычно он статичный: a7936778-4f87-4790-889f-3ab617271458

Делаете POST запрос на

https://platform-api.flipsidecrypto.com/api/v1/assets/metrics?apikey=a7936778-4f87-4790-889f-3ab617271458

Тело: {"size":1000,"change_over":7,"metrics":["fcas"]}
Получаете все в JSON.
Пример:

curl 'https://platform-api.flipsidecrypto.com/api/v1/assets/metrics?api_key=a7936778-4f87-4790-889f-3ab617271458' --data-binary '{"size":1000,"change_over":7,"me}'ics":["fcas"]}

Comments

[hzzzzl]

ай блин и правда, я чето даже не подумал в гуглоконсоли посмотреть на запросы т_Т

Answer 2

[hzzzzl]

короче смотри :D
они добавляют дивы с криптами при скролле, так что на странице одновременно существует только то, что влезает в экран

я оооочень отзумил через хромовскую консоль, так что на страницу влезло аж 213 "карточки"



ну а потом прошелся селекторами, имена классов хоть и такие как есть, но вроде работает

name = '._34THYs32bhje4xSvoxAZx3'
health = '._3x2gQl_JNOeByBffSJ6z3q'
elems = document.querySelectorAll('.sc-eHgmQL.exgINJ')
[...elems].map(elem => ({name: elem.querySelector(name).textContent, health: elem.querySelector(health).textContent}))

Comments

[hzzzzl]

результат

[med1um]

hzzzzl, ты крут однако)

[Evgen]

Можно обойтись без рендеринга JS.

[Дмитрий]

Evgen, не можно, а нужно

Answer 3

[Дмитрий]

Сайт отправляет post запрос на https://platform-api.flipsidecrypto.com/api/v1/ass... и получает все данные в json формате. Твоя задача повторить этот запрос.