Как передавать динамические данные в реальном времени с сайта в Excel?

Question

[Nickrex]

На сайте https://finance.yahoo.com/quote/TSLA есть динамические данные которые меняются каждые n секунд ( прикрепил фото ). Подскажите как можно автоматически передавать данные в реальном времени в табличку Excel?

https://finance.yahoo.com/quote/TSLA - таких ссылок будет много, больше 1000шт и меняться будет только последняя приставка (TSLA>QQQ>SPY>...). Тоесть я хочу подтянуть динамические данные с многих категорий сайта в Excel.

Пробовал сделать через importXML в google sheet но после нескольких обновлений данные перестают передаваться.

Comments

[Василий Банников]

Ексель же вроде вообще для таких сценариев не предназначен.
Почему вы хотите использовать его?

[Nickrex]

В дальнейшем мне нужно будет быстро вносить изменения в данные и манипулировать ими, а через ексель я могу сделать это быстро и просто.

А какой варианты реализации парсинга вообще есть, для динамических данных с сайта, в реальном времени?

Возможно, есть ли вариант собирать их в базу ?

Answer 1

[rPman]

Добро пожаловать в мир реверс инженеринга.

Чтобы собирать данные с чужого сайта необходимо провести расследование, для каждого свое, после каждого изменения сайта (иногда даже минимального), повторное (да проще, но когда этим приходится заниматься месяцами... становится не так просто)

конкретно в данном случае сайт получает данные с сервера в websocket по ссылке в дважды закодированном виде

CgRUU0xBFc18h0QYwJep2qtfKgNOTVMwCDgCRfhlOz5lAHD9P9gBBA==

это base64 строка, декодируется в это

00000000  0a 04 54 53 4c 41 15 66  5a 87 44 18 a0 ba 93 da  |..TSLA.fZ.D.....|
00000010  ab 5f 2a 03 4e 4d 53 30  08 38 02 45 ee 4a ab 3d  |._*.NMS0.8.E.J.=|
00000020  65 00 a8 67 3f d8 01 04                           |e..g?...|

сравнивай разные значения, попробуй интуитивно декодировать формат на основе данных, либо анализируй код

p.s. универсальный способ, позволяет почти не заниматься этим, но дико не эффективный по компьютерным ресурсам - держать запущенный браузер и с помощью какого то инструмента автоматизации (silenium или мне нравится инжект javascript, который отправляет на мой сервер изменившуюся строку)

p.p.s. тебе нужны оперативные данные по торговым инструментам, так иди за этой информацией к брокерам, многие дают ее забесплатно или за дешево (оперативная информация может потребовать аренду vps-ки у брокера), чаще плату берут за исторические данные

Answer 2

[ForSureN1]

Добро пожаловать в мир парсинга

Comments

[Nickrex]

То что это парсинг я понимаю.

Может, вы знаете, каким образом собираются данные которые постоянно изменяются на сайте?

Answer 3

[Krasnoarmeec]

У yahoo finance есть и API (тыкать сюда).

Пример использования на Экселе. Копирует исторические цены (цену закрытия в данном случае). Легко может быть модифицирован и для Вашего случая. В пример вставлена случайная задержка. Без задержки yahoo сбрасывает "crumb".

Пользуйтесь на здоровье.