Как спарсить динамические(AJAX) данные на сайте с помощью Jquery node js?

Question

[ratatyq]

Здравствуйте, вот появился вопрос как можно спарсить динамические данные с сайта(они берутся из ajax запроса)? Сначала делал так что через request подключался к сайту, скачивал его таким образом и пытался найти нужные мне данные... не получилось, потом я просто вывел в консоль весь сайт и получил тот div но в нем не было не чего, хотя на самом сайте в этом блоке div есть данные(они как раз динамичные), больше интересует реализация именно через Jquery а не через Phantom js*(ну и я его особо не понял, да и лень разбираться). Заранее спасибо за ответ.)

Comments

[OVK2015]

Может ajax post запросом какие-то данные на сервер передает, чтобы на них ответ получить?

[ratatyq]

OVK2015: Я бы написал как называется сайт, но скорее всего меня тут забанят ну скажу так там есть 10 последних чисел они раз в ~45 секунд эти данные(цифры) обновляются и мне нужно вытаскивать эти данные и уже у себя там хранить

[ratatyq]

OVK2015: тобешь там ответа на эти отображенных данных нету

[OVK2015]

ratatyq:
Лихо! Это квест такой? На 1-ом этапе нужно отгадать с какого сайта брать данные?

[ratatyq]

OVK2015: ну вот код который нужно спарсить imgur.com/JapBdGF

[ratatyq]

а сам сайт hitbets.com

[OVK2015]

ratatyq:
Ajax там даром не нужен. Там все на webSocket`e работает:

{"roulette":{"duration":60000,"order":[1,14,2,13,3,12,4,0,11,5,10,6,9,7,8],"position":7,"last10positions":[1,4,0,8,7,10,1,2,1,7],"roll":{"id":103654,"active":0,"position":7,"pts_green_bets":115,"pts_green_won":0,"pts_red_bets":6923,"pts_red_won":13846,"pts_black_bets":8385,"pts_black_won":0,"stat_profit":1577,"created_at":"2016-04-22T15:48:37.000Z","updated_at":"2016-04-22T15:49:37.000Z","bets":[{"id":3377815,"user_id":6578,"user_name":"-Aim-Skill-","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/da/da2024e6420c7ae4baf3df9f2698463be5f0786b_full.jpg","user_steamid":"76561198227303112","position":"green","pts":50,"created_at":"2016-04-22T15:49:03.000Z","updated_at":"2016-04-22T15:49:03.000Z"},{"id":3377830,"user_id":63781,"user_name":"MonsterCat ITEMGRAD.COM","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/00/0033d21a830ed4dd1f5ab9dc1b302f5d34dac193_full.jpg","user_steamid":"76561198141174417","position":"green","pts":20,"created_at":"2016-04-22T15:49:26.000Z","updated_at":"2016-04-22T15:49:26.000Z"},{"id":3377809,"user_id":74143,"user_name":"PashaStricepsKFC","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/de/de1a528ae7607ad3ee1f43054ad1f0d86201cb7a_full.jpg","user_steamid":"76561198085446144","position":"green","pts":15,"created_at":"2016-04-22T15:48:55.000Z","updated_at":"2016-04-22T15:48:55.000Z"},{"id":3377834,"user_id":52865,"user_name":"SVKhUN73R-","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/1f/1f6fd58a84dffb55cd6c628e1c5b19daa9786bbd_full.jpg","user_steamid":"76561198043590516","position":"green","pts":10,"created_at":"2016-04-22T15:49:30.000Z","updated_at":"2016-04-22T15:49:30.000Z"},{"id":3377819,"user_id":54348,"user_name":"Sanek58791","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/20/2000ae845b0409f38c87da940068bc50ce303181_full.jpg","user_steamid":"76561198087110554","position":"green","pts":10,"created_at":"2016-04-22T15:49:09.000Z","updated_at":"2016-04-22T15:49:09.000Z"},{"id":3377811,"user_id":61705,"user_name":"Бендер.","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/fe/fef49e7fa7e1997310d705b2a6158ff8dc1cdfeb_full.jpg","user_steamid":"76561198292000266","position":"green","pts":10,"created_at":"2016-04-22T15:48:58.000Z","updated_at":"2016-04-22T15:48:58.000Z"},{"id":3377814,"user_id":15359,"user_name":"W3RTUKY","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/73/73fa04f4565fb597280a1873738701142ab44fbc_full.jpg","user_steamid":"76561198164179171","position":"red","pts":2000,"created_at":"2016-04-22T15:49:03.000Z","updated_at":"2016-04-22T15:49:03.000Z"},{"id":3377800,"user_id":54325,"user_name":"Othersidee","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/e9/e94af550dfdbe3b272f975993a33b7490151cf02_full.jpg","user_steamid":"76561198037845591","position":"red","pts":2000,"created_at":"2016-04-22T15:48:50.000Z","updated_at":"2016-04-22T15:48:50.000Z"},{"id":3377821,"user_id":58367,"user_name":"lavreNzi","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/bf/bf1bbbff21a49fa6f7e4b19460698d08be7dafcf_full.jpg","user_steamid":"76561198183869803","position":"red","pts":1000,"created_at":"2016-04-22T15:49:12.000Z","updated_at":"2016-04-22T15:49:12.000Z"},{"id":3377810,"user_id":56379,"user_name":"POTATOEmeister","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/24/24ca7683bef5b3f4602eb648790561a6fc668318_full.jpg","user_steamid":"76561198135747195","position":"red","pts":700,"created_at":"2016-04-22T15:48:57.000Z","updated_at":"2016-04-22T15:48:57.000Z"},{"id":3377805,"user_id":9454,"user_name":"tvin","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/4a/4a2c3c1b3fa5b9c4a6db7151472ef898159fc8f7_full.jpg","user_steamid":"76561198174168322","position":"red","pts":200,"created_at":"2016-04-22T15:48:53.000Z","updated_at":"2016-04-22T15:48:53.000Z"},{"id":3377801,"user_id":63512,"user_name":"Mil@d","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/fa/fa2f9ff4fc41836b0ff1c52ed85104653f2559b9_full.jpg","user_steamid":"76561198283947868","position":"red","pts":200,"created_at":"2016-04-22T15:48:50.000Z","updated_at":"2016-04-22T15:48:50.000Z"},{"id":3377827,"user_id":63781,"user_name":"MonsterCat ITEMGRAD.COM","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/00/0033d21a830ed4dd1f5ab9dc1b302f5d34dac193_full.jpg","user_steamid":"76561198141174417","position":"red","pts":100,"created_at":"2016-04-22T15:49:24.000Z","updated_at":"2016-04-22T15:49:24.000Z"},{"id":3377807,"user_id":61705,"user_name":"Бендер.","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/fe/fef49e7fa7e1997310d705b2a6158ff8dc1cdfeb_full.jpg","user_steamid":"76561198292000266","position":"red","pts":100,"created_at":"2016-04-22T15:48:55.000Z","updated_at":"2016-04-22T15:48:55.000Z"},{"id":3377802,"user_id":12965,"user_name":"GeorKuzh","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/80/809181beb9db15f4df8c7cceac4f5f31a91010aa_full.jpg","user_steamid":"76561198233060568","position":"red","pts":100,"created_at":"2016-04-22T15:48:51.000Z","updated_at":"2016-04-22T15:48:51.000Z"},{"id":3377796,"user_id":74033,"user_name":"В@р4lIlEk .[Шон].","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/e8/e86314d288b28ef591d3674bdde3e48c6f1dc4c2_full.jpg","user_steamid":"76561198267307208","position":"red","pts":100,"created_at":"2016-04-22T15:48:49.000Z","updated_at":"2016-04-22T15:48:49.000Z"},{"id":3377837,"user_id":4418,"user_name":"PingUin","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/e5/e5a289ad4a44be013dcbf0a6449f9eeac0775539_full.jpg","user_steamid":"76561198264863476","position":"red","pts":80,"created_at":"2016-04-22T15:49:35.000Z","updated_at":"2016-04-22T15:49:35.000Z"},{"id":3377831,"user_id":52865,"user_name":"SVKhUN73R-","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/1f/1f6fd58a84dffb55cd6c628e1c5b19daa9786bbd_full.jpg","user_steamid":"76561198043590516","position":"red","pts":50,"created_at":"2016-04-22T15:49:28.000Z","updated_at":"2016-04-22T15:49:28.000Z"},{"id":3377826,"user_id":72895,"user_name":"Мастер Йода","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/a8/a867c5126c244dc4ad521bba5976899f9ea9609b_full.jpg","user_steamid":"76561198116785501","position":"red","pts":50,"created_at":"2016-04-22T15:49:22.000Z","updated_at":"2016-04-22T15:49:22.000Z"},{"id":3377804,"user_id":28470,"user_name":"TheGeryimPlim","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/57/57ae151dfa84448909ca4fc418af1dcdb64f51e6_full.jpg","user_steamid":"76561198072640502","position":"red","pts":50,"created_at":"2016-04-22T15:48:52.000Z","updated_at":"2016-04-22T15:48:52.000Z"},{"id":3377820,"user_id":5289,"user_name":"GIWL","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/f6/f6cceb35563d02ac77136550598c7264887b3c5d_full.jpg","user_steamid":"76561198084858583","position":"red","pts":48,"created_at":"2016-04-22T15:49:10.000Z","updated_at":"2016-04-22T15:49:10.000Z"},{"id":3377812,"user_id":29437,"user_name":"Господин Филипп","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/ab/ab4b02e0cd3cebd8b861b63dd1e0d1647921ad93_full.jpg","user_steamid":"76561198118133823","position":"black","pts":4000,"created_at":"2016-04-22T15:49:00.000Z","updated_at":"2016-04-22T15:49:00.000Z"},{"id":3377829,"user_id":54885,"user_name":"MIKO","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/51/51bcaa2eb99529e896c245fd69276717fafa966c_full.jpg","user_steamid":"76561198159635029","position":"black","pts":2000,"created_at":"2016-04-22T15:49:26.000Z","updated_at":"2016-04-22T15:49:26.000Z"},{"id":3377794,"user_id":38628,"user_name":"st ;]","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/44/44734c27f6de84bd00669896803ef709f3243574_full.jpg","user_steamid":"76561198023427394","position":"black","pts":500,"created_at":"2016-04-22T15:48:48.000Z","updated_at":"2016-04-22T15:48:48.000Z"},{"id":3377808,"user_id":59982,"user_name":"Piks","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/8b/8b32cca3e502393120cff8eaebd2426093bdd0ea_full.jpg","user_steamid":"76561198155203085","position":"black","pts":400,"created_at":"2016-04-22T15:48:55.000Z","updated_at":"2016-04-22T15:48:55.000Z"},{"id":3377816,"user_id":73855,"user_name":"VLADOS","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/3b/3be43b6a2631013680462e8d546fa8e7883a4b97_full.jpg","user_steamid":"76561198294948030","position":"black","pts":393,"created_at":"2016-04-22T15:49:06.000Z","updated_at":"2016-04-22T15:49:06.000Z"},{"id":3377836,"user_id":13214,"user_name":"Tonpil.","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/94/949dc5cee828289cb0c3b56d75c466e3e021dea7_full.jpg","user_steamid":"76561198243418568","position":"black","pts":200,"created_at":"2016-04-22T15:49:33.000Z","updated_at":"2016-04-22T15:49:33.000Z"},{"id":3377795,"user_id":2581,"user_name":"AlekseeFF","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/b4/b4928d7a18ddc169ec8673d264dff7641c424b0c_full.jpg","user_steamid":"76561198131843327","position":"black","pts":200,"created_at":"2016-04-22T15:48:48.000Z","updated_at":"2016-04-22T15:48:48.000Z"},{"id":3377792,"user_id":13214,"user_name":"Tonpil.","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/94/949dc5cee828289cb0c3b56d75c466e3e021dea7_full.jpg","user_steamid":"76561198243418568","position":"black","pts":200,"created_at":"2016-04-22T15:48:47.000Z","updated_at":"2016-04-22T15:48:47.000Z"},{"id":3377825,"user_id":59033,"user_name":"Faust","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/ac/ac6a65c253e279a91bfdd1dbd220324fd341402e_full.jpg","user_steamid":"76561198121901157","position":"black","pts":100,"created_at":"2016-04-22T15:49:17.000Z","updated_at":"2016-04-22T15:49:17.000Z"},{"id":3377817,"user_id":67781,"user_name":"TH | Hunter","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/43/432e51c72066352ad4fda8f4b3323a37afd6bebd_full.jpg","user_steamid":"76561198202290186","position":"black","pts":100,"created_at":"2016-04-22T15:49:07.000Z","updated_at":"2016-04-22T15:49:07.000Z"},{"id":3377838,"user_id":65790,"user_name":"PUNCHLINE /NP/","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/29/29809ed1268aedecd7143646186cb0f5eeed0a59_full.jpg","user_steamid":"76561198285639203","position":"black","pts":80,"created_at":"2016-04-22T15:49:37.000Z","updated_at":"2016-04-22T15:49:37.000Z"},{"id":3377799,"user_id":74143,"user_name":"PashaStricepsKFC","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/de/de1a528ae7607ad3ee1f43054ad1f0d86201cb7a_full.jpg","user_steamid":"76561198085446144","position":"black","pts":60,"created_at":"2016-04-22T15:48:50.000Z","updated_at":"2016-04-22T15:48:50.000Z"},{"id":3377828,"user_id":67165,"user_name":"/N1tr0/w0w","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/67/67fc111246fea1beedaaf8edeec44d1b0367aa17_full.jpg","user_steamid":"76561198249280378","position":"black","pts":52,"created_at":"2016-04-22T15:49:25.000Z","updated_at":"2016-04-22T15:49:25.000Z"},{"id":3377824,"user_id":72938,"user_name":"Максимка","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/d7/d7cdc382f1834cda147c0b840bf6844f9a9bb308_full.jpg","user_steamid":"76561198123568109","position":"black","pts":40,"created_at":"2016-04-22T15:49:15.000Z","updated_at":"2016-04-22T15:49:15.000Z"},{"id":3377793,"user_id":39116,"user_name":"Tw1nGo","user_avatar":"https://steamcdn-a.akamaihd.net/steamcommunity/public/images/avatars/cb/cb298ae3e13cf804e9fb403d23d0388133d6f7be_full.jpg","user_steamid":"76561198208257607","position":"black","pts":40,"created_at":"2016-04-22T15:48:48.000Z","updated_at":"2016-04-22T15:48:48.000Z"}]}}}

[ratatyq]

OVK2015: А где ты это увидел?

[OVK2015]

ratatyq:
Опыт, знания, интуиция. Fiddler, Wireshark. :)
А если серьезно, без этих заморочек: открываешь chrome DevTools|Network и смотришь трафик

[ratatyq]

OVK2015: А получается вот эти данные они идут к тебе каждые там 45 секунд ну типо прокрутилась там обновилась и к тебе эти данные пришли?

[ratatyq]

OVK2015: Именно в таком виде

[ratatyq]

OVK2015: А можешь расписать ну или показать как ты это сделал и можно ли запарсить вот это через node js

[ratatyq]

my skype: wolfss77 ну если у тебя время есть))

[OVK2015]

ratatyq:
По пунктам:
1. Их WebSocket обновляется намного чаще, чем каждые 45 секунд.
2. Данные там разные могут приходить. По какому-то одному из столбцов, например. Дальше их уже скрипт разбирает и отображает.
3. Расписать могу. С socket`ами node работает стабильно.
4. Skype нет. ICQ в профиле

Answer 1

[VZVZ]

Каким боком сюда jQuery? Ну есть on dom change event где-то там в JS, но зачем, если вы от PhantomJS отказались?
Учитесь работать чистыми HTTP-запросами. В частности, подделайте тот AJAX-запрос, который вам нужен. Для этого сниффер Fiddler в помощь, он его отследит, и вы сможете сформировать и отправить его из Node.js или любого другого десктопного ЯП, и получить данные.

Comments

[VZVZ]

GitSputnik: не интересовался. Наверно, примерно как и любой браузерный движок. Еще ведь Eclipse бывает и Android Studio, которые в разы больше жрут, и что теперь?

[VZVZ]

GitSputnik: чего вам эта память? У меня и то ее целых 4 ГБ.

Answer 2

[Юрий Шилка]

Браузерный движок вроде phantom нужен для эмуляции евентов браузера. С помощью движка вы ставите обработчик на нужное событие и перехватываете его - как в реальном браузере. Вы также можете выпонить свой код прямо в консоли браузера - это подразумевает отказ от node js для перехвата ссылок. Можно разгадать алгоритм построения нужных ссылок и сконструировать их вручную. Можно посмотреть в сторону нодовых библиотек вроде jsdom - они проще чем phantom, но я не уверен, делают ли они то, что нужно вам