Как парсить сайт на javascript?

Question

[Николай Ерофеев]

Есть сайт, из категории надо вытащить данные, там около 2000 наименований, в категории около 50 страниц. Может есть готовый парсер?

Answer 1

[AngReload]

Это делается на "раз".
При чем тут какиет-то наименования, наименования категорий? Страницы - это страницы в web? те всего 2000 * 50 страниц?
Это дополнение для браузера? Node.js? Или без разницы, главное вытащить из сайта таблички?

Comments

[Николай Ерофеев]

главное вытащить из сайта таблички в json например

[Николай Ерофеев]

дело в том, страницы, меняется урл, если гетом будем брать страницу 2, остальные никак уже

[АртемЪ]

Вот так прям на раз?

[Николай Ерофеев]

Артем: в смысле на раз? При get запросе вылезла ошибка No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'null' is therefore not allowed access. то есть я не смогу загрузить данные?

[АртемЪ]

Николай Ерофеев: Сможете, если правильно составите запрос к серверу.
Логика составления запроса в JS.

В простейшем случае достаточно просто посмотреть в браузере какой запрос идет, увидеть что он отправляет к примеру просто ID поста, состряпать такой же запрос и можно спокойно парсить.

В случае посложнее - запросы будут каждый раз разными, с каждым запросом кроме банального ID поста будет еще джава кукис, и какая нибудь закодированная строчка вычисляемая по хитрому алгоритму. Придется долго и нудно вникать в JSкод и смотреть как он эту строчку вычисляет.

В совсем запущенных случаях алгоритм формирования строчки будет меняться с каждой страницей.

Answer 2

[Алексей]

Можно и не на Javascript, если и есть готовые парсеры то они будут платны.
Писать не сложно, но опять же вопрос - зачем на JS?
Пишите на серверном языке - PHP, Python, ну если знаете Node.JS - но это тоже серверный язык :)
Плюс вам же надо это еще и куда то в БД положить?
Если имеется в виду что сайт написан на Javascript - разницы в реализации парсера нет, запросы то все равно будете делать по-странично и парсить HTML в итоге. Хотя можно пробовать разбирать что сервер шлет и отдает ли он JSON данные - возможно это будет и проще. Но это почти всегда индивидуально, если сайт не на какой-то распростронненной CMS

Comments

[Николай Ерофеев]

спрашивал, json нету, придется постранично парсить, не могли бы написать небольшой примерчик, как можно парсить страницу сайта

[Алексей]

Николай Ерофеев: даже небольшой примерчик - это время - чем он вам поможет?

[АртемЪ]

Алексей: Далеко не факт что парсер возможно будет сделать без JS.
Одно дело когда JS делает стандартный и понятный запрос к серверу, и совсем другое дело, если запрос хитро закодирован, и зависит от кучи факторов.
Тут вам либо придется через браузер с включенным JS парсить, либо разбирать всю логику работы JS, и реализовать эту логику составления запроса на нужном языке. А JS будет конечно же обфусцирован, и меняться каждый час.

[Алексей]

Артем: ну при таком раскладе совсем другие деньги за разработку парсера берут