Чем запарсить сотню страниц?

Question

[lukoie]

Есть сайт на пхп. Там есть бложик, и в нем две стотни статей. Простые - тайтл, контент, картинка, автор.
Человек хочет на Вордпресс перейти.
Посоветуйте инструмент чтобы спарсить статьи, и в итоге завордпресить их.
Что то желательно бесплатное, если знаете.

Comments

[Stalker_RED]

А бд там нет? Конвертеры есть под большинство движков. Я когда-то использовал джумла→вп, и все сконвертилось за считанные секунды.

[lukoie]

Stalker_RED: нет, там статика

Answer 1

[dummyman]

Уже писал где-то

Тут может помочь каспер
docs.casperjs.org/en/latest/quickstart.html#now-le...

var links = [];
var casper = require('casper').create();

function getLinks() {
    var links = document.querySelectorAll('h3.r a');
    return Array.prototype.map.call(links, function(e) {
        return e.getAttribute('href');
    });
}

casper.start('http://google.fr/', function() {
   // Wait for the page to be loaded
   this.waitForSelector('form[action="/search"]');
});

casper.then(function() {
   // search for 'casperjs' from google form
   this.fill('form[action="/search"]', { q: 'casperjs' }, true);
});

casper.then(function() {
    // aggregate results for the 'casperjs' search
    links = this.evaluate(getLinks);
    // now search for 'phantomjs' by filling the form again
    this.fill('form[action="/search"]', { q: 'phantomjs' }, true);
});

casper.then(function() {
    // aggregate results for the 'phantomjs' search
    links = links.concat(this.evaluate(getLinks));
});

casper.run(function() {
    // echo results in some pretty fashion
    this.echo(links.length + ' links found:');
    this.echo(' - ' + links.join('\n - ')).exit();
});

Запускаем
$ casperjs googlelinks.js

Получаем

20 links found:
 - https://github.com/casperjs/casperjs
 - https://github.com/casperjs/casperjs/issues/2
 - https://github.com/casperjs/casperjs/tree/master/samples
 - https://github.com/casperjs/casperjs/commits/master/
 - http://www.facebook.com/people/Casper-Js/100000337260665
 - http://www.facebook.com/public/Casper-Js
 - http://hashtags.org/tag/CasperJS/
 - http://www.zerotohundred.com/newforums/members/casper-js.html
 - http://www.yellowpages.com/casper-wy/j-s-enterprises
 - http://local.trib.com/casper+wy/j+s+chinese+restaurant.zq.html
 - http://www.phantomjs.org/
 - http://code.google.com/p/phantomjs/
 - http://code.google.com/p/phantomjs/wiki/QuickStart
 - http://svay.com/blog/index/post/2011/08/31/Paris-JS-10-%3A-Introduction-%C3%A0-PhantomJS
 - https://github.com/ariya/phantomjs
 - http://dailyjs.com/2011/01/28/phantoms/
 - http://css.dzone.com/articles/phantom-js-alternative
 - http://pilvee.com/blog/tag/phantom-js/
 - http://ariya.blogspot.com/2011/01/phantomjs-minimalistic-headless-webkit.html
 - http://www.readwriteweb.com/hack/2011/03/phantomjs-the-power-of-webkit.php

Comments

[Александр Аксентьев]

из пушки по воробьям?

зачем свой сайт парсить, там и так все есть под рукой)

[dummyman]

Александр Аксентьев: Судя по всему, как я предполагаю, бложик на ЖЖ или blogger.com

[lukoie]

dummyman: бложик заказчика черти на чем. будет забираться телепортом.

[dummyman]

lukoie: А, ну по уточнению, что сайт на пыхе и без БД, думаю, его еще легче будет распарсить скриптецом на node прямо по файлам.

[lukoie]

dummyman: я не нодю. мне желательно готовый инструмент. я видел когда то такие.