Как скопировать часть контента с сайта с помощью nodejs?

Question

[Николай Антонов]

Есть интернет-магазин, в котором надо скопировать описание товаров и некоторые атрибуты(не все!). Как називается такой процес? И куда мне дальше копать чтоб осуществить задуманное на nodejs?

Answer 1

[Тимур Шемсединов]

Это тыбзинг контента называется, а культурно по-буржуйски кравлинг. Делать это можно при помощи HTTP запросов родной нодовской библиотекой http, или при помощи npm библиотеки request. Полученные страницы нужно парсисть и сохранять в нужном формате в БД. Для парсинга подойдут или регулярные выражения или библиотека типа cheerio Если это товары с четкой структурой, то логичнее использовать PostgreSQL, а если товары очень разные, то можно в документную базу их писать с произвольным набором полей, например, в MongoDB.

Answer 2

[D']

Называется "парсинг"

Гуглить по фразе "парсер сайта на nodejs", "парсер на nodejs", "спарсить сайт на Nodejs"

Comments

[l0urenc]

Скорее все же "кравлинг". Много раз встречал этот термин на Elance

[D']

l0urenc: в данном контексте больше подходит "парсинг". Так как само по себе "кравлинг" означает просто бродилку по списку url. "парсинг" же описывает что конкретно делает эта бродилка.

Answer 3

[l0urenc]

Также неплохо подойдет CasperJS

Comments

[Николай Антонов]

Мощная штука ваш CasperJs, но нашол проще решение - модули request и cheerio