Как извлечь информацию сайта в удобную таблицу?

Question

[Lexans]

Имется сайт, например со списком товаров на несколько страниц. У каждого товара картинка и краткое описание и ссылка на подробное описание. Требуется получить картинку, поле из краткого описания и поле из подробного описания и поместить это всё в удобную таблицу. В этой таблице должна быть фильтрация, сортировка, добавление собственных полей.
Задача встречается очень часто при выборе товаров в онлайн магазинах, поиска тем на форумах без встроенных развитых поисковых механизмов и так далее.
Требование к инструменту:
-возможность использования бесплатно
-не требующий знания других языков/технологий
-должен работать со сложными сайтами на java script, с авторизацией

Этот интсрумент нужен для того чтобы решать проблему выбора товаров/программ/услуг в условиях большого предложения

Answer 1

[LB777]

На счет бесплатных не знаю, но под ваши задачи полностью подойдет программка Content Downloader
Она умеет все из перечисленного и да же больше.

Comments

[Lexans]

спасибо, то что нужно. Попробывал, но ее аналог datacol подошел больше

Answer 2

[АртемЪ]

Идете на ресурс вроде этого, пишите подробное ТЗ, указываете конкретный сайт и вам под него пишут парсер с требуемым функционалом.
Парсер пишется под конкретный сайт, настройка требует знания технологий.
Кроме собственно скрипта потребуется инфраструктура где его будете запускать, и куча прокси, если конечно не хотите вручную бороться с банами, и вытаскивать информацию полгода.
В общем не совсем по адресу обратились тут сервис вопросов - ответов, а не заказов скриптов.

Comments

[Lexans]

на самом деле есть много подобный ресурсов. например import.io, webextract.net, запрос в гугле web scrapping
Такие сервисы почти все платные. Меня интересует реальный опыт хабровчан в инструменте для решения этой задачи.
По крайней мере import.io не подошел к требованиям

[АртемЪ]

Lexans: Вот я вам опыт и говорю.
Сам в свое время что только не перепробовал.
Есть скрипты - но каждый нужно подстраивать под работу с конкретным ресурсом. А настроить без знания технологий не получиться, ибо надо четко представлять что и откуда выдергивать.
В процессе настройки оказывается что скрипт не умеет делать некоторые вещи, и его либо невозможно использовать, либо приходится лепить жуткие костыли.
В итоге - берешь пайтон, библиотеку заточенную под парсинг, и пишешь сам.
Только тогда что то получается.
Причем сделал скрипт для работы с конкретным сайтом - он сегодня работает, а завтра уже нет, ибо на сайте все поменяли.
Плюс не забывайте что большинство ресурсов которые вы собрались парсить, будут довольно активно с этим самым парсингом бороться, т.е будут банить айпишник, включать капчу и.т.д.

Answer 3

[throughtheether]

Встречал ссылки на такое решение, но сам его не использовал (под мои задачи проще самому написать).

Comments

[Viktor Vsk]

крутая ссылка. такие классные проекты, вроде и звезд много, а нагуглить сложно. Может, что-то подобное знаете?

[throughtheether]

Может, что-то подобное знаете?

Навскидку вспомнил mozenda.com и import.io, но, опять же, опыта использования этих решений у меня нет.

Answer 4

[Viktor Vsk]

Начните с того, что поймите, что вы описали не инструмент, а сервис (приложение или инфраструктуру). Разделите это "что-то" уже на инструменты. А дальше думайте, что можно найти в платном\бесплатном виде, а что выгоднее заказать разработать.

В таком виде как описали, вы решения точно не получите ( и парсинг, и добавление в сферичскую базу, и фильтры, и просто решить проблему клиента ).

Answer 5

[Сергей Карбивничий]

Таких инструментов не видел. Сам недавно делал похожую программу для тостера.

Программа скачивает страницу toster.ru/q/ID, потом парсит нужные данные и заносит в базу. Потом я открывал базу в программе для просмотра баз.

Там и выборка нужных данных, и сортировка.
Если я правильно понял, вам нужно скопировать товары с другого сайта к себе на сайт.
Могу попробовать помочь,если дадите ссылку на сайт. Хотя ничего обещать не могу, так как с java script могут быть проблемы.

Comments

[Lexans]

нет, копировать мне на свой сайт не нужно. Хочется разложить все предложения магазина по полочками, проанализировать сортировкой, отфильтровать и в итоге сделать оптимальный выбор. Решается проблема покупателя, а не контент-менеджера