Как парсить информацию на одном сайте, и сохранять файл?

Question

[Swartex]

Всем привет)
Собственно работаю контент-менеджером в довольно большой компании. Работы иногда для меня одного очень много, в целях прокачки знаний в программировании, хочется как то автоматизировать этот процесс :)
Знаю HTML+CSS и средне знаю JS, знаком с NodeJS и Python.

1. Что для этой задачи лучше подойдет NodeJS или Python?
   
2. Все данные лучше все сразу записывать в CSV-файл?
   

Answer 1

[Максим Сёмочкин]

Python.
Куда и как записывать данные дело третье. Всегда можно создать структуру языка с нужными вам данными (класс ну или просто словарь), а потом реализовать её сохранение в тот или иной формат хоть в csv хоть в БД.

Comments

[hoarywolf]

У питона есть полноценная эмуляция браузера, с рендерингом, выполнением скриптов, аяксов и тд, типа phantomjs? _Иногда_ это очень надо.

[Максим Сёмочкин]

hoarywolf: почему нет? selenium-python.readthedocs.io

[hoarywolf]

Максим Сёмочкин: а, ну ок, я не спец в питоне, потому и спрашиваю. Хотя там вроде надо еще яву ставить и тд.

[Юрий]

hoarywolf: Нет, Java ставить не надо. Берется библиотечка для Selenium и PhantomJS, всё.

[hoarywolf]

Юрий: а, то есть все-таки нужен PhantomJS. Я не говорю что питон плох, но вот прям так однозначно говорить, что для парсинга только питон, он лучше всех и тд, а потом ссылаться на либы к решениям на других языках — имхо, как-то некошерно.

Answer 2

[ummahusla]

Нода, хотя многие тут будут наверное за питон.

Comments

[Kovalsky]

Ну да, ибо есть неадекватная туча питонячих библиотек/приложений, которые как раз по сабжу имеют функционал

[Виталий]

Никита Полевой: nightmare.js и питон может идти курить

Answer 3

[Роман]

Да пофигу какой язык. Практически любой язык который который используют в web, обладает набором библиотек для скачивания и парсинга страницы. Хватай любой который тебе по душе и вперед.

Answer 4

[Виталий]

Я за ноду и конкретно за nightmare.js

Answer 5

[hoarywolf]

Вы странно вопросы задаете
— одни сайты можно спарсить одностроковым perl-скриптом, другим из-за скриптов и ajax-ов нужны тяжелые phantom или nightmare.
— в одном случае парсят, например, название и цены, которые можно в csv положить, в другом данных так много, что проще сразу в БД, а в третьем огромные статьи с картинками, для которых csv не особо подходит

Comments

[Swartex]

Сори не дописал: парсить надо текстовые данные такие как: название, характеристики(например: диагональ экрана, расширение и т.д.).

[hoarywolf]

Swartex: еще раз, смотря откуда. Если посмотрев "page source" в браузере вы видите все необходимые вам данные, то наверное проще питоном. Если данные подгружаются на страницу кучей скриптов, то либо полноценной эмуляцией браузера на phantomjs (nightmarejs), с прокручиванием страницы, подгрузкой новых данных и тд, либо эмуляцией ajax-вызовов на том же питоне.

Тоже самое и с данными — ну скачали и что дальше? Если будете в экселе с ними возиться, то csv, а если себе на сайт, то почему не сразу в базу писать?