С чего начать написание своего софта(парсера)?

Question

[cente]

Открыл для себя новую тему для изучения. Хотел бы научиться писать софты, парсеры, чекеры, стиллеры и тд. Для начала мне подкинули идею: парсер товаров сбермегамаркет. Но совсем не знаю с чего начать, какой язык программирования использовать для этого, как будет выглядеть готовый материал и прочее. Горю желанием изучить это, поэтому готов изучать много нудного материала. От вас бы хотел ссылок на полезные материалы и полезных советов. Может у вас уже был подобный опыт?

Comments

[Kentavr16]

Мне кажется что если для тебя это нудный материал, то лучше не мучать себя. Без негатива.

[cente]

Kentavr16, ну это условно) Мне кажется писать софты интереснее, чем учиться писать софты

[Everything_is_bad]

с гугла начни, как писать парсер новичкам, из каждого утюга вещают

[chemdev]

cente, по парсингу на питоне рекомендую ютуб pythonToday, емко и просто для начинающего. Но ютуб не отменяет самостоятельное изучение базового синтаксиса и документаций к библиотекам

[My1Name]

Программироване в целом, по большому счёту - это и есть парсинг. Программист постоянно что-то ищет, приводит к какому-то типу (данных) найденное и сравнивает с чем-то другим.

какой язык программирования использовать для этого, как будет выглядеть готовый материал и прочее.

☝️"Всё в мире относительно" [А.Эйнштейн]

Answer 1

[Александр]

Начать с анализа вывода товаров. Как выводится какие запросы отправляются, какие данные возвращаются. Через консоль отладки браузера.
Язык вообще не важен, важно знать что ты хочешь получить от сайта и какие есть способы это получить.

Comments

[cente]

спасибо

Answer 2

[rPman]

Написание парсера в первую очередь это реверсинженеринг продукта, данные которого ты собираешь. В каких то случаях это просто (инструментарий браузера, а в каких то потребует декомпиляцию и патчинг на живую и ковыряние с ассемблером (например чтобы интегрировать самоподписанный сертификат в десктопное приложение или отключить его проверку только чтобы собирать данные в своем прокси с целью изучения протокола).

Если речь о браузере, то языки - это javascript, html и css.

Ну и помним про два отличающихся подхода - простой но ресурсоемкий с использованием готового браузера (инжект своего javascript плагином браузера или что то типа selenium) либо сложный но эффективный - симуляция http запросов из своего приложения. Оба подхода на противоположных сторонах, но в конечном счете оба будут использованы, где то один где то другой.

p.s. сообщество полюбило python и javascript (node), я часто использую php, в т.ч. как часть комплекса, так как на питоне и javascript код получается многословнее. Кому то нравится java или c# (использовал когда можно было браузерный компонент легко в свое приложение вставить)

Answer 3

[Загир Меджидов]

Язык можно использовать любой, но как мне кажется на Python будет удобно писать из-за простоты языка и большого кол.ва библиотек.

Попробуйте погуглить: Python учимся парсить и можно найти годные уроки и документации.

Comments

[cente]

спасибо

Answer 4

[rrambo]

Ну парсер чекер и стиллер это немного разные виды софта.
начни с анализа какие продукты уже существуют, их особенностей
Может и писать особо ничего не надо, от задачи зависит

Answer 5

[one2four]

От себя добавлю, когда уже научитесь всему, что написали выше, начнется самое интересное, для парсинга больших сайтов(вроде гугла) придется использовать прокси для обхода бана, подделывать user-agent, эмулировать человекоподобные запросы, проходить капчу... и даже тогда, какие-то запросы будут блокироваться. Все это по отдельности есть в интернете

Answer 6

[Maxpower2k]

Когда начал изучать Java, делал парсер цен Сбермаркета: https://github.com/AlexMaxpower/choicemarket

Answer 7

[marugin]

Я для валбериз использовал Node.js и Puppeteer.