Как работает парсер (пример внутри)?

Question

[AlbertS001]

Есть много сайов добоных, например www.omdrug.ru/information/drugs.php там есть поиск препаратов с ценой по аптекам. Парсер берёт данные с другого сайта. Как он заносит их в базу данных чтобы выводилось и название лекарства и аптека в которой оно есть и цена? Там есть агрегированная таблица? Помогите разобраться.

Comments

[Freeman]

А в чем заключается вопрос? Неужели вы думаете, что парсер выполняет поиск на лету, по запросу всякого мимо проходящего пользователя? Вы находите это логичным? А если я шутник и введу "кокаин" в строке поиска? Честно будете парсить и искать кокаин в аптеках? При наличии базы можно быстро сделать запрос и получить ответ, что такого лекарства нет, о чем и сообщить пользователю, шутник он или нет.

[AlbertS001]

а как по вашему там база построена? какие таблицы? Как парсер заносит данные в справочные таблицы и в агрегированную?

[Максим Федоров]

Поиск по аптекам -- это совсем не значит, что ищет на сайтах этих аптек (которого может и не быть)
Такие сервисы как правило звонят в аптеки и договариваются о выгрузке из 1С

Answer 1

[Александр Суханов]

Имел дело с одним таким сайтом по запчастям, там парсеры брали информацию с разных сайтов, а далее выводилась только нужная информация, соотв с добавлением % на их цену (без использования каких либо баз данных).
Если посетитель нажимал добавить в корзину, то сторонний скрипт записывал эти данные в товар и добавлял его в корзину движка..
Движок сайта точно не помню, возможно opencart

Comments

[Yan-s]

Кривой частный случай

[AlbertS001]

но ведь данные о лекарствах и аптеках где-то хранятся, разве не в базе данных?

[Александр Суханов]

AlbertS001, в моем случае они нигде не хранились.
Есть сайт крупной оптовой конторы со своим поиском. Свои базы они не дают, чтобы можно было ее залить в свои товары и обновлять, например, каждый день по крону.
Поэтому наш сайт запрашивает с их сайта, например, товар с артикулом "АБВГД" (то что наш посетитель ввел в поиск).
Потом разбираем страницу с тем, что нашлось на сайте оптовика и показываем нашему посетителю.
Никакие базы данных не используем.
А вот если наш посетитель добавил что то в корзину, тут удобнее всего использовать движок магазина и пользоваться его возможностями, соотв с базой данной и т.д.

[AlbertS001]

Александр Суханов, А если делать подобное именно с парсером чтоб он заносил всё в базу данных, то какие таблицы были бы нужны?

[AVKor]

AlbertS001,

А если делать подобное именно с парсером чтоб он заносил всё в базу данных, то какие таблицы были бы нужны?

Такие, какие будут после проектирования и построения модели.

[Александр Суханов]

AlbertS001, Вы хотите все это сделать без использования движка?
Если так, то определять все нужные поля для товаров и делать таблицу, если нужно как то отделять по аптекам, то еще таблицу для аптек и т.д.

Если использовать движок, то никакие таблицы не нужны, нужно знать какие таблицы движка отвечают за товары и записывать информацию в них.

Только это не нужно. Зачем вам заносить эту информацию себе?
Это имеет смысл только если занести себе всю базу с товарами. Тогда ваш поиск будет работать самостоятельно, что будет намного быстрее и не нужно будет никаких парсеров и возможных багов с ним.

Я вбил в вашем поиске "Ринонорм", вы это спарсили, занесли себе все данные и мне показали.
Итого в ваших таблицах появилось 500 ненужных товаров.
Завтра другой человек запросит "Ринонорм", вы ему что хотите показать? То что показывали вчера и не использовать парсер (что будет быстрее) ? если так, то где гарантии, что цены не поменялись или другая инфомация. А если опять применять парсер, то зачем эти данные хранить у себя?

Сам такой парсер по чужому поиску - далеко не лучший вариант, а делать записи в свою базу еще более...

Вы поглядите, может нужный вам сайт (откуда вы хотите брать информацию) предоставляет доступы к своей базе данных,например, по api или просто дает всю ее скачать.

Answer 2

[Yan-s]

Как он заносит их в базу данных чтобы выводилось и название лекарства и аптека в которой оно есть и цена?

В чем сложность? Вам интересно как парсер может отличить эти данные? Возможно парсер был специально подготовлен для этого сайта, есть множество библоитек для разбора DOM, они позволяют брать какие то данные из определенных структур страницы. Например, название препаратора взять из тега h1, а цену из div с классом price.

Возможно парсер работает с специально размеченными данными, сайты могут сами предоставлять информацию в специальном формате для агрегаторов, типа яндекс маркета.

Возможно парсер автоматический, не требует составления правил для каждого сайта вручную, а использует, например, микроразметку.

Там есть агрегированная таблица?

Как правило да. Если речь именно о парсере агрегатороа, то практически всегда.

Comments

[AlbertS001]

То есть он заносит информацию о лекарствах в отдельную таблицу, об аптеках тоже в отдельную, о производителях в отдельную. А потом из этих таблиц собирает всю эту информацию вв агрегированную таблицу и заносит каждому лекарству цену?

[Yan-s]

AlbertS001, это детали реализации. Зависит от конкретной задачи и вариантов использования.

[AlbertS001]

Yan-s, ну например есть таблицы: аптеки, справочник препратов, препараты и производители. В аптеки парсер заносит аптеки, в справочник препаратов названия и другую инфу о препаратах, в прозводители- инфу о производителях, а таблица Препараты - агрегированная и в неё берутся данные из других таблиц( спр препаратов, аптеки, производители) и заносится цена. Парсер может так делать?

[Yan-s]

AlbertS001, а что ему помешает?

Если вас интересует хранение данных то почитайте про реляционные субд и нормальные формы бд.

Обычно именно так и делается (не при парсинге, а вообще, к парсингу вопрос хранения вообще то не относится напрямую), под разные сущности создаются отдельные таблицы, у всех сущностей есть первичный ключ - его айдишник, если одна таблица связана с другой, например, у препарата есть производитель, то в таблице препарата хранят не производителя, а его айдишник из таблицы производителей. Если у препарата может быть несколько производителей, то создают связующую таблицу в которую заносятся связи указывающие какой айдишник препарата к какому айдишнику производителя относится.

Это собственно и основная суть реляционных СУБД к которым относится, например, mysql, sqlite, postgresql и дофига еще каких.