Алгоритм по которому можно узнать цену на товар на любой страничке(html)?

Question

[sivabur]

Парсить микроразметку
если ее нету то:
1. парсить число что стоит возле руб грн $(брать первое совпадения в коде)
2. парсить ближайшей число что находится с текстом рядом с "цена"(брать первое совпадения в коде)
3. парсить значения класса "price" "cena" (брать первое совпадения в коде)

какие еще есть варианты и что оптимальней?

Answer 1

[tzps]

Если речь буквально о _любой_ странице, то боюсь эта задача не имеет простого решения, дающего приемлемый уровень ошибок.

Этот класс задач называется Named Entity Recognition, и денежное значение является одним из общепринятых классов сущностей.

Если же речь идёт о каком-то более узком поле для поиска, например определенный шаблон распространённого интернет-магазина, тогда можно обойтись и парсингом с регекспами. Но обычно таки это NER, со всеми его "прелестями".

Comments

[sivabur]

Речь идет о любой странице.

[tzps]

Тогда ответ, к сожалению, неутешителен и лежит в указанной области - Извлечение Именованных Сущностей, или Named Entity Recognition.

Создать полноценное универсальное решение возможно, но не слишком просто. Изучить тему можно на доступных опенсорсных примерах: это OpenNLP и Stanford CoreNLP/NER.

[sivabur]

Приемлемый уровень ошибок это сколько?)

[tzps]

Работающие системы дают результат где-то между 75 и 96%% правильных определений.
Но это задача - вычленение данных из неструктурированного текста написанного естественным языком.

Если есть хоть какая-то надежда на минимум структуры, то задача упрощается до табличного парсинга, и верных ответов будет от 85 до 98%.

+-

Answer 2

[Yustas Alexu]

1) Вместо "руб." часто бывает просто "р.", что несколько усложнит задачу. Буква "р." может стоять рядом со старой ценой или рядом с суммой при покупке по кредиту. При этом эта цифра может стоять раньше настоящей цены.
2) Слово цена может идти и перед цифрами.
3) Не всегда это бывает класс, может быть атрибут itemprop например или слово price может входить в более сложное имя класса, например item-price. Кроме этого слово price может встретится в названии самого интернет-магазина.

Comments

[sivabur]

itemprop -это микроразметка. А так за идеи спасибо)

[Yustas Alexu]

Спасибо, кэп.

[Yustas Alexu]

itemprop взято из реального примера на одном из сайтов.

[sivabur]

Uxus Greenwood: ну я так написал потому что вопрос стоял именно в методах кроме микроразметки.

[sivabur]

sivabur: с ней там и так все понятно распарить её детский лепет.

[Yustas Alexu]

sivabur: Да, перечитал вопрос и увидел :)