Здравствуйте. Подскажите пожалуйста как сделать метапоиск цен, без лишней информации? То есть только цены . Объясняю подробнее - К примеру у меня на главной странице сайта строка поиска,как у гугл , яндекс - в ней пользователь должен указать точное или примерное название товара , а мой метапоиск выдаёт к примеру только 3 самых низких цены с ссылкой на интернет-магазин, либо одну самую низкую. Суть в том ,что пользователь идет искать самую низкую цену на товар без лишней инфы (без отзывов,рейтингов и прочей не нужной информации) Самое важное ,что бы цена реально была самой низкой в рунете на момент поиска. Всем уделившим более 1 секунды на прочтение этого вопроса,либо ответившего на него, от начинающей молодой девушки -вебмастера,ГИГАНТСКОЕ СПАСИБО!!!!!!
Будем считать что сейчас их 50 тысяч.
Даже если взять кол-во товаров в 100 штук на магазин , то парсить нужно 5 млн страниц.
Скорее всего сделать обход чаще чем в 2 недели у Вас не получиться.
Это задача для какой-то олигархической структуры а не для "от начинающей молодой девушки -вебмастера," - у магазинов совершенно разные фораты, в котором они отдают цены. Надо либо иметь связи во власти чтобы провести законопроект, чтобы все магазины отдавали вм цены в определенном формате, либо посадить много много кодеров, чтобы они кодили и меняли код, который парсит сайты магазинов либо сделать искуственный интеллект распознающий фены ровно так, как это делает человек.
Я думаю, скорее всего вам нужна какая-то более ограниченная задача - либо не все цены, либо не все магазины либо еще что-то.
ApeCoder, Спасибо ,за ваш ответ,мне он понравился,вы правы ,что нужно думать в направлении ограничения тематики ,например взять только детские интернет-магазины,как думаете это реальнее осуществить?Заранее спасибо.
alinika1, попробуйте окучить хотя бы один магазин и посмотрите, сколько у вас времени это займет. Скорее всего, это будет довольно трудоемко. А еще, возможно, магазин будет этому противодействовать технически и юридически.
То, что вам нужно называется web scrapping вам нужно научиться это делать и поддерживать в дальнейшем.
Если магазинов всего несколько, то, возможно это и получится. Вам надо понять, почему этой работой должны заниматься именно вы. Если это не является основным бизнесом, возможно, дешевле платить кому-то другому, а на себя взять, например, интеграцию этих данных куда-то.
По запросу "инструменты для web scrapping" гуглятся как инструменты так и сервисы для вашей задачи. (в том, числе сервис, который обещает мониторить цены для вас).
Простой
