Возможно ли программными средствами проверить наличие товара в интернет магазине?

Question

[Timur St]

Возможно ли запросом c другого сайта проверить наличие товара в интернет магазине?

Comments

[VZVZ]

В общем - да. В крайнем случае, поднимаем VPS и получаем полноценный комп с фронтом в виде сайта.
Если в интернет магазине AJAX, то сниффером его копаем - и опять же проблем нет.
Единственная неприятная деталь - у таких запросов будет IP статический, магазину в принципе легко забанить... Хотя зачем ему это.

[jacksparrow]

VZVZ: прокси или Tor спокойно обойдут этот бан

[VZVZ]

jacksparrow: пожалуй, публичные сами скорее будут забанены, чем VPS... А приватные денег стоят...

[hubramubr]

VZVZ: У вас профессиональная линза застряла в глазах.
VPS тут не нужен.
Вполне делается и с локального компьютера.

Магазины ничего не банят. Сам веду уже много лет проект интернет магазина. Заказчик только будет рад посещаемости.

И, если празить не жестко, с паузами, что не будет вызвать проблем производительности сайта, то я, как разработчик тоже банить не буду.

[hubramubr]

VZVZ: Как вы представляете себе разработчика/админа интернет-магазина?
Мы, думаете вы, где-то ищем списки публичных прокси и баним их?
Зачем это надо.
Ну не хочет покупатель потенциальный светить свой адрес - ну и не надо.
Лишь бы купил.

Поисковики же регулярно обходят сайты. И поисковиков этих десяток имеется. Никому не препятствует.

Разумеется, если ты сделаешь парзинг очень тупо, что он просто подряд одну за другой получает страницы на максимально возможной скрости, то бан ты схлопочешь.

Но виной тому будет только твоя собственная тупость.

Просто же так никто парзеры не банит. Наоборот - мы (хозяин магазина и я) надеемся, что лишний раз засветимся, благодаря парзеру, в каких-то каталогах. И это - хорошо для потенциального увеличения покупателей.

[hubramubr]

jacksparrow:

Никто не банит.

Хозяин магазина только рад, что засветиться в большом числе мест (поисковики, каталоги) - для чего и работают парзеры.

Напротив, я стараюсь, чтобы поисковые роботы (и пр. парзеры) получали доступ к сайту без проблем.

Другое дело, что могут встретиться малоквалифицированный разработчик интернет-магазина, магазин которого ляжет под парзером малоквалифицированного разработчика парзера.

Вот тут будет бан.

Но если все делать грамотно (парзить неторопливо, не нагружая магазин) - то никто вам ничего плохого не сделает.
Хозяин сайта только рад будет.

[jacksparrow]

hubramubr: Я не писал, что забанят, я сказал, как можно обойти этот бан, если забанят, как написал оратор выше.

[VZVZ]

hubramubr:
> Как вы представляете себе разработчика/админа интернет-магазина?
> Мы, думаете вы, где-то ищем списки публичных прокси и баним их?
> Зачем это надо.
Знаете, сейчас иные торгаши такое творят за наши же деньги, что ничему уже не удивляешься.
Вчера покупал тачскрин к своему телефону - и это был кошмар: всё, что зависело от них, они сделали как будто нарочно худшим образом, и так и не почувствовали никакого угрызения совести.

1) Офис их имеет адрес: такая-то улица, дом 5 строение 20. Вас ничего в нем не смущает? Правильно - раз 20 - это не номер, а строение, то значит, там будет "рынок" из 20 строений, расположенных по площади совершенно рандомно, с лабиринтом коридоров между ними, и ходи-броди-ищи-спрашивай дорогу.
И всё это еще и далеко от метро, через мост через железку, до которого чтоб дойти, надо пройти площадь, которая и не площадь, а тоже небольшой такой лабиринтик.
Такое впечатление, что расположение для офиса нарочно выбрали наихудшее. Или просто пожидели. ОЧЕНЬ пожидели. Долго искали подешевле - и вот, нашли.
2) А еще ведь в этом небольшом строении - не один и не два, а куча павильонов. Одинаковых - ремонт, ремонт, ремонт. И никто не знает, где нужный. А ни на сайте, ни по телефону меня вообще не предупредили, что там не один павильон, не говоря уже о том, что не назвали его номер. Телефона с собой не было. И поехал я обратно остановок 10. Потом написал им, узнал номер, чуть отдохнул, купил билет на метро и снова поехал. Вот как-то так.
3) Придя, рассказал им о проблеме и вежливо попросил скидку 100 руб, как компенсацию за потраченные деньги и (главное) время. Что интересно, они сами предложили небольшую скидку, но когда я попросил увеличить, тут-то и началось самое хамство.
Они доказывали мне, что у них сделано всё правильно, они меня обзывали, они меня троллили как могли, а когда я таки согласился на 500 руб, они сказали мне что тачскрин на самом деле бракованный и не продается (ну как это? правда нам не дорога? захотел - сп..ел?)
В этом им помогало то, что все они были кавказцы, и не стесняясь меня, могли общаться на своем языке, говоря про меня друг другу гадости и в итоге раззадоривать друг друга на троллинг.
Ну, купил я у них в итоге тачскрин, делать нечего, но как думаете, какие я напишу отзывы и приду ли еще раз?
Плохие. Не приду. Но им плевать, и на отзывы тоже плевать.

Я не представляю, как можно так работать.
Но умудряются же.
И вот такие люди могут и парсер банить, для троллинга, чтобы поиздеваться над его автором, для них ведь это важнее, чем какое-то развитие, раскрутка, поток клиентов...

[hubramubr]

VZVZ: То есть вы не взяли телефон и вас кто-то обидел?
ОК, выговорилсь.
А к этому вопросу, что мы обсуждаем разве сие имеет отношение?

[VZVZ]

hubramubr: имеет, имеет. После парочки таких случаев, лично я не ищу никакой логики в действиях продавцов, включая администрацию интернет-магазинов.
Давайте короче и категоричнее: вы считаете нормальным, когда продавец троллит покупателя, ржет над ним в открытую, ну там обсуждая его внешность, еще что-то?
Если да - то почему бы также не потроллить создателя парсера, забанив его IP?
Зачем нужно было троллить меня? Просто захотелось. А хотелки мы сдерживать не умеем, мы же как обезьяны. Вот так же и забанить могут.

[hubramubr]

VZVZ: интерет-магазин - это автоматика, которую заказал владелец.
продавец в магазине - наемный сотрудник.

многие бизнесмены потому и предпочитают инвестировать кучу бабла в автоматику - она лучше работает, не подвержена настроениям.

[VZVZ]

hubramubr: ага, а разраб автоматики тоже не подвержен настроениям?
В вышеупомянутом ара-сервисе еще и автоматика дрянь. Вот сегодня мне пришло письмо с напоминанием об оплате, которую я еще вчера лично внес им на руки и купил тачскрин. Ну что это?

А насчет банов и автоматики - мыслить надо шире. Вот на форумах повсеместно администрация банит юзеров как хочет. И автоматика там для этого есть. Но WTF, ведь по сути это их клиенты, которые кликают по рекламе и с которых форумы имеют бабло! Как так? Банить тех, кто тебе бабло приносит?
А если такую дикость может позволить себе форум, то почему интернет-магазин не может?

[hubramubr]

VZVZ: Банят хамов. Это нормально. Иначе форум превратиться в свалку.
Вы преувеличивайте значение банов. На форумах как правило 1-15% писателей. Остальные читатели (потенциальные кликатели реклами в том числе) и под бан никогда не попадут.

Answer 1

[hubramubr]

Да.
Но эту систему придется делать индивидуально подгонять под каждый интернет-магазин (исключение если только найдутся магазины на одном движке).

Фактически, ты просто иммитируешь поведение посетителя/покупателя.
Это не очень сложно.

Интернет-магазины редко защищаются от подобного.

Тут писали про API и CORS.
Это неправда.

API, как правило, нет в интернет-магазине, оно ему и не нужно. Ведь его задача просто продать товар. Вполне можно парзить по страницам.

CORS также не проблема, ведь для того, чтобы получить информацию о наличии товара не нужно регистрираться, эта информация доступна всем.

Проблема может быть только с теми магазинами, которые работают чисто под заказ и понятие "товара в наличие" для них смысла не имеет. То есть товар как бы есть всегда. Но пока ты его не закажешь и тебе не позвонят - правду ты не узнаешь.

Но это не техническая проблема, а политика магазина.