Как брать/использовать данные с чужого сайта на своём?

Question

[driver458]

Есть сайт с каталогом (товары по разделам, детали о товаре...). Мне нужно добавить этот каталог на свой сайт. Доступа к БД с товарами нет. Интересуют лучшие решения этой проблемы. Что использовать js или php?

Comments

[driver458]

Мне лучше всего помогла библиотека phpQuery

Answer 1

[1011]

Парсинг данных, регулярный или разовый, в бд вашего сайта. Подойдет php или python, с js не сталкивался.
Надеюсь Вы с владельцем сайта уже договорились и он не против -) Может у него есть апи для этого дела или xml?

Comments

[driver458]

мой сайт работает на php, куда копать? какие функции?

[driver458]

Николай Петюх: на почту скинул

[1011]

driver458: ваш сайт тут не причем, это как правило скрипт в одном файле, запускаете через ssh или браузер, или крон, если нужно регулярно обновлять, и он не привязан к коду сайта, только с базой сайта взаимодействует

Answer 2

[Антон]

Я б сначала спарсил через программки рода Netpeak Spider все страницы сайта, выудил из них необходимые урлы, которые относятся к каталогу, засунул бы все урлы в массив и каждый из урлов/ключей перебирал бы в цикле, из которого тащил нужную шаблонную инфу, а на выходе ее хоть прямиков в БД писать, хоть в csv для последующего импорта. Знаю нормально только пхп, поэтому, мой выбор тут будет очевиден :)

Answer 3

[niksee]

а если каталог будет обновлятся?

Answer 4

[emp1re]

1) Проверить на наличие cors
если нету - Все просто, смотрим нетворк по запросу на страницу. Подставляем наши параметры для получения ответа от сервера.
если есть - идем к пункту 2
2) Парсим прямо с html, удобно для этого юзать selenium или protractor, по сути имулируем юзера.

Comments

[driver458]

Спасибо за ответ, где можно подробнее это изучить?

[emp1re]

косвено сталкивался с парсингом через селениум, давали тестовое пару лет назад, просто читал документацию и методом тыка парсил. По поводу 1 пункта, нужно больше информации по сайту, а иммено какой тип обмена данными с клиентской частью. Я пример rest-api описал, он сейчас эталонный но сайт может быть и старый.