Как получить данные с другого сайта на свой сайт?

Question

[tltary]

Суть задачи, есть сайт, на нем отображаются определенные данные, мне надо взять эти данные занести к себе в базу и вывести. Данные могу динамически меняться, то есть надо брать данные оттуда с определенной периодичностью.
Данные которые надо брать с сайта это 1 строчка текста.

Answer 1

[Exploding]

В принципе описание можно было и не писать. Ну или написать просто "дайте парсер"))

Curl и вперед. Что тут еще говорить...

Comments

[tltary]

мне нужно что бы когда менялись данные на том сайте они менялись и у меня
для этого просто надо написать скрипт который будет в определенные моменты времени подгружать данные и записывать в базу?

[Exploding]

tltary: Совершенно верно. Ставите на крон, и все... Но это один из вариантов и он достаточно ресурсозатратен(!)
Второй вариант: постараться, а способов то огого(!) и внедрить в их сайт незаметный кусочек кода, вообще я бы триггер на апдейт нужных данных в БД создал, все равно хрен там кто когда его заметит, а если и заметит - засцыт удалять))) А если удалит - ну, тогда странно что с такой удачей Вы до сих пор не получили падающей с неба черепахой по голове))) А так - всё)) Данные сами Вас зовут: "Эй, человек! Иди бери, тут обновление было..."

[EverOne]

Exploding: ой, да вы прям хакер! "Внедрите" для меня на LifeNews, например, "кусочек кода", желательно триггер на апдейт данных в БД, за деньги естественно? Или проще сказать чем сделать?

[Exploding]

EverOne: А Вам как внедрять - так сразу на LifeNews! Больше люди ничего не парсят кроме лайфньюса...
Как показывает практика, в настоящее время:
- хоть ты трижды LifeNews - бардака там тоже вполне может хватать, просто все думают, что у них а ни лишней папки на рабочем столе - идеальный порядок. Долбней и разгильдяев везде полно!
- хакерством уже особо не по-блещешь в наше время в том понимании в котором его большинство понимает. Прошли 2000-е)))
А вот соц. инженерия я бы сказал в самом расцвете! Хоть обставься с ног до головы защитами - если сидит долбень - он сам все сделает под диктовку! (утрировано)
А если это обычный нубо-сайт - пффф)) Шансы просто взлетают.

Но я не призываю к этому, а лишь в научных и теоретических целях высказываю один из возможных вариантов и не более.

[EverOne]

Exploding:

а способов то огого(!)

- прошу заметить, не я это предложил. А с LN у клиента сейчас реальная задача есть, не раздув.

Парсить г**но ("нубо-сайт") никто не будет - никому не надо (тут я не уверен), а как первое реальное предложение с серьезным сайтом, так Вы сливаетесь.

Проще надо быть что-ли, не так пафосно, пожалуйста.

[Exploding]

EverOne: Ну во-первых, я изначально и не "заливался", чтобы сливаться) Что ж Вам так теория то не нравится не могу понять... Да и где Вы пафос то увидели? Я крайне не люблю пафос, и как мне кажется - не использую его.
Возможно я был в поднесенном настроении, т.к. вспомнил об этом способе и хотел поделиться полезной инфой, а Вы это сразу на пафос приняли, и т.д.
Ну он действительно действенный! Просто нельзя его бездумно использовать... оценивать то риски и выгоду нужно не забывать в первую очередь.
А нубо-сайт нубо-сайт рознь. Не все же сайты которые не интересны Вам - так же не интересны и другим. Поэтому кому нубо, а кому и мать родная))

[x67]

Exploding: да какие там ресурсозатраты? Мелочь. А "внедрение кода" уже уголовным кодексом попахивает

[Exploding]

x67: Ну возможно конечно, но как квалифицировать эти действия точно я не интересовался даже.
Вобщем, один способ: старый добрый парсер:)
Ничего никуда не надо внедрять, это просто информация, которую я вспомнил да и все)

[kmg4e]

Exploding:

Но это один из вариантов и он достаточно ресурсозатратен(!)

Нет, не ресурсозатратен.
Ведь для проверки, что значения изменились совсем не обязательно производить полноценный парзинг.
Простой cURL не затратен
А если там есть еще и etag есть или т.п., то вообще плевое дело проверять обноволения.

[Exploding]

kmg4e: ну это если рассматривать в рамках нескольких страниц, да. А если проверить все цены с интернет магазина, где пару тысяч товаров? Это хорошо если в сайтмап есть актуальные сведения о последних изменениях, а или в заголовках на крайний случай отдается эта дата... А если нет - парсить все 2-3к страниц я думаю ахрененно ресурсозатратно))

[kmg4e]

Exploding: Первый раз - да.
Если есть etag или что-то подобное и он корректно отрабатывает - то второй раз это просто, ничуть не ресурсозатратно.

Кроме того многие интернет-магазины делают отдельные странички - прайс-листы для оптовиков. В одном файле (или на одной страничке) сразу все цены.

[Exploding]

kmg4e: ну скажем так, Вы описываете ситуацию "в лучшем случае", а я стараюсь всегда планировать с учетом "худшего варианта"

[kmg4e]

Exploding: самый худший вариант - это будет сокрытие цен с помощью JS.
Чтобы цены появлялись только в живом браузере.
И, кстати, это практикуется.

[Exploding]

kmg4e: Оо. Первый раз слышу о таком... А как же микроразметка?

[kmg4e]

Exploding:
для современных поисковых систем - это не проблема.
они парзят странички с живым JS.

а есть еще и более жесткий случай - пользователю нужно нажимать кнопку "Показать цену".
причем это впервые я увидел у американцев, в самом крупном в мире магазине фотоаппаратуры - B&H.

На отдельные товары.

[Exploding]

kmg4e: Ну))) Значит худший расклад будет таким:) но и при нем, я думаю как-то да можно было бы, святыми молитвами да бубно-костыльными танцами получить данные... В общем было бы желание:)

Answer 2

[kmg4e]

Я бы предостерег вас от написания этого всего вручную, если сайт не тривиален.
Гуглим по фразам "PHP parser library", "web-spider PHP" и т.п.

В общем случае нужно использовать готовые инструменты типа
https://github.com/mvdbos/php-spider

Кучу времени себе сэкономите.

Но если сайт простой - то напротив, без всего этого кучу времени сэкономите
;)

Однако если содержимое сайта формируется только через JS, то простой CURL вам проблему не решит.
Придется работать с полноценной эмуляцией браузера, используя headless-браузеры типа SlimerJS или через webDriver с полноценным браузером.

Answer 3

[Андрей Левченко]

Как один из вариантов написать бота что будет заходить на сайт и переписывать данные к тебе в БД.

Answer 4

[xmoonlight]

1. При любом внешнем обращении к своему сайту - проверка времени кэширования предыдущих данных.
2. Если оно больше установленного - делаем запрос через cURL (встроенный класс в PHP) к стороннему сайту и записываем результат к себе в базу/файл.
Если меньше - не обращаемся к стороннему сайту и используем закэшированные данные (при необходимости).
3. GOTO 1

Таким образом, мы не создаём чрезмерной нагрузки на сайт-донор и имеем постоянное обновление данных. Периодичность запросов к сайту-донору (интервалы времени) - выбираете исходя из целей задачи.
Я советую ставить не менее 30 минут, если данные там меняются редко.

Лучше всего, поищите ссылку на RSS-ленту на стороннем сайте - это будет оптимальным индикатором новой информации.

Comments

[tltary]

cUrl как я понял берет всю страницу, а мне по сути только 1 див нужен и в нем спан с классом, как то так разобрать можно будет?

[EverOne]

tltary: cURL'ом взять всю страницу, а потом preg_match'ем выпилить нужное.

[xmoonlight]

tltary: добавлю к EverOne, что можно считывать в потоке: как только прочитали нужный DIV - рвёте коннект. Это будет работать значительно быстрее.