Как отпарсить сайт на PHP с авторизацией и отправлять уведомления?

Question

[Алан Кабисов]

Изучаю PHP и захотелось написать на нем парсер сайта и периодически отправлять уведомления. На сайте также необходимо авторизоваться перед парсингом. Подскажите в какую сторону мне двигаться? Какие библиотеки использовать? Вообще возможно ли это все? Как отправлять уведомления? Какие варианты решения есть? Я так понимаю можно оповещениями браузера пользоваться, но это вроде JavaScript получается, или я ошибаюсь? А в идеале бы хотелось использовать нативные оповещения на Mac OS. Как считаете, уважаемые?

Answer 1

[Lander]

Начните с cURL.

Answer 2

[xmoonlight]

Как считаете, уважаемые?

Спамить нехорошо!
Двигайтесь в сторону этого.

Comments

[Алан Кабисов]

Я спрашиваю больше потому, чтобы узнат возможно ли это вообще? Просто если хоть один этап задумки невозможен, то смысла в реализации нет.

[xmoonlight]

Алан Кабисов: Основные препятствия - капча при авторизации (есть платные распознавания и можете создать свою НС). Остальные этапы - реализуются без проблем.

[Алан Кабисов]

А как мне реализовать отправку уведомлений? Я так понимаю для этого потребуется JavaScript? В идеале, я хотел запускать php скрипт как приложение и слать с него нативные уведомления. Но это, наверное, врядли, возможно, сомневаюсь что есть такое API

[xmoonlight]

Алан Кабисов: уведомления слать можно, если это не запретит пользователь. в браузере есть такое: https://tproger.ru/articles/html5-notifications-is...

[Алан Кабисов]

Спасибо, это то что мне нужно. И еще два вопроса, как мне сделать так, чтобы php скрипт с некоторой периодичностью посылал запросы и обновлял информацию? И как мне вызывать javascript при необходимости для отправки уведомлений? Вот задаю вопросы и думаю, получается это проще написать на JavaScript, так?

[xmoonlight]

Алан Кабисов: Нет. Проще - это взять почитать, разобраться и понять самому взаимодействие технологий и движение данных от сервера к клиенту и обратно.

[Алан Кабисов]

Согласен

Answer 3

[Олег Карнаухов]

Сам парсинг делается через curl.
Если вкратце - копайте в сторону curl. Запросом сначала авторизация дальше уже качаете что надо и парсите. При этом курлу передавайте адрес до куков.
А уведомления можно слать через PushAll, там есть в том числе и нативные для MacOS (Safari) и уведомления на мобильных устройствах через приложение. Для отправки используйте Self API

Comments

[Алан Кабисов]

Что-то мне сервис PushAll не особо понравился, есть альтернативы?

[Олег Карнаухов]

Алан Кабисов: мм если что PushAll на 90% написал я, критику готов выслушать как и вопросы если что то непонятно. В основном он и создавался для этих самых целей которые вам нужны - уведомления.
Альтератива чтобы вам шли уведомления на такое же количество устройств не существует, есть варианты где например платное приложение для телефона например pushover или pushbullet но там все на английском и скорее всего вам будет еще сложнее в этом разобраться

[Алан Кабисов]

Ну извините, не хотел обидеть. Не понравился он мне не тем, что он в чем-то плохой, а тем что он немножко для других целей создан и это сервис. Хотелось как-то свое, не зависящее ни от чего решение.

[Алан Кабисов]

А так, если говорить на чистоту, то мне дизайн сайта показался немного простеньким и не сразу понятно что из себя представляет сервис, для чего он. Ну это мое субъективное мнение, возможно, я ошибаюсь.

[Олег Карнаухов]

Алан Кабисов: очень сложно обычно объяснить штуку которая позволяет получать уведомления. Тут сразу вопросы откуда, какие уведомления и тд. Просто подписываешься на каналы и получаешь уведомления, либо сам используешь API и шлешь себе уведомления

[Олег Карнаухов]

Алан Кабисов: свое и на все платформы не получится) Чтобы отправлять уведомления без активной вкладки в сафари вам нужен аккаунт разработчика Apple - стоит от 100$ в год. Ну и если еще на телефон хотите - у вас много времени уйдет на разработку приложений. Поэтому проще пользоваться готовым.

[Алан Кабисов]

Не, мне достаточно уведомлений на компьютере, в принципе. Но, возможно, и для мобильного сделаю. Посмотрим. Тогда, наверное, буду использовать Ваш сервис.