Теория php программирования на примере?

Question

[Кирилл Горелов]

Всем привет, парни.
Усиленно учусь и повышаю свои навыки в программировании.
И с каждой сложной задачей возникает ряд вопросов. И как раз один из них.
Очень важное замечание. В примерах я имею ввиду обычный сервер на linux с оперативной памятью до 4ГБ. Просто я сейчас работаю на таком и не имею ресурсов яндекса.

Возьмем веб-сервис, который проверяет доступен ли сайт в данный момент или нет.
Задача для одного сайта простая, с помощью curl(как один из вариантов), сделать легко.
Но как быть, если таких сайтов надо проверять несколько тысяч и проверять нужно раз в минуту?
Если в первом случае, с одним сайтом, можно сделать по cron, а как быть с тысячами сайтов?
В цикле проверять каждый сайт, но тогда каждый сайт будет невозможно проверять раз в минуту, на это может уйти несколько часов.

И второй вариант, сервис который мониторит фриланс биржи по ключевым словам и делает уведомления. Где у одного фрилансера может быть несколько ключевых слов, по которым он собирает заказы.
Как я здесь вижу реализацию такого сервиса.
Так же, в цикле берем одного фрилансера, берем его ключевые слова. И по этим словам, проходимся циклом и проверяем наличие таких заказов.

Мои варианты, я не считаю идеальными и возможно даже не рабочими при больших объемах. Потому что это требует больших ресурсов сервера. Подскажите, как лучше реализовывать подобные задачи, может уже кто-то делал подобное?

Comments

[beduin01]

Ну вот реально забейте на PHP. Умирающий язык. Он ни для чего кроме как сайтов визиток не подходит. На любом другом языке (том же C#) можно писать и для мобильных и сайты и мобильные приложения. А что можно на PHP?

[Кирилл Горелов]

beduin01, может быть и умирающий, спорить не буду.
Но пока на php работают больше половины сайтов во всем интернете.
И умрет он еще не скоро!

[Руслан Полин]

beduin01: он столько лет умирает, что разработчики аж выпустили седьмую предсмертную версию. Не смешите людей подобными высказываниями, только позоритесь напрасно.

[beduin01]

Руслан: толку писать на PHP? Мало того что он в разы дырявее чем тот же C#, так еще и на нем невозможно ничего кроме сайта написать. Рынок давно уже вперед ушел, а мышление пхп-эшников остановилось в 1990 годах.

[Руслан Полин]

beduin01: Вас не смущает тот факт, что пыха изначально и создавалась для разработки сайтов и более того, она отлично справляется со своими задачами. Да, её не пихают куда попало, да в ней есть свои дыры и да, люди не умеют её готовить, но 80% всех сайтов работают на ней и работают прекрасно. В том числе и популярные проекты, в том числе и этот тостер.

Так в чем смысл не писать на пыхе, когда пыха отлично справляется с задачей то?

[Saboteur]

beduin01: "Мало того что он в разы дырявее чем тот же C#"
Чтобы далеко не бегать и не быть голословным, приведите хотя бы парочку примеров дырявости в PHP?
(Надеюсь понимаете, что имеется ввиду именно дырявость в PHP, а не в продуктах на нем написанных).

[beduin01]

Руслан: это 20-30 лет назад была практика когда на одном языке пишут одно, на другом другое. Сейчас достаточно знать один язык чтобы писать все от сайтов до мобильных приложений. Зачем себя искусственно ограничивать?

Ну и да, PHP дико дырявый. Поэтому сайты и ломают пачками.

[beduin01]

Saboteur: там чуть ли не в каждом выпуске куча исправлений по безопасности. Количество уязвимостей по .NET стремится к нулю. Ах ну еще да, PHP способствует написанию небезопасных продуктов. На C# вам поговнокодить не удастся.

[Руслан Полин]

beduin01: Вы считаете, что зная несколько языков я себя как-то ограничиваю? Серьезно?) Ломать можно что угодно и не важно на каком языке это написано. Если руки кривые, то и приложение под стать рукам. Зачем мне писать кривое приложение под андроид на c#, если есть java?
Расскажите ка мне об уязвимостях php. Прям интересно послушать такого гуру разработки.)

[beduin01]

держите https://www.cvedetails.com/vulnerability-list/vend...

Answer 1

[Stalker_RED]

1. веб-сервис, который проверяет доступен ли сайт
Я верю что у вас нет ресурсов яндекса, но чудес не бывает. Если серверу не хватает процессора, памяти или ширины канала, то нужно увеличивать мощность сервера или увеличивать количество серверов. Ну и смотря что вы имеете в виду под "доступен". Если пинговать или брать только заголовки с определенных страниц, то можно и тысячи в минуту. Хватило бы процессора и канала.

2. сервис который мониторит фриланс биржи
Вероятно, фрилансеров будет намного больше, чем ключевых слов.
Так что лучше составить список всех ключевиков, искать по ним, а результаты уже раздавать подписчикам.

Comments

[Кирилл Горелов]

Stalker_RED, то есть в принципе я правильно описал решение таких задач?
Нужно было бы только подумать о том, как упростить и облегчить подобную задачу, как раз вы написали мне!
Спасибо)

[Stalker_RED]

Кирилл Горелов: зависит от объемов ваших задач. Если объемы действительно большие, то придется распараллеливать, использовать какие-то специальные штуки типа gearman и читать умные книжки про хайлоад. Но для начала и с кроном покатит.

Answer 2

[Saboteur]

"Возьмем веб-сервис, который проверяет доступен ли сайт в данный момент или нет.
Но как быть, если таких сайтов надо проверять несколько тысяч и проверять нужно раз в минуту?"

Возьмем хлебокомбинат и магазин возле вашего дома, и нужно раз в минуту привозить ящик батонов.
Но как быть, если нужно раз в минуту привозить 12 вагонов?
НИКАК, тут даже постройка железной дороги не поможет, потому что разгрузить их не выйдет.
Ставить нужно реалистичные задачи.
Нужно четко понимать, что какие бы быстрые не были процессоры и линии связи, везде есть ограничения, и следует искать варианты, которые устроили - в том числе и в самом изначальном условии задачи, например выделять на проверку не минуту, а 10 минут, 30 минут, час.

Конечно можно оптимизировать, найти реальное решение проблемы. Например вместо curl использовать ping, но это проверит только доступность хоста, а не сайта. Можно по ssh запрашивать состояние сервера, или сделать наоборот - чтобы каждый сайт сам отчитывался с определенной периодичностью, тогда проверять нужно будет только те, которые вовремя не отчитались.

В общем гораздо проще выполнять практические задачки, если они имеют какое-то практическое применение, тогда у вас постановка задачи будет реалистичная и достижение результата будет ВАМ понятным.

Comments

[Кирилл Горелов]

Saboteur, вот, супер, спасибо.
Дело в выборе инструмента решения проблемы, которое требует минимальных ресурсов.
Хотя такая задача вполне реальна, ведь есть же такие сервисы, которые проверяют доступность сайта. И я на их примере хотел узнать как такое можно реализовать!
Спасибо!

[Saboteur]

Уточните что вы подразумеваете под доступностью сайта:
* существует ли домен (проверяется dns)
* включен ли комп (можно проверить по ping, но иногда icmp может быть заблокирован)
* поднят ли на нем веб-сервер (curl, или другой GET с парсингом заголовка ответа)
* работает ли на веб-сервере сайт (curl или другой GET на конкретную заранее известную страницу сайта с * проверкой заранее известного контента)
* работает ли на сайте конкретный функционал (множество curl/GET на разные страницы с параметрами и проверкой заранее известного ответа).

Понимаете - у вас уровень вопроса не соответствует вашим текущим знаниям, поэтому будет куча проблем с пониманием того, что вы на самом деле хотите.

Все вышеперечисленные вопросы должны относиться к чужим сайтам в инете, или конкретному набору сайтов, которые принадлежат вашей компании?
Если вашей компании - какой конкретно у вас доступ к сайтам - есть ли shell доступ к хостингу, есть ли возможность установить свой софт для мониторинга на сайты - и так далее.

Нельзя просто брать и писать мониторинг, не имея полного представления о возможностях и требованиях.

[Кирилл Горелов]

Saboteur: Абсолютно согласен. Скорее всего я просто не полностью описал свой вопрос, не расставив все точки на свои места.
Спасибо, появилась "пища" для размышления.