Всем привет! Появилась необходимость парсить информацию с одного сайта на мой.
Парсить будет онлайн счет спортивного ивента.
Суть будет следующая:
1. При заходе пользователем на страничку матча (на моем сайте), парсер берет информацию с донора, обрабатывает ее и выводит на моем сайте
2. Т.к. это онлайн-счет, то данные в нем периодически обновляются. Поэтому каждые 10 секунд парсер проделывает ту же самую процедуру без перезагрузки страницы (насколько я понимаю, тут ajax в деле)
3. По завершении матча (срабатывает определенное условие), необходимые данные записываются в мою бд
4. Парсинг по таймеру заканчивается
Разумна ли такая реализация? Какие подводные камни можно встретить?
Mikhail Artunin дорогой пользователь, настоятельно рекомендуем еще раз обратить самое пристальное внимание на п. 3.1 регламента работы сервиса (и, в особенности, на его последний абзац).
В противном случае, ваши вопросы будут удаляться по причине тег-спама.
Ajax затратно, наверное лучше сокеты. Сервер парсит каждые n секунд и отдает на клиент только если произошли изменения. Но принять окончательное решение можно только понимая нагрузку. Как много смотрящих?
Главный подводный камень, что при парсинге с такой частотой, донор Вас забанит нафиг. Так что придется смотреть в сторону получения данных по платному api.
Простой
