Как на сервере автоматически запускать 100+ php-файлов по расписанию?

Question

[Константин Клубков]

Генерирую таблицы на сайте с помощью API Google Sheets. Получилось 100+ таблиц. Каждая таблица это 1 php файл, который создает 1 json файл при запуске скрипта. Мне нужно чтобы при обновлении таблиц в Google Docs они обновлялись на сайте. Подскажите пожалуйста, как это лучше организовать?

Answer 1

[Антон Неверов]

Ну, на сколько я знаю, Webhook'ов у таблиц нет. Поэтому у вас есть пара путей:
1) Создать скрипт PHP, который будет делать запросы на другие 100 скриптов с помощью перебора директории с этими скриптами.
2) Тоже самое сделать на Node.js. Язык асинхронный, мне кажется, подойдёт лучше для такой задачи, как триггер долгих скриптов. + сможет перезапустить скрипт, если какой-то из них сломается. Хотя это и в PHP можно сделать
3) Просто добавить в CRON все 100 скриптов вручную. Или через поддержку, если у вас не VPS.

Comments

[Константин Клубков]

Антон Неверов, не подскажете как объединить в 1 php файл все скрипты? Там ведь в API Google Sheets лимиты есть, как это можно обойти?

[Антон Неверов]

Константин Клубков, по лимитам - фиг знает. Но там лимиты не то, чтобы очень серьёзные. 100 файлов раз в 10 минут обработать сможете, я думаю.
В любом случае - у вас каждая таблица - это минимум 1 запрос, вы тут хоть что делайте.

Если хотите сделать 1 файл из 100 - можно просто использовать include().

[Константин Клубков]

Антон Неверов,

Создать скрипт PHP, который будет делать запросы на другие 100 скриптов с помощью перебора директории с этими скриптами.

как этот способ реализуется? Если можно пример такого скрипта, а то я с PHP не очень дружу и нагуглить не получается(

[Антон Неверов]

<?php

$dir = __DIR__.'/scripts/'; //Путь до папки со всеми скриптами, относительно этого скрипта. Внутри не должно быть папок, только скрипты .php
$baseUrl = 'https://exemple.ru/scripts/'; //Внешний путь до папки со скриптами со / на конце

$files = scandir($dir);
foreach ($files as $filename) {
    curl_setopt($curl, CURLOPT_URL, $baseUrl . $filename);
    curl_setopt($curl, CURLOPT_TIMEOUT, 1); 
    curl_setopt($curl, CURLOPT_HEADER, 0);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, false);
    curl_setopt($curl, CURLOPT_FORBID_REUSE, true);
    curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 1);
    curl_setopt($curl, CURLOPT_DNS_CACHE_TIMEOUT, 10); 
    curl_setopt($curl, CURLOPT_FRESH_CONNECT, true);
    curl_exec($curl);   
    curl_close($curl);  
}

[Константин Клубков]

Антон Неверов, большое спасибо!

[Константин Клубков]

Антон Неверов, затестил скрипт, выдает ошибки

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 8

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 9

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 10

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 11

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 12

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 13

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 14

Warning: curl_setopt() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 15

Warning: curl_exec() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 16

Warning: curl_close() expects parameter 1 to be resource, null given in /home/s/standartn/stn/public_html/templates/shablon/price.php on line 17

Что это может быть?

[Антон Неверов]

Константин Клубков, извиняюсь, ошибся. Сразу после
foreach ($files as $filename) {
Добавьте строку
$curl = curl_init();

[Константин Клубков]

Антон Неверов, да уже понял в чем косяк)

[Константин Клубков]

Антон Неверов, все таки лимиты гугла не позволяют обработать все файлы

This version of the Google Sheets API has a limit of 500 requests per 100 seconds per project, and 100 requests per 100 seconds per user. Limits for reads and writes are tracked separately. There is no daily usage limit.

Как можно сделать задержку в cURL, что бы следующий файл открывался через 10 сек?

[Антон Неверов]

Можете просто воткнуть костыль - функция sleep(10); остановит выполнение скрипта на 10 секунд. Смотрите, не упритесь в ограничения работы PHP-скриптов на сервере.