Как сделать автоматическую смену ключей Dadata?

Question

[Вечно Крайний]

Всем здравствуйте! Я начинающий разработчик, стаж с мая 20-ого, поэтому если ошибка глупая не ругайте сильно)
Есть сервис Dadata который служит для стандартизации адресов. Он платный, но есть 10.000 бесплатных запросов в день. Моя задача взять адреса из базы и стандартизировать их. В базе около 80.000 адресов. Для обращения к Dadate я использовал API ( https://github.com/hflabs/dadata-php ) класс взял отсюда ( https://dadata.ru/api/clean/address/ ). Dadata требует 2 ключа для работы через API. Поэтому мы собрали ключи у всех сотрудников нашей фирмы и закинули их в массив ( $key ). Теперь сама суть проблемы. Мне нужно чтобы скрипт в том моменте когда 10.000 запросов кончатся подменял старый ключ на новый и продолжал работу. В том случае если все ключи кончились прекращал свою работу.
Вот код который у меня получился. Он работает, но когда заканчивается 10.000( хотя записывает он только по 3000) скрпит останвливает работу, а не подменяет ключ. Что делать?

$key = dadataKey($file);
$n = 0;
$token = $key[$n]['api'];
$secret = $key[$n]['secret'];

	$dadata = new Dadata($token, $secret);
	$dadata->init();
foreach($itog as $dates){
	$result = $dadata->clean("address", $dates['ADDRESS']);
	
	if($result['error'] != false) {
		if($n <= $maxKey) {
			for($i = $n;$n<=$maxKey;$i++){
				$dadata->close();
				$n++;
				$token = changeToken($key, $n);
				$secret = changeSecret($key, $n);

				$dadata = new Dadata($token, $secret);
				$dadata->init();

				$result = $dadata->clean("address", $dates['ADDRESS']);
		
				if($result['error'] != false){
					continue;	
				} else {
					break;
				}
			}
		}else {
			return;
		}

Answer 1

[Vladislav]

Во-первых я не вижу в коде где определена переменная $maxKey
Логика должна быть такая:
Есть переменная

$currentKey = 0; // в ней мы указываем индекс текущего ключа из массива

Есть массив с ключами: $keys = [key,key,key];
Есть функция:

function changeKey(){
    $currentKey++;
    if ((count($keys) - 1) > $currentKey)
    {
        // завершаем работу скрипта, ключи кончились
    }
}

И два варианта на твой выбор как будешь определять когда менять ключ:
1. Отлавливать ошибку, что ключ исчерпал дневной лимит и вызывать changeKey();
2. Завести переменную которая будет считать кол-во сделанных запросов. И при достижении 10к запросов вызывать changeKey();

Ключ получать так: $keys[$currentKey];

Comments

[Вечно Крайний]

Спасибо за ответ, но я что-то не врубился
1) $maxKey = count($key);
в начале стоит после объявления $key = dadataKey($file); ( не скопировал, косяк)
2) $currentKey вроде выполняет тоже самое что и $n. Или я что-то путаю
3) Вот так выглядят функции по смене ключей. Так как ключи хранятся парами

function changeToken($keys, $j) {
			$token = $keys[$j]['api'];	
			return $token;
		}

	function changeSecret($keys, $j) {
			$secret = $keys[$j]['secret'];	
			return $secret;
		}

4) Ваш if вроде делает что и мой ?

if($n <= $maxKey) {
    //цикл по смене ключей
} else {
   return:
}

[Vladislav]

Вечно Крайний, в каком формате у вас хранятся ключи ?
dadataKey($file)
в файле и в самом массиве после применения функции dadataKey

[Вечно Крайний]

В файле просто парами

1111111111
2222222222

3333333333
4444444444

В массив попадает уже парами

Array (
      [0] -> array (
                 [api] = 1111111111
                 [secret] = 2222222222
            )
)

[Vladislav]

Вечно Крайний, Попробуй так:

function changeKey($currentKey, $keys){
    $currentKey++;
    if ((count($keys) - 1) > $currentKey)
    {
        die;
    }
    return $currentKey;
}
$keys = dadataKey($file);
$currentKey = 0;
foreach($itog as $dates){
    $dadata = new Dadata($keys[$currentKey]['api'], $keys[$currentKey]['secret']);
    $dadata->init();
    $result = $dadata->clean("address", $dates['ADDRESS']);
    $dadata->close();
    if ($result['error'])
    {
        $currentKey = changeKey($currentKey, $keys);
        continue;
    }
}

[Вечно Крайний]

Владислав,
В итоге код оказался рабочий по большой части. Я просто не обратил внимание что сверка на дубликаты занимает почти 12 минут.
В результе такой код оказался рабочим

<code lang="php">
$num=0;
$key = dadataKey($file);
$maxKey = count($key);
$n = 0;
$token = $key[$n]['api'];
$secret = $key[$n]['secret'];
	$dadata = new Dadata($token, $secret);
	$dadata->init();
foreach($itog as $dates){
	usleep(500000);
	$result = $dadata->clean("address", $dates['ADDRESS']);
	if($result['error']) {
		$log = date('Y-m-d H:i:s') . ' ' . print_r($result, true);
		file_put_contents(__DIR__ . '/log.txt', $log . PHP_EOL, FILE_APPEND);
		if($n <= $maxKey) {
			for($i = $n;$n<=$maxKey;$i++){
				$dadata->close();
				$n++;
				sleep(15);
				//$token = changeToken($key, $n);
				//$secret = changeSecret($key, $n);
				$dadata = new Dadata($key[$n]['api'], $key[$n]['secret']);
				$dadata->init();

				$result = $dadata->clean("address", $dates['ADDRESS']);
		
				if ($result['error']) {
					$log = date('Y-m-d H:i:s') . ' ' . print_r($result, true);
					file_put_contents(__DIR__ . '/log.txt', $log . PHP_EOL, FILE_APPEND);
					continue;	
				} else {
					break;
				}
			}
		} else {
			pr('Кончились ключи');
			return;
		}
	} else {
                //запись в базу
		$num++;
	}
}
pr("вылетел в конце");
$dadata->close();
</code>
Проблема теперь кроется в том, что сама Dadata не дает большое 3000 записать, А потом блочит ключи или просто по каким-то причинам выдает ощибку, хотя ключ не использовался в течении дня ни разу.
Но это наверное уже другой вопрос)

[Vladislav]

Вечно Крайний, так смотри что в $result['error'] какая там ошибка ?

[Вечно Крайний]

Array
(
    [timestamp] => 2020-08-01T11:05:19.302+0000
    [status] => 403
    [error] => Forbidden
    [message] => Feature 'CLEAN' disabled for token 'd3d7b58b91db6815972ee2b8bd2695163288bdd9'. See https://dadata.userecho.com/topics/7784 for help.
    [path] => /api/v1/clean/address
)

403 это что кончился лимит на день

[Vladislav]

Вечно Крайний, он сразу все ключи блочит после 3к записей ?

[Вечно Крайний]

Владислав, да. Причем на след день не дает использовать их повторно. Хотя аккаунте не заблочены

[Vladislav]

Вечно Крайний, странно, тут я уже ничем помочь не могу.

[Вечно Крайний]

Владислав, все равно спасибо)