Как сделать, чтобы скрипт сам брал из БД имя пользователя и обработал его. После обработки, переходил к следующему и так всех пользователей из БД?

Question

[Александр Вишнев]

Имеется программа которая отдает данные(колличество книг на руках) в формате JSON
Так же есть БД пользователей.

Дамп БД: file.cbsuzr.ru/lib.zip

Структура БД: lib
таблица1: user
Столбцы: userid //Отсюда берем имя пользователя и вставляем в $username

таблица2: uicheck // Если пользователь соответствует определенному критерию, то отправляем его в эту таблицу.
Столбцы: userid
book

Если в коде в ручную прописать в $username имя пользователя, то всё выполняется как надо, но как сделать, чтобы при запуске нижеуказанного кода, скрипт сам брал из БД имя пользователя (lib\user\userid) и вставлял его в ($username), после того как определится количество книг на руках и отработает функция "если больше 5\то отправить в БД", далее скрипт должен перейти к следующему пользователю и так проверить всех из таблицы (user\userid). (То что выделено жирным - это то, что не пойму как реализовать.)

PHP владею на уровне - могу собрать что угодно, но из кусков примеров... :)
Вобщем я зашел в тупик... Ибо перерыл много сайтов, но подходящего решения в каком либо из примеров так и не нашел.

Буду благодарен за помощь в дописании кода или хотя бы киньте ссылку на пример реализации подобной задачи.

<?php
$db['host']='localhost';
$db['user']='root';
$db['pass']='';
$db['db']='lib';
$conn=@mysql_connect($db['host'],$db['user'],$db['pass']) or die("Ошибка БД");
$db=@mysql_select_db($db['db']) or die("Ошибка БД");
  $userid = "$username";
  $data = file_get_contents("http://localhost/json/". $userid);
  $json = json_decode($data);
  $x = $json->{'book'};
if ($x > 5) {
mysql_query("INSERT INTO uicheck (userid,book) VALUES ('".$userid."','".$x."')");  
}
?>

Comments

[Сергей Герасимов]

За один запрос JSON приходит по всем пользователям или по отдельному? Есть поддержка PDO, какая версия php?

[Александр Вишнев]

Сергей Герасимов, 1 запрос - 1 пользователь. PHP 7.2

[Сергей Герасимов]

fromdns, тогда для начала следует отказаться от использование семейства mysql-функций, посколько они, начиная с php 5.5 объявлены устаревшими (deprecate) и, по идее, не должны работать с php 7.0

Идеальным, на мой взгляд, решением будет использование PDO:

$dsn = 'mysql:dbname=lib;host=localhost';
$user = 'root';
$password = '';

try {
    $dbh = new PDO($dsn, $user, $password);
} catch (PDOException $e) {
    echo 'Подключение не удалось: ' . $e->getMessage();
}

Во вторых - если вы не гарантируете в выборке из сторонней утилиты корректные данные (да и в целом - это является хорошей практикой), то лучше для добавления данных в базу использовать подготовленные запросы:

$sql = 'INSERT INTO uicheck (userid, book) VALUES (:userId, :book)';
$sth = $dbh->prepare($sql);

Получение пользователей осуществляется через метод query:

foreach ($dbh->query('SELECT userid FROM user) as $user) {
    $userid = $user['userid'];

    $data = file_get_contents('localhost/json' . $userid); 
    $json = json_decode($data); 

    $booksCount = $json->book;
    if ($booksCount > 5) {
        $sth->execute([
            ':userId' => $userid, 
            ':book' => $booksCount
        ]);
    }
}

[Александр Вишнев]

Сергей Герасимов, выдает

Parse error: syntax error, unexpected 'userid' (T_STRING), expecting ',' or ')' in C:\OSPanel\domains\lib\uicheck.php on line 17

$userid = $user['userid'];

[Сергей Герасимов]

fromdns, так нужно не просто копированием заниматься. В SELECT если посмотреть, то видно, что кавычка не закрыта

[Александр Вишнев]

Сергей Герасимов, прописал в коде действие для пользователя, у которого 0 книг на руках. Если из json приходит ответ 0, то удалить userid пользователя из таблицы user. Вот только при запуске скрипта он не удаляет пользователей у которых 0 книг. И ошибок тоже не выдает...

$sql = 'INSERT INTO uicheck (userid, book) VALUES (:userId, :book)';
$sql2 = 'DELETE FROM user (userid) VALUES (:userID)';
$sth = $dbh->prepare($sql);
$sth2 = $dbh->prepare($sql2);

foreach ($dbh->query('SELECT userid FROM user') as $user) {
    $userid = $user['userid'];
    $data = file_get_contents('localhost/json' . $userid); 
    $json = json_decode($data); 

    $booksCount = $json->book;
    if ($booksCount > 5) {
        $sth->execute([
            ':userId' => $userid, 
            ':book' => $booksCount
        ]);
    }
	elseif ($booksCount = 0) {
    $sth2->execute([
	':userID' => $userid
	    ]);
}
}

[Сергей Герасимов]

fromdns, у вас запрос не верный:
DELETE FROM user WHERE userid = :userID

[Александр Вишнев]

Сергей Герасимов, все равно не удаляются с запросом как вы написали.
На прямую прописал, работает... Можно оставить так или не по феншую будет?

elseif ($x == 0) {       // тут была ошибка (...= 0)
$del = mysql_query ("DELETE FROM user WHERE userid='$userid'");
}

Почему у данного кода такой низкий КПД? Т.е. 1 пользователь за 1 секунду.

[Сергей Герасимов]

fromdns, этим вопросом я не задавался. Можно создать 2 подключения к базе данных.. Не знаю на сколько всё по феншую, но у вас и так не особо по феншую всё.

Например, зачем добавлять новые записи в базу? В базу, в которой и так уже имеется подобная запись, не проще обновить данные (UPDATE)?
Ещё можно ввести дополнительное поле, например updated_at, в которое будет записана дата (timestamp) обновления записи и при повторной работе сортировать именно по этому полю.

И удаление данных, не всегда рационально, проще также использовать метку, которая изначально установлена в null, например, можно назвать её как deleted_at, при следующей выборке просто исключать их

Answer 1

[Евгений Воробьев]

<?php $db['host']='localhost'; $db['user']='root'; $db['pass']=''; $db['db']='lib'; $conn=@mysql_connect($db['host'],$db['user'],$db['pass']) or die("Ошибка БД"); $db=@mysql_select_db($db['db']) or die("Ошибка БД");

$count=mysql_result(mysql_query("SELECT COUNT(*) FROM `user`"),0);
$q=mysql_query("SELECT * FROM `user` WHERE `userid` LIMIT $count");
while($res=mysql_fetch_assoc($q))
{
$userid=$res['userid'];
$data = file_get_contents('localhost/json'.$userid);
$json = json_decode($data,true);
$x = $json[book];
if ($x > 5) {
$insert=mysql_query("INSERT INTO `uicheck` (`userid`,`book`) VALUES ('$userid','$x')");
}
}
?>

Comments

[Александр Вишнев]

Спасибо ОГРОМНОЕ!!!
Пришлось внести некоторые изменения, иначе в бд не вносились пользователи у которых больше 5 книг, но и ошибок не выдавало...

<?php $db['host']='localhost'; $db['user']='root'; $db['pass']=''; $db['db']='lib'; $conn=@mysql_connect($db['host'],$db['user'],$db['pass']) or die("Ошибка БД"); $db=@mysql_select_db($db['db']) or die("Ошибка БД");

$count=mysql_result(mysql_query("SELECT COUNT(*) FROM `user`"),0);
$q=mysql_query("SELECT * FROM `user` WHERE `userid` LIMIT $count");
while($res=mysql_fetch_assoc($q))
{
$userid=$res['userid'];
$data = file_get_contents('localhost/json'.$userid);
$json = json_decode($data); <---- тут убрал true
$x = $json->{'book'}; <---- тут написал так
if ($x > 5) {
$insert=mysql_query("INSERT INTO `uicheck` (`userid`,`book`) VALUES ('$userid','$x')");
}
}
?>

Answer 2

[Stalker_RED]

1. Выбросить этот код
2. Внести в БД данные по всем юзерам
3. Написать запрос, типа "дорогая база, дай мне список всех юзеров, у которых больше пяти книг"

Comments

[Александр Вишнев]

1. Рассматривал этот вариант, но нет, это абсолютно не вариант.
2. Колличество книг отдает прога для автоматизации библотек через JSON. И отказаться от этой проги равносильно, если самому написать 3 системы автомазизации(СА) с нуля и чтобы они взаимодействовали друг с другом.

Так что проще организовать подобную прослойку между СА отдающей JSON и БД.

[Stalker_RED]

fromdns, представим себе Тамбовскую детскую городскую библиотеку. Население Тамбова - 290 тысяч человек. Пускай в библиотеке зарегистрированы не все жители, а примерно треть, для круглого счета пусть будет 100 тысяч.

Допустим ваша "прога для автоматизации библотек через JSON" способна переварить сотню запросов в секунду. Тогда для перебора всех юзеров понадобится тысяча секунд - это примерно 17 минут. Если она способна переварить 10 запросов в секунду - понадобится почти три часа.

Вместо миллисекунд.

[Stalker_RED]

fromdns, если вы не одумались, то вот вам foreach - продолжайте есть кактус.

[Александр Вишнев]

Stalker_RED, спасибо за наводку. Думаю, что даже если сутки будет занимать процесс - это не страшно. Ибо обрабатываться всё это будет на сервере. Кину в крон на еженедельный запуск и норм.

[Stalker_RED]

fromdns, жаль.

[Кирилл Несмеянов]

fromdns, сутки против пары сотых секунды... Ну так себе решение :D

[Александр Вишнев]

Если она способна переварить 10 запросов в секунду - понадобится почти три часа.

Stalker_RED, Вы не дооценили жопорукость этого решения :)
Результат: 1 запрос в секунду! :D
Не подскажете, почему такое низкое колличество обработанных запросов в секуну? Где узкое место в этом решении?

[Stalker_RED]

fromdns, сам подход в корне неправильный. Вот прямо начиная с уровня "идея" или "архитектура".

[Александр Вишнев]

Stalker_RED, ну так алгоритм то у кода элементарный... По идее, все должно работать быстрее. Но никак 1 пользователь за 1 секунду... Что странно,
серверные ресурсы даже не напрягаются при запуске кода. Проц и озу нагружены не более чем на 10%, а SASoвские винты вообще прохлаждаются... Может в конфигах апача/php/mysql что поправить надо? Но вот думаю ещё одно условие вставить в код, что если у пользователя менее 5 книг на руках, то удалять его из бд. А потом один и тот же код(тот что в моём вопросе) воткнуть в 1 страницу раз 20-30... Аля мультипоточность.. :D Да, колхозно, но может тогда быстрее будет..

[Stalker_RED]

fromdns,