Как сделать проверку переменной на список запрещенных значений?

Question

[Павел Чуев]

$url = array();
for($page_counter = 1; $page_counter <= 2; $page_counter++)
{
preg_match_all('/<a class="thumb_image" href="(.*?)"/si' ,file_get_contents("http://e-shuushuu.net/?page=".$page_counter),$aResult);
array_push($url, $aResult[1]);
}
$i = mt_rand(0, count($url) - 1);
$j = mt_rand(0, count($url[$i]) - 1);
$randomUrl = $url[$i][$j];

$token = '';
$user_id = null;
$group_id = null;

$text = '';
$image = 'http://e-shuushuu.net/'.$randomUrl;

try {
    $vk = \vkApi\vk::create($token);
    $post = new \vkApi\post($vk, $user_id, $group_id);
    $post->post($text, $image);
    echo 'Success!';
} catch(Exception $e){
    echo 'Error: <b>' . $e->getMessage() . '</b><br />';
    echo 'in file "' . $e->getFile() . '" on line ' . $e->getLine();
}

Вот не весь код конечно, но то что нужно реализовать, должно находится именно здесь. Так вот, код парсит url случайных изображений с нескольких страниц сайта в многомерный массив и берет из него случайную ссылку и публикует изображение в группу ВК. Как реализовать добавление использованных url в некий список, который в свою очередь нужно проверять на совпадения. Проще говоря: как избежать постов с одинаковыми изображениями?

Answer 1

[Stalker_RED]

Нужно записывать куда-нибудь, какие изображения уже были использованы. В базу данных или в файл, например.
Затем, перед публикацией, делать проверку - не находится ли файл в списке опубликованных.

Или, еще лучше - сохранить все найденные ссылки, а к опубликованным добавить флаг "опубликовано".

Answer 2

[Silm]

А зачем вам многомерный массив?

Записывайте куда нибудь, лучше в БД, собранные изображения. Записывайте адрес изображения и md5 хеш от него. Потом по хешу будет удобнее искать дубли или конкретные изображения. Дальше можете делать с этим списком что угодно, можно удалять из него использованные адреса или ставить на них метки или число использования и тп

Comments

[Павел Чуев]

Многомерный массив формируется из страниц сайта, на котором регулярно пополняются изображения. Так сказать свежий контент из зарубежных сайтов беру.
Как добавить в бд я разберусь, а вот с проверкой мыслей нет. Конкретно клинит по этому поводу. Пример или небольшое наставление не покажете?

[Silm]

AllDecay: Перед вставкой записи в БД можно проверить нет ли там уже такой же. Взяв запись из БД можно сделать ей метку, что она уже использовалась и в следующий раз исключить все записи с меткой из выборки.

[Silm]

AllDecay: Проверка осуществляется специальным запросом, к БД. Они могут выглядеть по разному, в зависимости от того какую БД вы выберете. Когда разберетесь с БД просто погуглите этот вопрос.

[Павел Чуев]

Silm: Допустим с каждым добавленный постом в вк, параллельно добавляю в таблицу mysql урл с флагом post со значением 1(уже использованное изображение). Как теперь реализовать проверку при выборе следующего изображения? Примерный запрос можно посмотреть?

[Павел Чуев]

Silm: Или даже можно просто добавлять url в таблицу, а проверку простейшую: есть ли такой url в таблице

[Stalker_RED]

AllDecay: select postFlag from mytable where img_hash = 'AB3E15C..'

[Павел Чуев]

Stalker_RED: предлагаете проверять каждый раз hash каждого изображения на предмет наличия в таблице?

[Павел Чуев]

Stalker_RED: уже реализовал запись в таблицу id изображения. осталось проверку сделать. теперь не могу представить как сделать проверку по идам из таблицы

[Silm]

AllDecay: получили массив адресов изображений, прогоняем его в цикле, от каждого адреса получаем md5 хеш, выполняем запрос вставки INSERT IGNORE ( sanstv.ru/INSERT%20IGNORE ) . В таблице при этом должен быть уникальный индекс по полю с хешем. Таким образом, если вставляемая запись уже есть в таблице, запрос будет проигнорирован и вставки не произойдет.

[Павел Чуев]

Silm: В ответе написал код, который по сути должен делать проверку по id, но не работает. Посмотрите что не так?

Answer 3

[Павел Чуев]

Вот что-то попытался написать, но не работает. Пытался выводить все данные из таблицы и отдельно id - не выходит.

$db = mysql_connect('localhost','root','');
mysql_select_db('images', $db);

$url = array();
for($page_counter = 1; $page_counter <= 2; $page_counter++)
{
preg_match_all('/<a class="thumb_image" href="(.*?)"/si' ,file_get_contents("http://e-shuushuu.net/?page=".$page_counter),$aResult);
array_push($url, $aResult[1]);
}
$i = mt_rand(0, count($url) - 1);
$j = mt_rand(0, count($url[$i]) - 1);
$randomUrl = $url[$i][$j];
$names = substr(strstr($randomUrl, '-'), 7, strlen($randomUrl));
$imageID = explode(".", $names);
$check = mysql_query("SELECT * FROM images",$db);
while($row = mysql_fetch_array($check)) {
    if ($row[' id '] == $imageID) {
        $found = true;
        break;
    }
}
if (!$found) {
try {
    $vk = \vkApi\vk::create($token);
    $post = new \vkApi\post($vk, $user_id, $group_id);
    $post->post($text, $image);
	mysql_query ("INSERT INTO images (id, url) VALUES ('$imageID[0]', 'http://e-shuushuu.net$randomUrl')");
    echo 'Success!';
} catch(Exception $e){
    echo 'Error: <b>' . $e->getMessage() . '</b><br />';
    echo 'in file "' . $e->getFile() . '" on line ' . $e->getLine();
	}

Comments

[Stalker_RED]

Вот этот кусок

$check = mysql_query("SELECT * FROM images",$db);
while($row = mysql_fetch_array($check)) {
    if ($row[' id '] == $imageID) {
        $found = true;
        break;
    }
}

можно заменить на select id from omages where id='{$imageID[0]}' если результат не пустой - значит такая картинка уже есть.

Нет никакой необходимости выбирать ВСЕ записи и потом делать перебор средствами php. Движок БД сделает проверку быстрее.

но не работае

Ошибки какие-то выдает?

[Silm]

Уфф.
Во-первых у вас должно быть два скрипта, в двух файлах. Один будет собирать изображения с сайта и сохранять в бд, второй брать изображения из бд и постить в вк. Скрипты делают разные вещи и запускать их надо раздельно.

Во-вторых. В таблице должны быть такие столбцы: id, url, hash, flag.
id, пусть будет, первичный ключ, чтоб не заморачиваться.
hash - будет хранит md5 хеш, этот столбец должен иметь unique index.

Алгоритм работы сборщика изображений такой:
1. Скрипт получает массив адресов с левого сайта
2. Обходит массив и пишет все адреса и их хеши в бд. Вставка делается через синтаксис INSERT IGNORE. Вставляем поля url и hash.
3. Таким образом у нас получается таблица со списком адресов без повторов.

Алгоритм вытаскивания изображения:
1. Делаем запрос на получения случайной записи из бд, где в поле flag нет метки об использовании
2. По id полученной записи делаем UPDATE запрос и устанавливаем в поле flag метку, об использовании.
3. Адрес изображения из записи используем для поста в вк.

Всё. Запускаем первый скрипт, когда надо собрать новую партию изображений, второй, когда надо запостить изображения.

md5 php: php.net/manual/ru/function.md5.php (но можно использовать MySQL функцию md5)
Как выбрать случайную запись из MySQL: Как выбрать случайную запись из базы MySQL без использования первичного ключа и order by rand()
INSERT IGNORE: sanstv.ru/INSERT%20IGNORE

mysql-connect, mysql_select_db, mysql_query, и все остальные mysql_* фнукции устарели и будут в будущем удалены. Вместо них надо использовать PDO.

Убедитесь, что у вас включено отображение сообщений об ошибках.
Если что-то не работает определяйте в каком именно месте возникла проблема.
Перед использованием запросов проверяйте их вручную, например в phpmyadmin.
Если проблема возникает в том месте, где выполняется запрос, сохраняйте запрос в переменную, выводите на экран и изучайте, все ли в нем ок.
Для более удобного процесса поиска и устранения проблем в коде освойте PHP дебаггер. Например xdebug.