Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

Question

[Михаил Компас]

Написал простой скрипт на php, который парсит прокси по трём url (api-запросы) .

Что я уже реализовал: чтоб скрипт парсил ip с нескольких мною указанных url, далее он должен удалять дубликаты в полученных результатах (если они есть), далее он должен уникальные результаты выдать построчно в коде элемента .

Ссылка на парсер: elisee84.bget.ru/test.php

Вставил для теста в скрипт парсера вот эти url
Австрия, Боливия и еще раз Австрия:

https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0
https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0
https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0

Специально вставил 2 раза url Австрии, чтоб протестировать удаление дубликатов.
Так как две url-ки это Австрия, то там должна быть выдача одинаковых результатов парсинга, поэтому парсер должен удалить дубликаты и результаты должны быть уникальными с url Австрия и Боливия

Проблема в том что когда 2 url вставляю для парсинга и удаления дубликатов, то он удаляет дубликаты и выдаёт как положено построчно ip-шники (в коде страницы) но вставив 3-тю и больше url-лок, то при запросе elisee84.bget.ru/test.php ничего не отображает.

Какая ошибка в этом php скрипте?

Код php скрипта:

<?php
function Parse ($p1, $p2, $p3) {
	
	
}

$string = file_get_contents('https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0' , 'https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0', 'https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0' );


$string_array = explode("\n ", $string);

$final_array = array_unique($string_array);

$final_string = implode("\n ", $final_array);

echo $final_string;



?>

Comments

[krypt3r]

Лишний пробел в explode/implode у вас зачем?

[Михаил Компас]

убрал пробелы, но с двумя url-ками, скрипт парсит только данные с первой url, вторую url он как будто не видит.

Правильно ли я прописал в строке для парсинга все знаки разделения:
$string = file_get_contents('ЮРЛ1' , 'ЮРЛ2');

В чём ошибка?

Answer 1

[nokimaro]

Если нужно спарсить несколько url (отправить несколько запросов) то на каждый запрос нужно отдельно вызывать file_get_contents();
Передавать более 1 (одного) url в file_get_contents нельзя

https://www.php.net/file_get_contents

file_get_contents ( string $filename [, bool $use_include_path = FALSE [, resource $context [, int $offset = 0 [, int $maxlen ]]]] ) : string

Второй параметр это $use_include_path и передавать туда url не имеет смысла
Привалильный путь будет

file_get_content($url1);
file_get_content($url2);
file_get_content($url3);
//или то же самое в цикле

пример кода с циклом. результаты всех запросов склеиваются в $string

<?php
$urls = [
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
];

$string = "";
foreach($urls as $url)
{
    $string .= "\n".file_get_contents($url);
}

$string_array = explode("\n", $string);
$final_array = array_unique($string_array);
$final_string = implode("\n", $final_array);

echo $final_string;

Comments

[Михаил Компас]

Вот так правильно поставил?
Если есть где то ошибка, то пожалуйста поправьте нуба)

<?php
function Parse ($p1, $p2, $p3) {
  
  
}

$url1 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0";
$url2 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0";
$url3 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0";

$string = file_get_contents($url1);
$string = file_get_content($url2);
$string = file_get_content($url3);

$string_array = explode("\n", $string);

$final_array = array_unique($string_array);

$final_string = implode("\n", $final_array);

echo $final_string;



?>

[nokimaro]

Иван Иванов, нет не правильно.
Вы делаете первый запрос. результат записываете в $string
Затем второй запрос, результат опять в $string и значит затёрли результаты первого запроса.
Потом третий запрос и опять в $string и перезатёрли результаты прошлых запросов.
В итоге в $string только результаты третьего запросы, и потеряны первые два.

[Михаил Компас]

Ваш код работает - парсит, убирает дубли, но парсит только с первых двух url , какие ссылки ставлю первыми с таких и парсит инфу.
То есть в данном примере берет инфу только с Австрии (at) и Боливии (bo)

$urls = [
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",

и еще почему то в одном месте склеиваются две строчки.

Кстати, склеиваются они как раз в том месте, где заканчивается результаты парсинга с одного url и начинаются результаты с второй url (см. скриншот ниже)
Что нужно в коде исправить чтоб не было "склейки"?



Ваш код использую, в нем где то и есть эти 2 ошибки:

<?php
$urls = [
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
];

$string = "";
foreach($urls as $url)
{
    $string .= file_get_contents($url);
}

$string_array = explode("\n", $string);
$final_array = array_unique($string_array);
$final_string = implode("\n", $final_array);

echo $final_string;

[nokimaro]

Иван Иванов,
$string .= "\n".file_get_contents($url);

[Михаил Компас]

Сделал исправление, это помогло убрать склейку. Но скрипт так же берет и парсит данные только с первых двух указанных url.

Где же ошибка в этом коде? :

<?php
$urls = [
"https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=be&limit=0",
"https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=az&limit=0",
"https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=bw&limit=0",
"https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=hn&limit=0",
"https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=am&limit=0",





	
];

$string = "";
foreach($urls as $url)
{
    $string .= "\n".file_get_contents($url);
}

$string_array = explode("\n", $string);
$final_array = array_unique($string_array);
$final_string = implode("\n", $final_array);

echo $final_string;
?>

[nokimaro]

Иван Иванов, в этом коде нет ошибки

[Михаил Компас]

Тогда почему я получаю данные только с первых двух url? Я даже пробовал менять местами url -ки!

Возможно код удаляет дубликаты и вместе с ними удаляет и данные из нижних ссылок.

Что в коде нужно "закоментировать" чтоб скрипт парсил данные с всех url но не удалял дубликаты? Хочу понять почему исчезают данные с других url.

[Михаил Компас]

nokimaro, как поставить задержку между запросами в url?

т к есть подозрения что сайт блочит слишком частое (через пару микросекунд) обраащение к его URL-кам

например задержку в 5 секунд, для меня такая задержка межу запросами к каждой url - будет норм!