Как php повторно узнает о файлах в каталоге: из памяти или читает все занова?

Question

[xenonhammer]

Здравствуйте. Написал скрипт, который грабит картинки, с конкретного сайта. проблема в обновлении контента.
PHP при обращается к каждому url, будто, не обращает внимания на if( !name ). Возник вопрос, Данные по файлам в каталоге, находятся в буфере или php каждый раз читает имена всех файлов каталога? Я никакие манипуляции буфером не делал.

foreach ($data as $k){
				foreach ($k as $kq => $v){
					foreach(($v["photo_list"]) as $key => $url){
						$name = (basename($url));
						$path = "/" . $name ;

						$ch = curl_init($url);
						curl_setopt($ch, CURLOPT_HTTPHEADER, 0);
						curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
						$data = curl_exec($ch);
						curl_close($ch);
						
						if(!file_exists($name)){
							$file = fopen($path, "w+");
							fwrite($file, $data);
							fclose($file);
						}


					}
						

				}
			}

Comments

[Дмитрий]

Читает по новой
Код покажите

[xenonhammer]

foreach ($data as $k){
				foreach ($k as $kq => $v){
					foreach(($v["photo_list"]) as $key => $url){
						$name = (basename($url));
						$path = "/" . $name ;

						$ch = curl_init($url);
						curl_setopt($ch, CURLOPT_HTTPHEADER, 0);
						curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
						$data = curl_exec($ch);
						curl_close($ch);
						
						if(!file_exists($name)){
							$file = fopen($path, "w+");
							fwrite($file, $data);
							fclose($file);
						}


					}
						

				}
			}

[xenonhammer]

Дмитрий, по новой ли php просматривает файлы от первого до последнего. или весь список заголовков у него в памяти?

[FanatPHP]

Мне вот реально интересно. Где в этом коде написано, чтобы он "не обращался к url, если картинка уже есть"? Какой именно код "не работает"? Где он?

[xenonhammer]

FanatPHP, ок, неверно поставил вопрос - он записывает.
несмотря на то что файл уже есть с таким именем

[FanatPHP]

И как ты об этом узнал?

[xenonhammer]

FanatPHP, время изменения файла

[xenonhammer]

FanatPHP, + в консоле выводил через f(!file_exists($name)){ echo $name;}

[FanatPHP]

может быть ты проверяешь в одной папке, а файлы лежат в другой?

[xenonhammer]

FanatPHP, скрипт лежит в той же папке, куда идет запись, я думал и проверяет он ту же папку

[FanatPHP]

думать не надо. надо убедиться.

[xenonhammer]

FanatPHP, учитывая мои переменные нужно использовать не $name а $path, разница у которых в наличии "/" перед именем. Буду побывать. Но все таки: хранит ли php заголовки файлов или каждый раз обращается к каталогу и получает их? мне кажется что производительность была бы лучше если бы все данные о заголовках были бы в памяти. Файлов порядка 150тысяч. И это получается, что каждый раз проверяться каждый заголовок в папке?

[Дмитрий]

xenonhammer, тут будет беда по io
Надо разложить по папкам, не более 10к в папку

[FanatPHP]

$path у тебя вообще нерабочий
читай здесь phpfaq.ru/newbie/paths

[xenonhammer]

Дмитрий, "не более 10к" относиться и к папкам в папке в отношении io ?

Answer 1

[nokimaro]

1. путь до файла (куда пишете) у вас в $path, а вы проверяете $name, что не верно
2. проверку на существование делаете после curl, а значит даже если в файл не пишете, то всё-равно делаете http запрос что не имеет смысла

Подправленный вариант

<?php
foreach($data as $k)
{
    foreach($k as $kq => $v)
    {
        foreach(($v["photo_list"]) as $key => $url)
        {
            $name = (basename($url));
            $path = "/".$name;
            
            //если файл существует идём к следующему $url
            if(file_exists($path))
            {                
                continue;
            }

            //скачиваем
            $ch = curl_init($url);
            curl_setopt($ch, CURLOPT_HTTPHEADER, 0);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            $data = curl_exec($ch);
            curl_close($ch);
            
            //записываем
            $file = fopen($path, "w+");
            fwrite($file, $data);
            fclose($file);
        }
    }
}

Comments

[FanatPHP]

$path = "/".$name;

А если подумать?

[nokimaro]

FanatPHP,

Все время думать одну и ту же мысль нельзя! Это очень вредно! От этого можно соскучиться и заболеть.

Если при таком $path у автора пишутся файлы куда ему нужно и он эти файлы видит, так как видит дату изменения и тд, то нет смысла мудрить.

[FanatPHP]

вопрос не в этом. Ты пробовал когда-нибудь писать в корень диска?

[nokimaro]

FanatPHP, я не пробовал, но это вполне возможно, хоть и не нужно.

$ stat /
File: /
Size: 4096            Blocks: 8          IO Block: 4096   directory
Access: (0755/drwxr-xr-x)

Но опять же, у автора нет проблем с тем куда он пишет, и это не я рекомендую ему писать в корень, такой был его изначальный код. Я лишь исправил в нём логические ошибки переставив куски кода местами.

[FanatPHP]

я не пробовал, но это вполне возможно,

ты попробуй сначала :)

[nokimaro]

FanatPHP, Попробовал
1. Папка / доступна на запись владельцу, на что как бы намекает chmod 0755
2. Создал файл в корне из консоли (bash) - /123.txt и он успешно создался
3. Создал файл через php - /php.txt и он тоже создался

Всё логично и ожидаемо. Этот дискуссию в комментах поддерживаю только потому что сегодня мне скучно.

Answer 2

[FanatPHP]

Что использовать чтобы огурцы ложкой банка майонеза.

Comments

[xenonhammer]

Функции контроля вывода

[FanatPHP]

exactly