Как работать с большими массивами?

Question

[Alpha12]

Добрый день, интересует как правильно разбить большой массив на под масивы, или как сделать правильно, скажем формирование файла, на основании одного большого массива который формируется на основании 30 тыс товаров. И из него нужно взять id товара и код. Я использовал цикл foreach но оно занимает большое количество времени. Слышал, что есть такая штука как разбивка массивов на под массивы, что дает возможность уменьшить нагрузку и увеличить производительность. Но как правильно это сделать ?

Comments

[ThunderCat]

на основании одного большого массива который формируется на основании 30 тыс товаров

ок, а этот массив откуда взялся?

[Alpha12]

С бд, я уже разобрался сделал array_chunk разбив его на под масивы

[FanatPHP]

а в чем смысл этого array_chunk? что он даёт для формирования файла?
если разбить большой массив на 1000 маленьких, то скорость работы от этого не изменится, всё равно придется перебрать все 30 тысяч, только не одним циклом, а тысячей.
по-моему вы сейчас выстрелили себе во вторую ногу

[Alpha12]

FanatPHP, да, есть такое. Может тогда лучше использовать крон ?

[FanatPHP]

обработать 30 тыщ записей - это где-то пол-секунды
если для этого нужен крон - ну ок

но я бы просто повыкидывал весь идиотизм из кода, типа вот этого array_chunk, чтобы он просто стал нормально работать

[Alpha12]

FanatPHP, я разобрался в чем дело, вот сам код

public function feed(){
		
		ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);
// подключаем модель
	$this->load->model('catalog/product');
// получаем товары с бд 
	$results = $this->model_catalog_product->getProducts();
	
	$file = fopen('csv.csv','w+');

			$arr_file = array();
			
				foreach($results as $result){

					
					if($result['quantity'] > 0 ){
// именно вот тут и была задержка, это формирование юрл на товар, самой системой опенкарт, почему то тут все зависало и не хватало времени на исполнения.
						//$url =   $this->url->link('product/product&product_id='.$result['product_id']);
						$url = 'https://kancler-gurt.com.ua/index.php?route=product/product&product_id='.$result['product_id'];
						$arr_file[] = array(
							'id'	=> $result['model'],
							'href' => str_replace('&','&',$url),
						);
					
					}
				
					
				}
	
				
				
	
			foreach($arr_file as $arr){
				

				
				fputcsv($file, $arr, ';','"',' ');
			}

			
	
			fclose($file);

		
		
	

		}

Answer 1

[dollar]

Если поиск в массиве осуществляется через foreach, то грош цена такому массиву.

Сила массива в том, что доступ к элементу можно осуществлять по индексу, то есть практически моментально. Так что для оптимизации старайтесь делать именно это. То есть обратите внимание на то, какой критерий поиска вы используете, а не что вам нужно извлечь. Ведь при доступе к элементу (который является объектом или структурой), вы и так получите доступ ко всем его свойствам, основное время тратится именно на поиск. Например, если поиск по какому-то уникальному свойству (артикулу, например), то можно сделать ассоциативный массив, ключом которого является именно артикул.

Конечно, на формирование массива тоже тратится время, какой бы оптимизированный поиск ни был. Поэтому супер большие массивы - тоже признак плохой оптимизации. Не зря же придумали базы данных. А что если в базе не 30 тыс. товаров, а миллиард? Тоже загоните их в массив? Надеюсь, что нет, а вместо этого будете пользоваться средствами поиска самой базы данных.

Но если всё же оптимизировать создание массива наравне с последующим поиском по нему, то нужно будет углубиться в суть задачи, а также изучить, какие вообще есть структуры данных в PHP, какие у них плюсы и минусы, как они устроены на низком уровне, и как на их основе сделать более совершенные структуры данных (конкретно для вашей задачи).

Comments

[Alpha12]

та тут суть в том что бы получить с бд товары, и записать id и ссылку на товар в файл csv. Вся суть. Я использовал array_chunk() и таким образом, оно работает правильно.

[dollar]

Alpha12, ох, стоило упомянуть это в вопросе, а то я тут накатал...)

[Alpha12]

dollar, Все равно спасибо)

Answer 2

[FanatPHP]

Слышал, что есть такая штука как разбивка массивов на под массивы, что дает возможность уменьшить нагрузку и увеличить производительность.

Это какая-то адова ересь.
Разбивка на подмассивы только увеличит нагрузку и ухудшит производительность.
поскольку помимо вместо того чтобы сразу взять и обработать массив мы сначала зачем-то разобьем его на куски, а потом будем писать вложенный цикл, чтобы перебрать те же самые данные, которые у нас уже были.

array_chunk может использоваться только для удобства, когда нам надо вывести массив ровными кусочками. Да и то можно обойтись без разбивки, а вывести все кусочки в одном цикле.