Возможно ли как то уменьшить время выполнение функции?

Question

[Andrii]

Доброго дня, есть файл .xlsx на ~ 17mb и 92000 строк, нужно его конвертировать в .csv, функция (под спойлером) делает это уже 40 минут и пока еще не конец, где то за час управится, возможно потому, что я делаю это на стареньком ноуте с 8Gb памяти? На реальном сервере будет быстрее? Возможно сам код поправить нужно?

Функция

function bigExel2csv($filesXlsx)
{
	// Read the Excel file.
	$reader = ReaderEntityFactory::createXLSXReader();
	try {
		$reader->open('attach/' . $filesXlsx);
	} catch (IOException $e) {
	}

	foreach ($reader->getSheetIterator() as $sheet) {
		foreach ($sheet->getRowIterator() as $row) {
			// do stuff with the row
			$cells = $row->getCells();
		}
	}
    $info = pathinfo($filesXlsx);
	//$callStartTime = microtime(true);
	//$format = 'Y-m-d';
	// Export to CSV file.
	$writer = WriterEntityFactory::createCSVWriter();

	try {
		$writer->openToFile(safe_file("files/" . $info['filename'] . '.csv'));
	} catch (IOException $e) {
	}
	$writer->setFieldDelimiter(";");
	foreach ($reader->getSheetIterator() as $sheetIndex => $sheet) {
		//Add sheets in the new file, as we read new sheets in the existing one
		/* if ($sheetIndex !== 1) {
        $writer->addNewSheetAndMakeItCurrent();
    } */
		// Set delimiter.
		foreach ($sheet->getRowIterator() as $row) {
			// ... and copy each row into the new spreadsheet
			$writer->addRow($row);
		}
	}
}

Comments

[Andry]

foreach ($reader->getSheetIterator() as $sheet) {
    foreach ($sheet->getRowIterator() as $row) {
      // do stuff with the row
      $cells = $row->getCells();
    }
  }

Зачем вам пустой цикл?

Я бы попробовал оценить, кто жрет время: читатель или писатель.
Уберите в нижнем цикле вызов писателя ($writer->addRow) и запомните время выполнения.
Если без писателя выполняется значительно быстрее, то, скорее всего, у вас кривой писатель, который при каждой операции обращается к диску. Если это так, то поищите в описании, может найдете какие-нить параметры для варианта с кешированием записи на диск.

[Дмитрий]

Запилить свой ридер

[Дмитрий]

Прям в офисе можно сохранить как csv

[Andrii]

Дмитрий, можно, но надо чтоб на сервере конвертировалось

[Дмитрий]

Андрей, там сам ридер как фреймворк, надо запилить только нужное и будет быстрее, попробовать в несколько потоков

[Andrii]

Дмитрий, а можно поподробнее, я только джун в этом деле, но хочу разобраться, куда смотреть, с чего начать? как запустить в несколько потоков?

[Дмитрий]

Андрей, на хабре не мало было материаллов по этому поводу
https://www.php.net/manual/ru/refs.fileprocess.pro...
https://www.php.net/manual/ru/book.shmop.php

Answer 1

[maksam07]

$writer->addRow($row);
Есть функция добавления не строки, а массива строк и столбцов? Тогда вместо цикла можно было бы одной "итерацией" заполнить файл, это (скорее всего) могло бы существенно сократить время