Как спарсить большой файл с PHP?

Надим Закиров, это все можно сделать и с потоковым парсером и в один клик в плагине.

Какое регулярное выражение?

жесть.
а если будет 52х?
да еще и цикл?
рили?

Как спарсить большой файл с PHP?

Надим Закиров, я бы тоже смог. но это не вяжется с вашим же "не заебывая пользователя".
а если вы сами это делаете, то и консоль можно попользовать и в крон закинуть.

короче: не знать/уметь чего–либо – абсолютно нормально. но отстаивать свое незнание – за пределами моего понимания.

Как спарсить большой файл с PHP?

Надим Закиров, это зависит от движка.
некоторые вообще не имеют подобного функционала, некоторые посредством собственного апи позволяют поставить задачу в фон/очередь и/или в крон.
этот разговор без конкретики – вообще ни о чём.

более того, на среднестатистическом хостинге "не заебывая пользователя" не получится загрузить большой файл. а на некоторых - это тупо невозможно.

Как спарсить большой файл с PHP?

Надим Закиров, она отлично приемлема: отправить с фронта задание бэку.
всё на этом. остальным рулит только и исключительно бэк.
фронту остаётся только периодически спрашивать бэк "готово ли".

и это очень далеко от вашего ответа.

Как спарсить большой файл с PHP?

Надим Закиров, вам вообще известно, что в клишном пыхе единственное ограничение – память? по времени код может колбаситься хоть неделю.

Как спарсить большой файл с PHP?

Надим Закиров, и в итоге мы приходим к потоковому парсеру.
поздравляю: вы решили элементарную задачу, но решили еще прикрутить к ней фронт.

Как спарсить большой файл с PHP?

Надим Закиров, и сколько же времени потребуется для загрузки в браузер 30мб?
а 300?
а 3000?
а 5000?

а на сервере он уже есть. неужели это не очевидно?

Доп. нагрузкой создаваемой пост-запросами каждые 30 сек. можно пренебречь, это просто мизер для любого хостинга.

рили?
вы считаете что несколько десятков или дестяков тысяч запросов на сервер, когда можно без них – это норм?
особенно, когда сервер должен еще что–то делать?

Как спарсить большой файл с PHP?

Надим Закиров, мой вариант тож будет работать на любом хостинге: нет вариант пользовать консоль напрямую, используйте крон.

незачем грузить фронт тем, что ему вообще не нужно. и при этом плодить еще кучу запросов на сервер.
что может быть обработано только на сервере, должно быть обработано только там.
это аксиома.
или вы желаете иметь клиентов, у которых страница будет грузиться десятками секунд или минутами?

Как спарсить большой файл с PHP?

Надим Закиров, да, она будет постепенной.
разница в том, что ваш вариант предполагает загрузку по сети всего файла (возьмём ваши же 5000), его процессинг и при факапах повторение того же самого (не учитывая, что по вашему варианту будет полно ненужных сетевых запросов).
а мой вариант работает на сервере и берёт файл с сервера, и вообще никак не трогает ни сеть вообще, ни браузер у клиента.
разницу не наблюдаете?

Почему после восстановления сайта (после взлома), роботы гугла продолжают ломиться по левым адресам левых карт сайта?

Иван Петров, по разному, там много факторов.
чревато только тем, что в выдаче могут появиться (а могут и нет) левые ссылки.

если вычистили и повторений не будет, то за несколько месяцев все возвращается взад.

Может ли провайдер порезать скорость только ПК?

dieselb01, чисто технически это возможно.
но накладно. провайдеру проще разорвать с вами договор или ограничивать весь трафик, а не частично.

снова повторюсь: более чем уверен, что проблема не в провайдере.
из очевидного: ваш роутер не вытягивает кол-во подключенных клиентов и/или соединений.
это не редкость на дешёвых моделях.

Как спарсить большой файл с PHP?

Карлиндоу Мэрлифи, парсить любые файлы больше нескольких МБ в риалтайме - отвратная идея.

Как спарсить большой файл с PHP?

Карлиндоу Мэрлифи, эмм.... зачем для этого nginx?
тяжёлые задачи запускаются либо в фоне, либо вообще в cli.

а nginx нужен только для получения уже готовых результатов.

Как спарсить большой файл с PHP?

Надим Закиров, тоже и с таймаутом для потокового парсера.

Почему выдает Uncaught SyntaxError: Unexpected end of JSON input?

AndrewSHkod подсветка кода? не, не слышал!!!11адын.
хинт: кнопка </> в редакторе.

Как спарсить большой файл с PHP?

Надим Закиров, это разговор слепого с глухонемым.
а если браузер зависнет?
а если сервер зависнет?
а если сеть отвалится?

Как спарсить большой файл с PHP?

Надим Закиров,

ну а ваше решение какое?

мое решение описано в моем ответе.

Но что делать, если будет 100, 200 или даже 5000 мегабайт?

использовать потоковые парсеры.

Не проще ли контролировать нагрузку запросами с фронта?

не проще: мало того, что вы грузите фронт вообще не его задачами, так вы еще и сервер бомбите запросами.

Как спарсить большой файл с PHP?

Карлиндоу Мэрлифи, и может файл приложите? или хотя бы часть его?

Как спарсить большой файл с PHP?

Карлиндоу Мэрлифи, а в чем проблема надо угадать самим, да?