Как подгружать огромный json api через pagination?

Question

[mr jeery]

Имеется API чуть ли не всех городов мира в .json формате.

[
  {
    "id": 707860,
    "name": "Hurzuf",
    "country": "UA",
    "coord": {
      "lon": 34.283333,
      "lat": 44.549999
    }
  },
  {
    "id": 519188,
    "name": "Novinki",
    "country": "RU",
    "coord": {
      "lon": 37.666668,
      "lat": 55.683334
    } 
},
....
]

Ранее настраивал единовременную подгрузку, тк были не большие данные.
Но здесь это не пройдет, нужно делать запрос к следующим данным, только при нажатии загрузки новой страницы городов.

Как это сделать?
Поделитесь примером такой реализации?

Comments

[Антон Спирин]

query параметры то ваш запрос поддерживает? sort, sortDirection, limit, page, query?

[mr jeery]

Антон Спирин, а .json файл может не поддерживать ?

[Stalker_RED]

mr jeery, файл это файл. У него нет API и параметров.

Answer 1

[Айнур Валиев]

дели json на чанки и выводи в пагинации

Comments

[mr jeery]

А можно чуть-чуть подробней или ссылку на статью?

[Айнур Валиев]

примера нет, т.к. твой вопрос общий, вот и рекомендация общяя.
у тебя там аяксом идет подгрузка?

[mr jeery]

Айнур Валиев, я еще к подгрузке не приступал, поэтому вопрос общий. у меня есть .json файл с огромным массивом. и я хочу вытаскивать от туда по 10 элементов на каждую страницу. но если я буду загружать в state весь массив, то очевидно, что все зависнет

[Айнур Валиев]

mr jeery, вариантов куча. как пример
phppot.com/php/jquery-ajax-pagination

Answer 2

[Interface]

Если файл не очень большой (до десятков мегабайт) - можно считать его в памямть, получится обычный массив, его можно отдавать обычным slice.

Если файл очень большой (сотни мегабайт и более) - думаю оптимальнее всего будет считать его через какую-нибудь либу типа https://github.com/dominictarr/JSONStream и засунуть в БД. И обращаться уже к ней.

Обратите внимание, что файл может не уместиться в ОЗУ - тогда нужно делать поточно (да и не только тогда).

Т.е. не считываем по кусочкам весь файл -> склеиваем -> кладем в БД,
а считываем кусок -> кладем кусок в БД (и следим чтобы память не текла)