Как грамотно реализовать обработку сразу нескольких обращений через «$.get»?

Question

[sudo rm -rf /]

Предисловие
Есть база данных, доступ к которой осуществляется через скрипт /engine/ajax/comments.php. Туда передается 2 параметра методом get: cstart - номер листа с комментариями (от 1 и до бесконечности); news_id - номер "поста". Возвращает json, содержащий 2 поля: navigation - валидный html с ссылками на номера листов; comments - комментарии в виде валидного html. Если "вырвать" через RegExp id комментариев (например, если предварительно подрузить все комменты для одного поста ), то получим отсортированный массив неотрицательных чисел.

Задача
Найти номера листов, на которых расположен хотя бы один из трех id, при условии, что все 3 id точно присутствуют в комментах поста.

Шо имеем
Простой перебор - не вариант, ибо комментов может быть о-о-очень много. Решил делить пополам и определять область, в которой точно есть, но из-за незнания js на "должном уровне" столкнулся с рядом проблем, одна из которых - получить в одной функции сразу данные с 1, n и [n/2] листов, дабы хотя бы начать делить. Пытался поискать решение - информации слишком много, и я не могу понять, куда копать... По сути, мне нужно 3 раза обратиться к /engine/ajax/comments.php, и по получении всех 3 ответов, разобраться, что есть что, и обработать. Копипастить один и тот же код - не комельфо, хочется сделать по-нормальному, а то внутренний перфекционист задушит.

Знающие люди, подскажите и направьте, пожалуйста. Пишу userscript. Уже третий день.. Аж смешно...

Comments

[Алексей Шашенков]

Я бы все загонял ответ в html (createelement + innerHtml) в итоге получал кусок dom в котором через querySelector получал нужные элементы и атрибуты
+ этот кусок можно вставить на страницу.
Но если есть доступ к серверу проще поправить на нем.
А так не сильна мне ясно суть задачи. Лучше пример для наглядности.

[Dark Hole]

Магия промисов не поможет?

[sudo rm -rf /]

teknik2008: а теперь представь, что у тебя под постом 25000 комментариев. У каждого из них есть аватарка автора, которая грузится при вставке в innerHTML.. Не нравится мне это.. Кто знает, сколько придется так делить.

p.s. доступа к серверу нет. userscript же

p.p.s. Пример. Есть на странице топ из 3 комментов, заполняемый неизвестно как - не нашел, а чуть ниже блок со всеми комментами и навигацией по ним. Нужно забиндить на onclick комментов топа переход на лист-источника.

[sudo rm -rf /]

Dark Hole: пытался я в эту магию, но решение никак не находится..

[Алексей Шашенков]

Максим Ливень: А кто сказал что я буду вставлять на страницу? Я сказал что вставить в созданный элемент в переменную и в ней найти как в html.

console.time('Создание элементов')
var elem=document.createElement('div');
elem.innerHTML=createBigCode()
console.timeEnd('Создание элементов')
console.time('Поиск элементов')
var elems =elem.querySelectorAll('li');
var Elems=findSame(elems,'data-item');
console.timeEnd('Поиск элементов')
console.log(Elems)

function findSame(elems,attr){
    var Elems={};
    for(var i=0;i<elems.length;i++){
        var elem=elems[i];
        var key =elem.getAttribute(attr);
        Elems[key]=Array.isArray(Elems[key])?Elems[key]:[];
        Elems[key].push(elem);
    }
    return Elems;
}

function createBigCode(){
    var steps=100000;
    var html='';
    function ramdom(i){
        i=i||10;
        return Math.ceil(Math.random()*i);
    }
    for(var i=0;i<steps;i++){
        var ram=ramdom(steps/100);
        var fragment="<li data-item='srt-"+ram+"'>Супер коммент со значением "+ram+"</li>";
        html+=fragment;
    }

    return html;
}

@MaxLevs:

[sudo rm -rf /]

teknik2008: он грузит картинки даже если ты не вставляешь

[Алексей Шашенков]

Максим Ливень: Что за бред?
Даже если вставить код на страницу в блок с display:none он все равно не загрузит, не говоря о том что этот код находится в переменной.

[sudo rm -rf /]

teknik2008: я сначала реализовал также, как вы предлагаете. Зашел на страницу с 25000 комментов - в консоли через пол минуты посыпались ошибки о невозможности подгрузить картинки. Переход по одной из ссылок показал, что это аватарки.

Answer 1

[Sayonji]

А в чем, собственно, проблема?
Пусть S(html, id) — функция, которая возвращает 0, если в html есть нужный id, -1 если он слева и +1 если справа.
Пусть GET(n, callback) — функция, которая скачивает страницу номер n и передает в коллбек.
Судя по вашей формулировке, вы не знаете номер последней страницы. В таком случае делаете бинарный поиск сначала вперед, а потом уже вглубь:

var _cached = {}
function G(n, callback) {
  // сразу всё будет кешировать, чтобы не париться с повторными проверками
  if (_cached[n])
    return _cached[n]
  GET(n, function (html) {
    _cached[n] = html
    callback(html)
  })
}

function searchUp(id, n, found) {
  // удваиваем номер страницы, пока не проскочим нужный id
  G(n, function(html) {
    var res = S(html, id);
    if (res == 0)
      found(n, html)
    else if (res > 0)
      searchUp(id, 2 * n, found)
    else
      searchBinary(id, n/2, n, found)
  })
}

function searchBinary(id, n1, n2, found) {
  // обычный бинарный поиск
  n = ((n1 + n2)/2)|0;
  G(n, function (html) {
    var res = S(html, id);
    if (res == 0)
      found(n, html)
    else if (res > 0)
      searchBinary(id, n, n2, found)
    else
      searchBinary(id, n1, n, found)
  })
}

searchUp(123, 1, function(n, html) {
  // Ищем 123 коммент, начинаем с 1 страницы
  console.log(n, html)
})

Comments

[sudo rm -rf /]

Благодарю. Как-то жестко я затупил. n можно вырвать из навигации.
Вот что получилось, хотя мне очень кажется, что где-то я все же наговнокодил:

(()=>{
  const min = 1;
  const max = +document.getElementsByClassName('navigation')[0].lastElementChild.innerHTML;
  const bestComm = document.getElementsByClassName('comm_best')[0].children;
  let news_id = window.location.pathname.match(/\d*-/)[0].match(/\d*/)[0];
  let _cache = [];

  let getComments = (cstart, news_id) => {
    return new Promise((responsed) => {
        if (!_cache[cstart]){
            $.get(dle_root+"engine/ajax/comments.php", {cstart:cstart,news_id:news_id,skin:dle_skin}, (data) => {
              _cache[cstart] = data.comments;
              responsed(data.comments);
            },"json");
        } else {
            responsed(_cache[cstart]);
        }
    });
  };

  let binarySearch = (id, n1, n2) => {
    return (Promise.all([getComments(n1, news_id), getComments(n2, news_id), getComments(Math.ceil((n1+n2)/2), news_id)])
    .then((data) => {
      if(data[0].search(new RegExp(`${id}\\D`)) !== -1){
        return n1;
      }

      if(data[1].search(new RegExp(`${id}\\D`)) !== -1){
        return n2;
      }

      if(data[2].search(new RegExp(`${id}\\D`)) !== -1){
        return Math.ceil((n1+n2)/2);
      }

      if(id.match(/\d+/)[0] < data[2].match(/comment-id-\d+/g)[0].match(/\d+/)[0]){
        return binarySearch(id, n1+1, Math.ceil((n1+n2)/2));
      } else {
        return binarySearch(id, Math.ceil((n1+n2)/2), n2-1);
      }
    }).catch((err) => {
      return Promise.reject(err);
    }));
  };


  for (let i = 0; i < bestComm.length; ++i) {
      binarySearch(bestComm[i].id, min, max-1).then(
      (page)=>{
          bestComm[i].onclick = ()=>{CommentsPage(page, news_id); return false;};
          console.log(`Page: ${page}`);
      },
      (err)=>{
          console.error(err);
      });
  }
})();