Как перебирать ссылки и искать на странице текст?

Question

[VEIIINs]

Мне нужно перебрать вкладки с сайта, так как поисковик не индексирует то, что мне надо, но..

Ссылка состоит из цифр, от 1 до.. 999999 где-то

В ручную обработка заняла бы много времени, особенно с учётом того, что не все из них рабочие

Короче, нужно это автоматизировать и сразу проверять на наличие указанного текста, например: "ясос биба"

P.S. primer.com/1 ... primer.com/999999

Answer 1

[MamaLuyba]

А в чем конкретно вопрос? Такое делается кучей разных способов, на разных языках.

Comments

[VEIIINs]

На любом языке, мне просто нужен результат

Я не могу понять, как искать на сайте текст с помощью скрипта и автоматически(САЙТ НЕ МОЙ)

Нужен примерно такой цикл:

1
sait.da/users/1 - ищем тут текст, например: "ПОЛЬЗОВАТЕЛЬ"
если находим - записываем куда-то и идём дальше
1++

.. и так до числа 999999

[MamaLuyba]

VEIIINs, на js как-то так:
matchedLinks - адреса, по которым были совпадения.
pagesQuantity = количество страниц.
textToLookup = искомый текст.
websiteLink = тело сайта, на котором ищешь.
Стоит отметить, что из-за кроссайтовой защиты, приходится идти в обход CORS, а это ограничивает количество запросов в единицу времени.

const matchedLinks = [];
const pagesQuantity = 10;
const textToLookup = 'ясос биба';
const websiteLink = 'sait.da/users/';

function parseLink(pageNumber) {
  const xhr = new XMLHttpRequest();
  xhr.open('GET', `https://cors-anywhere.herokuapp.com/${websiteLink}${pageNumber}`);
  
  xhr.send();

  xhr.onload = function () {
    if (xhr.status != 200) {
      console.log(`Ошибка ${xhr.status}: ${xhr.statusText}`);
    } else {
      if (xhr.response.indexOf(textToLookup) !== -1) {
        matchedLinks.push(`${websiteLink}${pageNumber}`);
      }
    }
  };
}

for (let i = 1; i < pagesQuantity; i++) {
  parseLink(i);
}

Answer 2

[Dimonchik]

скриптом

сайт твой или чей? если твой - легче сгенерить нужное зная что есть
если нет - чекай 200 или 404 и потом твое слово

Comments

[VEIIINs]

Сайт не мой, так бы через бд всё узнал

А вот и вопрос, КАК ЧЕКАТЬ (скриптом)

[Dimonchik]

обычными http запросами и regexp