xmoonlight

Документацию к виджетам (группы) в VK читайте.

PHP: curl+regex.

1. Генераторы (публикация)
2. https://amphp.org/amp/ (публикация)
(3. multi_curl)
+Бонус

1. https://www.powergrep.com/manual.html#xmpcsv
2. https://github.com/retnek/emlextractor (PHP)

Находите последний в списке элемент (ноду): element и скролите к нему или чуть ниже (прибавив дополнительно к 'top' константу).

function scrollIt(element) {
  window.scrollTo({
    'behavior': 'smooth',
    'left': 0,
    'top': element.offsetTop
  });
}

(в любом случае - обработка на JS)

Обычно, сайты проверяют заголовки (валидные строки, куки и т.д.) и работают, используя JS.
Проверьте, что сайт, который Вы парсите - не использует JS.
Тогда, правильно формируйте заголовки.

Если это не так, то нужно использовать JS для парсинга со стороны клиента для корректой работы страницы, а обрабатывать полученный контент - уже где хотите.
Например, head-less браузер PhantomJS или nightmarejs

Composer для контроля валидного ключа и его перезапроса: т.е. он управляет всеми параллельными/асинхронными потоками, использующие ключ авторизации.
Если композер разрешил - то поток(и) исполнеяется, иначе - ждёт команды.

Слова в предложении ("разделитель"):

^наз?в*, ^означ*, ^явля?т*, ^это$, ^определя?т*, ^представля?т*, ^выража?т*

И/или знак "тире".
Меньшая часть предложения - это термин (или в начале, или в конце предложения).

Есть компоненты ("движки" браузера) FireFox и Хромиум под Delphi.
Т.е. можно всё делать в памяти так, как это делает браузер.

1. То, что постоянно - то есть ID.
2. По структуре ID - делаем НС.
3. По НС - получаем поля.
4. GOTO 3

КЛАДР

nightmare (headless browser library)

1. https://www.whoxy.com/newly-registered-domains/
2. https://whoisds.com/newly-registered-domains
3. domains.ihead.ru/domains/new.html
4. domaindata.biz (full domain data samples)

(давно не было подобных вопросов... простите заранее, но сейчас будет жёстко...)

Научитесь вначале адекватно задавать вопрос.
1. Что на вход - ИНФОРМАЦИОННЫЕ ДАННЫЕ
2. Что должно быть на выходе - ИНФОРМАЦИОННЫЕ ДАННЫЕ
3. И Ваш код/попытки реализации - ИСХОДНЫЙ КОД

По подаче:
1. По линкам - путешествуйте сами.
2.

Это предпоследняя игра Ромы и Ливерпуля

Чёрт, конечно! Без этой инфы - я бы вообще не понял: о чём речь!

Проблема в том что есть страницы, на которые нет ссылок и стандартными утилитами я не могу их собрать.

Тогда как же Вы знаете, что страницы есть, если у них нет ссылок?!