Как парсить под страницы сайта?

Question

[MrRadio_Spy]

Великий народ форума! Приветствую Вас в этот день!
К примеру, возьмем сайт https://nb-bet.com/Results, снизу есть переключатель страниц, который подгружает данные в таблицу методом ASP FormData.

Парсим Href из таблицы:

spoiler

require_once('/phpQuery/phpQuery.php');

				echo "<br/>"."<h1>". "Парсинг с сайта HREF"."</h1>"."<br/>";
					
				$url = 'https://nb-bet.com/Results';
				$request = curl_init( $url );
				$options = array(
			        CURLOPT_HEADER => false,
					CURLOPT_NOBODY => false,
					CURLOPT_RETURNTRANSFER => true,
					CURLOPT_SSL_VERIFYPEER => true,
				        CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0',
				);
				curl_setopt_array( $request, $options );
				$result = curl_exec( $request );
				curl_close( $request );
			
				$pq=phpQuery::newDocumentHTML($result);
					$links = $pq->find('span > .a-dotted-hover');

						foreach ($links as $link) {

							$pqLink = pq($link); //pq делает объект phpQuery

							
							$href[] = $pqLink->attr('href');
						}
				phpQuery::unloadDocuments($pq);

Подскажите пожалуйста, как можно спарсить href'ы с 2-ой, 3-ей и т.д. страниц?

Comments

[Даниил Братухин]

А есть возможность использовать puppeteer? У меня подобная ситуация была, в итоге остановился именно на нём. На PHP вроде есть клиент.

Answer 1

[Исрапил Ахмедов]

Судя по всему, данные подгружаются JavaScript'ом, ищите URL который они для этого используют.

Comments

[MrRadio_Spy]

в этом и проблема) вот и обратился сюда, не могу найти способ найти этот URL. В NETWORK запрос идет только на первый URL (https://nb-bet.com/Results) и все, других запросов нет.

[Исрапил Ахмедов]

MrRadio_Spy, посмотрите внимательнее, запрос идет методом POST с параметрами. Вам как-то придется подсовывать валидный VIEWSTATE, нужно узнать как и где он генерируется, возможно получится и без него.