Как получить все ссылки с сайта?

Question

[fr1zzer]

Есть сайт, мне нужно спарсить (сграббить) все ссылки. Но на странице показаны всего 10 первых, а остальные по ещё 10 штук подгружаются по клику на кнопку. Там чуть больше чем 600 000 ссылок.. =)
Вопрос: если какие скрипты\программы чтобы получить все ссылки?

Answer 1

[Anuar Mendubaev]

Simple Html Dom

Пример его использования для парсинга всех ссылок с сайта google.com
$html = file_get_html('www.google.com');
echo $html->find('a');
Если нужна только ссылка(href), то можно указать атрибут
echo $html->find('a')->href;

Answer 2

[entermix]

Как парсить динамические web — сайты с помощью Python 3?
Как осуществить парсинг ajax web страницы?
Как правильнее парсить результаты ajax запроса?
Как получить доступ к Ajax контенту во время парсинга?
Как парсить динамический контент, где разные данные запроса (AJAX POST)?

Answer 3

[Alexander Pushkarev]

Смотрите запрос который отправляется ajax. И потом уже сами на него делайте его.