Народ, привет! Появилась задача написать на php || python серверный web-crawler который будет бродить по интернету, собирать ссылки, просто все ссылки, что найдет.
Вот стало интересно, как это реализуется, если мы будем тупо скачивать страницы и регулярками вытаскивать ссылки, будет так себе, откровенно говоря, так как сайт может грузить все ссылки через ajax (body страницы). Или есть сайты с бесконечными циклами, которые убивают подобно ПО (при переходе на сайт автоматически генерируется рабочая ссылка, которая ведет на сайт с такой же динамически сгенерированной ссылкой, и так до бесконечности). Может посоветуете готовое решение, или объясните, как лучше это все делать? пасиб))))
