Как сделать аналог сервиса обратных ссылок на сайт пример ahrefs ?

Question

[Pavel Brunki]

Как сделать аналог сервиса ahrefs
1. поисковый робот уже написан.
1.1. как сделать чтоб его не банили

что его понадобиться.

Спасибо

Answer 1

[Виталий Яковенко]

Маскироваться под googlebot/yandex crawler. Врядли есть глупцы, которые забанили поисковых ботов у себя.