Как найти страницы в интернет, которые не индексируется?

Question

[werax]

Добрый день!
Как можно найти страницу в интернете, которая не индексируется поисковиками?

Answer 1

[Александр Денисов]

Спарсить сайт краулером, например, Screaming Frog SEO Spider или Xenu.

Comments

[werax]

например: я хочу найти вот эту страницу: https://www.fl.ru/users/7677374/
Как можно найти, через заголовок "веб разработчика на битрикс"?
желательно через поисковик, через гуугл не получается.

[Александр Денисов]

Если её нет в индексе, то её бесполезно искать через поисковики)

[NewDevLab]

сделать свой поисковик, через который получится?

[Александр Денисов]

NewDevLab, да. Но для начала можно полностью спарсить сайт. При том для сайта объёма fl.ru бесплатные решения не подойдут.

[NewDevLab]

Александр Денисов, я вот ему werax писал.

Answer 2

[Dimonchik]

"вэб-разработчика на битрикс" site:fl.ru