1. При заходе краулера на сайт, выкачает первую порцию контента.
2. Краулер передает порцию "анализаторам", они на основе метрик качества выставят краулинговый балл.
3. Инфа о балле приходит краулеру, и при следующей обходе ниши, на основе баллов сайтов формируется очередь краулера на обход.
Неуник, обрабатывается по остаточному принципу. Если нет ничего лучше, то будет как миленький загонять все в индекс. Но если неуника в нише много, то забьет.