graph = new Graph();
while(parser.iterateLinks()) {
// Здесь from и to я предполагаю будут сами линки например
// https://en.wikipedia.org/wiki/Internet_Archive
// https://en.wikipedia.org/wiki/Brewster_Kahle
graph.addEdge(parser.from, parser.to);
// Вот. Внутри графа конечно желательно их хранить как-то сжато. И если
// Есть дополнительная информация типа Title то ее нужно положить в атрибуты графа.
// И здесь должна работать дедубликация Edges. Тоесть если такой Edge уже
// существовал то тогда мы его игнорируем
}
graph.exportToD3("output.json") // И тут мы граф сохраняем во внешнюю систему для красивого отображения
Это самый бытстрый и детерминированный способ.
Все другие способы дают вероятностный ответ. Ну скажи какая тебе польза если реквизит достают с вероятностью? Будешь вручную все проверять?