Как построить «нейронные связи» на основании полученных данных в json?

Question

[Игорь Васильев]

Здравствуйте.

Предыстория: Есть сайты, есть карты сайтов, и они в основном линейные. Но есть более сложные структуры, такие например как Википедия, с огромным количеством перекрёстных ссылок и связей. Если сделать подобие, клон как у википедии и сгенерировать карту сайта .xml - всё равно получатся линейные спагетти данных. Я уверен, что не один я додумался до того, чтобы структурировать информацию, привести её в более понятный читаемый вид, чтобы увидеть общую картину целиком. Так вот. Есть список данных с некоторыми совпадениями, которым можно преобразовать в json, и есть библиотека, которая может вывести этот json в двумерный сложный граф с разными связанными данными.

Вопрос: Как такие данные можно преобразовать в подобие трёхмерной модели "нейронных связей", чтобы видеть связь между данными, которые друг на друга ссылаются ? Видел подобное в библиотеке Tree.js но почему-то больше не могу найти. Там можно было кликнуть на определённый граф и увидеть всю веточку связей. Кто подобное находил ? Как это можно реализовать ?

Comments

[Алан Гибизов]

Думаю, надо копать в сторону графов и их поддержки в нужном вам направлении.

[Игорь Васильев]

Алан Гибизов, я в этом направлении и двигаюсь, использовал D3.js но он в основном формирует плоские 2D графы, я хочу создавать 3D модель на основе связей. Ниже уже есть ответ, осталось применить, если подойдёт - отмечу решением.

Answer 1

[nolotion]

https://neo4j.com/developer/tools-graph-visualization/

Comments

[Игорь Васильев]

Визуализация подходит, то что нужно. Осталось теперь понять, как объединить материал по смыслу. Первая мысль была, что "симулировать" ассоциации можно будет по названию ссылок, так как ссылка это переход на целую страницу. Возможно написать как парсер сайта, чтобы он переходил по каждой ссылке, находил на странице все ссылки, потом по очереди переходил по собранным ссылкам, проблема в том, что у любой страницы может быть одинаковая ссылка на одну другую страницу, каким же должен быть цикл, чтобы не создалась бесконечная рекурсия.
Кто-то посчитал что это простой вопрос, серьёзно ? 0_о

Answer 2

[mayton2019]

Мне кажется что термин НЕЙРОННЫЕ здесь - buzzword. Не путайте читателей это к теме не имеет отношения.

А имеет отношение скорее semantic web. Но это кажется мертвая технология. Ее поднимали в 2000х и
вкладывали большие надежды. Тогда сообщество хотело чтоб веб был свободный и статичный как либа Мошкова.

А современный веб вообще не заинтересован выдавать на выход семантические сети. Он выдает
только дизайн и то очень динамический и защищенный многофакторками и защитой от роботов.

Покажи вообще пример такой карты сайта. Я думаю что тут - две независимые задачи.

1) Автогенерация карты сайта. Это интересное в топике но нужен пример. Покрывающий пример
чтоб было понятно например будут ли там циклы.
2) Визуализация. По этому - есть миллион решений. Я вот навскидку знаю только graphviz. Он немного
устарел и глючит на больших объемах nodes и ему трудно подобрать подходящий layout и набор
параметров чтоб не падал и выглядел красиво.

Comments

[Игорь Васильев]

Вы же не знаете для каких целей мне нужно это. Так что нет никаких заблуждений.
Визуализация нужна для тестов, чтобы понимать, что нейронные связи выстроились верно, и nolotion правильно меня понял. Осталось теперь понять, как соединить совпадения из sitemap.xml

Вы же знаете, что xml можно конвертировать в json, но это будет список.
А мне нужно создать связи - https://observablehq.com/@d3/tree/2?intent=fork
Я уже пробовал эту библиотеку, она создаёт 2D связи, но на сайте перекрёсные ссылки, они могут ссылаться и пересекаться где угодно и как угодно. В итоге получится что-то типа

То есть алгоритм такой, сайт сканируется на наличие всех страниц, формируется карта сайта, может быть сразу в json формате, так как мне не особо нужен sitemap.xml, да он и не сможет соединить совпадения, так что надо как-то склеить совпадения как это умеет D3.js
Когда совпадения будут собраны и нейронные связи сформируются, можно будет это визуализировать в 3D структуру, как это может neo4j. Если знать, как правильно должен выглядеть конечный результат, можно проводить тесты. Устаревшие технологии меня не интересуют, только алгоритм по выстраиванию связей на основе списка данных.

[mayton2019]

В твоем вопросе нет вопроса. С чем у тебя трудности? Опиши свою задачу как это описывают в олипиадах.

К примеру

Input: 
sitemap.xml

Output:
DT3.js document

И пример дай.

[Игорь Васильев]

mayton2019, не совсем понял, что вы имели ввиду под Output:
Смарт часы ? Температурные контроллеры ?
Простите, я не понял.

Поясняю ещё раз. Есть условная "википедия", у неё много ссылок и страниц, на некоторых страницах есть такие же ссылки как и на других страницах. Простого парсера ссылок не достаточно, так как это может привести к бесконечной рекурсии. Скрипт при сборе связей будет бесконечно переходить по ссылкам создавая новые связи, но они могут уже быть, как условный скрипт или парсер "поймёт", что он собрал достаточно ссылок и сформировал все связи ?

Понятное дело, что можно сформировать список ссылок первого уровня, остановить скрипт, а потом пройтись по созданному списку, и достать всё ссылки из страниц первого уровня.
Но это алгоритм идеального мира, в реальности, по мимо страниц первого уровня могут быть страницы второго уровня, и третьего и даже четвёртого, и все эти страницы могут ссылаться друг на друга. Вы видели картинку пример, так что можете понимать, на сколько эти связи могут быть сложными. Если считаете что такое реализовать НЕ сложно, опишите алгоритм, который без рекурсии соберёт все уровни страниц, и создаст связи между ними. Я на основании описанного вами алгоритма напишу скрипт и покажу результат его работы.

[mayton2019]

Игорь Васильев, я не знаю на чем ты программируешь. Но я-бы начал с алгоритмов и структур данных.
У тебя - граф ссылок. И тебе нужна структура данных такая как граф. И твой алгоритм - это твой парсер вики.
Условие останова - это некое насыщение графа которое ты сам определишь. Это будет эвристика.
Может по глубине связей от корневой странице. Может по количеству дубликатов вставок
за период. Например полседние 100 попыток вставить edge привели к повторам. Тогда
условно считаем что граф насыстился и больше вставлять нечего.

Это не алгоритм а скорее размышление как делать.

graph = new Graph();

while(parser.iterateLinks()) {
   // Здесь from и to я предполагаю будут сами линки например
   //    https://en.wikipedia.org/wiki/Internet_Archive
   //     https://en.wikipedia.org/wiki/Brewster_Kahle
   graph.addEdge(parser.from, parser.to);
   // Вот. Внутри графа конечно желательно их хранить как-то сжато. И если
   // Есть дополнительная информация типа Title то ее нужно положить в атрибуты графа.
   // И здесь должна работать дедубликация Edges. Тоесть если такой Edge уже
   // существовал то тогда мы его игнорируем
}

graph.exportToD3("output.json") // И тут мы граф сохраняем во внешнюю систему для красивого отображения

И чтобы отсечь всякие ненужные линки нужно ограничить набор доменов. Пускай граф например
коллектит только один сайт например en.wikipedia.org