Stalker_RED

Можете сделать триггер на появление новых записей, и сама СУБД будет дёргать ваш сервер. Останется придумать как передать эти новые данные клиентам (longpoll или вебсокет, например).

Попробуйте сконвертировать структуру, поправьте руками.

Данные выгрузить в csv, залить в постгрес.

UPDATE my_table
LEFT OUTER JOIN my_table as child
   ON child.my_path LIKE (my_table.my_path || '%')
SET all_child_qty = sum(child.qty)

CREATE EXTENSION intarray;

1. sort( ARRAY[4,3,2,1] ); -- поместит значения в массив, отсортировать его
2. сравнить первый и последний элемент, если они равны, то и остальные все равны

Пример:

select arr[1] = arr[array_upper(arr, 1)] as isEqual
  from sort(ARRAY[1,87,5,456,34,1]) as arr;  -- false

select arr[1] = arr[array_upper(arr, 1)] as isEqual
  from sort(ARRAY[1,1,1]) as arr;  -- true

select arr[1] = arr[array_upper(arr, 1)] as isEqual
  from sort(ARRAY[0,0,0,0]) as arr;  -- true

https://rextester.com/WKFL32015

Установи субд.
Создай базу.
Создай пользователя (под рутом не всегда безопасно даже на локалке).
Залей дамп, который в формате sql в базу.

Подключи свое приложение.
www.codeproject.com/KB/database/afppostgresqlintro.aspx

СУБД PostgreSQL уже это все умеет.

будет проще (новичку)

не будет проще. Для начала неплохо бы научиться пользоваться тем, что уже есть в вашей СУБД. Инструкцию почитать, или учебник какой-нибудь.

Вероятно потому, что id это уникальное поле, и при группировке получается именно один.
Но это не точно (вы же не показали, что у вас за табличка).

Есть варианты.
1. База работает шустро, но по какой-то причине данные по сети передаются с задержкой. Тогда несколько запросов могут выполнится почти одновременно.
2. Запрос действительно тяжелый, тогда 5 параллельных запросов выстроятся в очередь, и в сумме выйдет примерно 20 секунд. Или даже больше, если они конкурируют.
3. Если в запросах много общего, движок БД возьмет часть данных из кэша, и в сумме получится быстрее.

Можно и дальше придумывать всяческие невероятные сценарии, но зачем? Делайте explain, выясняйте откуда у вас такие нагрузки. В любом случае нужно тестировать на реальных данных и в реальном окружении.

И есть ли какие то другие варианты решения задачи?

Перенести всё на wikia.com

Примеры:
fallout.wikia.com/wiki/Fallout_Wiki
ru.left4dead.wikia.com/wiki/Left_4_Dead_2
ru.rimworld.wikia.com/wiki

Можно.

IF ... THEN
char_length, substring

Если длина больше 50, взять первые 47 и прибавить "...".

Про майкрософт не скажу, но в PostgreSQL рекомендуется всегда использовать DATETIME With TimeZone, кроме каких-то особо хардкорных случаев. И нет, у вас не хардкорный случай, инфа 146%. Будь у вас хардкор, вы бы не задавали вопросы на тостере.
На самом деле в таблице хранится UTC время, и конвертация происходит перед записью или при отдаче клиенту.

На счет книги не подскажу, а из визуальных редакторов пробовал fabFORCE DBDesigner и MicroOLAP Database Designer
MicroOLAP понравился больше, но четвертую версию fabFORCE я не щупал.