jcmvbkbc

На ассемблере в программе есть раздел .text, .bss, .data

Обычно эти разделы называют секциями а не сегментами. Потому что в ELF-файлах сегменты тоже есть, но у них нет имён.

при компиляции в машинный код там тоже так на сегменты разбит

Разбит, да. А при линковке некоторые секции можно объединить. Обычно неизменные секции (например .text, .rodata, .tls) объединяют в одну кучу, а все изменяемые (например .bss, .data) объединяют в другую кучу. На "больших" ОС (типа linux) эти кучи эти выравнивают по границе страницы и делают неизменные секции доступными только для чтения. Это помогает сэкономить память и использовать одни и те же страницы для представления неизменных данных в разных процессах.

для выполнения процессором

Процессору по большому счёту всё равно как расположено в памяти то, что он выполняет.

mul al,5

Нет такого опкода. mul вообще на непосредственное значение умножать не может. imul который может, умножает как минимум 16-битное значение в ax.
Вместо mul умножить на 5 можно через lea (начиная с i386) либо через сдвиг на 2 и сложение.

idiv cx,4

idiv так не умеет. Куда проще было бы сделать sar cx, 2

mov al,x
cmp al,a
jg sled1
mov bl,a
...

как сделать разветвление от условия, если это условие не удовлетворяет.

Если условие не удовлетворено, инструкция jg sled1 не совершает перехода и ты просто выполняешь следующую за ней инструкцию -- mov bl, a. Ветвления и переходы в твоём коде выглядят правильно.

strace мне ничего полезного не дал(вероятно там и есть ошибка, но я не могу додуматься и увидеть, что нужно)

Начни со сравнения логов strace -f -v -e execve,exit,exit_group когда запускаешь от рута и от обычного пользователя.

Почему выводит только первую строку а остальные что-то непонятное?

int print_arr(int str, int stlb, int matr[][stlb]){
...
}

int mass[10][10];
...
print_arr(N, L, &mass[k][i]);

Здесь две ошибки:
- во-первых ты пообещал, что передашь в print_arr массив, последняя размерность которого равна второму параметру функции, а передаёшь массив, вторая размерность которого равна 10 и никак от второго параметра не зависит
- во-вторых вместо массива ты передаёшь адрес элемента, который ты даже не заполнил.

Если уж ты решил использовать VLA, то делай это последовательно, например так:

int  main()
{
    int L = 0, N = 0, k, i;
    scanf("%d", &N);
    L=N;
    int mass[N][L];
    for(k = 0; k < N; k++){
        printf("[%d]\n", k);
        for(i = 0; i < L; i++){
    	    scanf("%d", &mass[k][i]);
        }
    }
    printf("matrix NxN\n");
    print_arr(N, L, mass);
    return 0;
}

Указатель стека (RSP: 0x00007FFFFFFFEA78) указывает примерно в то же место, где находится код программы (0x7fffffffea75: push rbx). Код обычно защищён от записи, соответственно записать в стек может быть нельзя по этой причине. Кроме того, если записать в стек таки можно, push rbx как раз перепишет саму себя и следующую инструкцию. Без отладчика это может работать за счёт конвейера, но под отладчиком это работать не будет.

только проблема в том, что в gcc формат ассемблерных вставок другой

Разберись, потом будешь использовать его с удовольствием:

int main() {
  int a = 1;
  int b = 3;
  int c;

  asm (
    "mov %[a], %[c]\n\t"
    "add %[b], %[c]\n\t"
    : [c] "=mr" (c)
    : [a] "mr" (a), [b] "mr" (b));

  printf("a + b = %x + %x = %x\n", a, b, c);
}

process[i] = OpenProcess(PROCESS_ALL_ACCESS, false, proc.th32ProcessID);

Обычный пользователь сможет открыть только свои процессы с доступом PROCESS_ALL_ACCESS. Для всех остальных процессов этот вызов завершится с ошибкой.
Чтобы вызвать GetProcessMemoryInfo PROCESS_ALL_ACCESS не нужен.

опытные администраторы "не любят", когда кто-то использует nano

Опытные администраторы могут не любить когда на машине нет vi. А уж чем другие пользуются им должно быть фиолетово.

Что это - понты, или за этим стоит что-то большее ?

Если за этим что-то стоит, то обычно это привычка.