Сергей Горностаев

MASM и FASM - это компиляторы, а не языки. Различия в коде для MASM и FASM только на уровне директив и макросов. У языка Ассемблера есть два основных диалекта - синтаксис Intel и синтаксис AT&T, а также различный набор инструкций для различных архитектур процессоров. Я рекомендую начать с эмулятора 8086 в реальном режиме и только освоив в должной мере основы, выбирать компилятор.

Понадобятся как минимум учебник по ассемблеру, учебник по архитектуре компьютеров и учебник по устройству интересующей операционной системы. И конечно же, сначала придётся научиться писать программы, а уж потом их реверсить.

Что используется для создания этих сторонних программ? Какой язык?

Чаще всего C.

Как они работают?

Например так:

victim.c

#include <stdio.h>
#include <windows.h>

int main() {
    char cmd[2048];
    int var = 5;

    printf("%p %d\n", &var, var);

    sprintf(cmd, "memchange.exe %lu %x", GetCurrentProcessId(), &var);
    system(cmd);

    printf("%p %d\n", &a, a);

    return 0;
}

memchange.c

#include <stdio.h>
#include <windows.h>

int main(int argc, char **argv) {
    DWORD pId;
    LPVOID pAddr;
    HANDLE pHandle;
    SIZE_T bytesWritten;
    int newValue = 42;

    sscanf(argv[1], "%lu", &pId);
    sscanf(argv[2], "%x", &pAddr);

    pHandle = OpenProcess(PROCESS_ALL_ACCESS, FALSE, pId);
    WriteProcessMemory(pHandle, pAddr, &newValue, sizeof(newValue), &bytesWritten);
    CloseHandle(pHandle);

    fprintf(stderr, "Written %u bytes to process %u.\n", bytesWritten, pId);

    return 0;
}