ArturVal

Вообще именно это делает любой отладчик. Берете отладчик с открытыми исходными кодами, с помощью него находите эту самую функцию, а затем пишете для отладчика скрипт, который заставляет его вызывать эту функцию и запускаете программу под этим отладчиком. Это и будет ваша программа BBB.

Люто сложная задача. В Windows можно попробовать с помощью CreateRemoteThread создать поток в адресном пространстве целевого процесса, с помощью SetThreadContext напихать в регистры параметры функции, а потом выполнить переход на её адрес. Правда, адрес надо ещё как-то узнать. Ну, и подозреваю, что у любого антивирусника от этого случится истерика.

Книжки сразу обо всем, изначально малопригодны для изучения технологий, но могут дать общее впечатления.

Так что, спокойно можете ее прочитать, что-то полезное да будет в ней, и посмотрите на технологии в общем. Затем уже читайте специализированную литературу по каждой технологии отдельно, параллельно с актуальной официальной документацией