Прежде чем начать перехватывать вызовы системных функций попробуйте другие способы.
Можно использовать ram-диск. Если поддерживается URL, то можно организовать виртуальный или реальный веб-сервер. Если используется SQLServer 2012 или выше, то там есть возможность таблицей имитировать файловую систему.
Если же хочется всё-таки заниматься перехватом, то можно посоветовать, в частности, следующую литературу:
Классика —
Рихтер
Цикл статей про ассемблер, некоторые из них могут быть полезными для понимания процессов перехвата —
Wasm.ru
В частности, статья про перехват —
Система перехвата функций API платформы Win32