samael228

То, что вы хотите, делается через создание драйвера виртуального диска, а уже в драйвере можете реализовывать различные шифрования. Тогда это будет прозрачно для программ - они просто запрашивают файл, а драйвер обеспечивает к нему доступ.
Изучать нужно API операционки и примеры существующих решений

Изменённый файл раздаваться не будет. Данные, которые ты раздаёшь через торрент, разбиваются на сегменты и для каждого сегмента считается хэш-сумма.
Если хэш-сумма какого-то сегмента не совпадает с хэш-суммой, которая указана в раздаче, то считается, что у тебя нет нужного сегмента и ты просто не сможешь его раздать.
Если ты модифицируешь свой торрент-клиент и всё-таки отдашь некорректные данные, то получатель это увидит, тк при получении он обязательно вычисляет хэш-сумму от полученных данных.

Делают ли это чтобы передовать таким оброзом вирусы?

Зачем так заморачиваться, если можно сразу раздавать вирусы?)