даже если это псевдокод или какая-то собственная математическая нотация
Ни то, ни другое. Это стандартная математическая нотация. Единственно, вместо знака равенства, в сравнении по модулю принято писать ≡, а также использовать скобки: [a/b] ≡ a (mod b).