1.
docs.oracle.com/javase/7/docs/api/java/math/BigInt...
2. Что-то входные данные не сходятся с ограничениями указанными в условиях, вы точно задачу правильно привели?
3. Все вычисления стоит производить сразу по модулю m, так как числа Фибоначчи растут очень быстро, а скорость работы с длинной арифметикой, соответственно, падает.
4. Даже если вы поборитесь с длинными числами, ваше решение при таких больших значениях n просто не уложится во временной лимит, я полагаю, что предполагается решение использующее произведение матриц и быстрое возведение в степень.