Размер изображения - width * height * байт на пиксель. Для грэйскейла это один байт на пиксел. Для BGR - 3 байта на пиксел (+ выравнивание? тут не вкурсе). Для rgba - 4 байта на пиксель.
Ограничение - объем оперативной памяти или сколько памяти можно адресовать одному процессу. Уменьшить потребление памяти можно обрабатывая изображение по частям.
Но по идее если говорить о размерах изображения то лимиты у нас предел для uint для ширины и высоты.
