Борис Животное: ссылку вам уже дали, благо и гуглится это по ошибке без проблем. (-Xmx1024m в %APPDATA%\syntevo\SmartGit\smartgit.vmoptions)
Нетривиальная часть в том, что если написать > 1200m, то программа не запустится без каких-то сообщений об ошибке. В этом случае стоит запускать smartgit64.exe