Было не просто, но я справился. На компе в проекте:
settings.py

import django_heroku
Debug =  bool( os.environ.get('DJANGO_DEBUG', False) )
ALLOWED_HOSTS = ['*']
MIDDLEWARE = [
    'whitenoise.middleware.WhiteNoiseMiddleware', #Добавляем до 'django.middleware.security.SecurityMiddleware',
]

EMAIL_USE_TLS = True
EMAIL_HOST = 'smtp.gmail.com'
EMAIL_HOST_USER = 'email@gmail.com' #С которого будет приходить сообщение
EMAIL_HOST_PASSWORD = 'password'
EMAIL_PORT = 587

ADMINS = [
    (''Name, 'youremail@gmail.com'),
]
WHITENOISE_USE_FINDERS = True
STATIC_ROOT = None
django_heroku.settings(locals()) #В конце

Проблема была в static файлах. Но при включённом сервере с DEBUG = False ты об этом никак не догодаешься, пока не настроишь почту, ибо при DEBUG = False он отправит тебе инфу об ошибках на почту указанную в ADMINS. Для решения проблемы со статикой я воспользовался whitenoise(Инфу можно накопать в гугле). Так как я решил не париться со статикой дальше, то поставил STATIC_ROOT = none, и теперь whitenoise искал статику как встроенное приложение 'django.contrib.staticfiles',(его я его кстати рубанул тоже, ибо и без него статика ищется). Проблема осталась в том, что он находил папку static в приложениях проекта, но не искал во вложенной в неё, так что я просто перенёс всю статику в одно место, а именно в static(без вложенных папок)
Возможно я где-то не очень точен, но как минимум логи вы увидите при DEBUG = False, а дальше решите всё по накатанной.