Настройки (API ключ, данные от аккаунта и т.п.) - отдельный файл.
Со всем остальным лично я не заморачиваюсь - базовые вещи (кол-во потоков и т.п.) выношу наверх. Второстепенные и другую "мишуру" оставляю рядом с функциями, где они используются.
1) Изучите PEP8;
2) Изучите Zen of Python;
3) Используйте средства IDE для автоматизации приведения кода к PEP8.
Что касается глобальных констант, которые Вы почему-то называете переменными, то они объявляются непосредственно после раздела импорта модулей. Если они относятся к конфигурации - возможно, стоит подумать о создании отдельного конфиг-файла.