Для python-проектов есть сервис pythonanywhere, можешь там свой код выложить.
Еще есть такая штука для автодеплоя, как heroku. Она бесплатная, легко коннектится с github'ом, например.
Также можешь поставить себе консольную тулзу ngrok. Запускаешь свой проект на определенном порте локально, запускаешь ngrok и все, готово.
Если не хочешь париться, юзай ngrok. Разобраться - 5 минут делов. Любые проекты запускаешь локально, пробрасываешь порт и вуаля, готово. Единственный минус в маленькой пропускной способности узла, через который будет идти весь трафик.

Я нашел ответ на свой вопрос!

В общем, все дело в том, что когда мы прописываем строчку

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'company.settings')

в celery.py, процесс celery-воркера получает модуль logging (который является singleton'ом) со всеми настройками django и LOGGING из settings.py. Поэтому процесс django и celery-воркера имеют общие настройки logging (celery только еще своего добавляет). Из-за этого они захватывают файлы логов друга друга. Так вот собственно решение. Все дело в том, что windows запрещает переименовывать файлы (при ротации логов), если файл занят другим процессом, а линукс - нет :) Так что все настройки логирования celery можно спокойно прописывать в settings.py, но если запускать это дело под linux'ом.

Чем это может быть опасно

В моем случае у меня для каждого процесса свои файлы логов, что логично и правильно. Однако один процесс может удалить/переименовать файл, который использует в это время другой процесс. Другой процесс об этом не узнает и могут быть большие проблемы. Но если процессы работают только со своими файлами, не трогая другие, то проблем не будет.