XuliGan4eg2006

Итак, проблема была не в БД и Python,
a в языке системы (VPS/Ubuntu 18)
в которой русского языка не было установлено вообще.

Проверьте кодировку системы:

import sys
import locale

print(sys.getfilesystemencoding())
print(locale.getpreferredencoding())

У меня на VPS как раз стояла ISO 8859-1 ( Latin-1 )

Решение - добавить в систему RU локаль.

>>> songs_titles = ['Песня1.mp3', 'Песня2.mp3', 'Песня3.mp3']
>>> songs = [{'title': s, 'file': f'https://site.com/{s}'} for s in songs_titles]
>>> songs
[{'title': 'Песня1.mp3', 'file': 'https://site.com/Песня1.mp3'}, {'title': 'Песня2.mp3', 'file': 'https://site.com/Песня2.mp3'}, {'title': 'Песня3.mp3', 'file': 'https://site.com/Песня3.mp3'}]