Была та же проблема.
Пробовал так в VS Code под windows 10:

$ python backend/manage.py dumpdata > db.json
CommandError: Unable to serialize database: 'charmap' codec can't encode character '\u255a' in position 9: character maps to
$ python backend/manage.py dumpdata -o db.json
CommandError: Unable to serialize database: 'charmap' codec can't encode character '\u255a' in position 9: character maps to

Так же пробовал так:

$ python -Xutf8 backend/manage.py dumpdata > db.json

В этом варианте дамп собирался без ошибок, но возникала ошибка при загрузке дампа назад, конвертация не помогала - кракозябры вместо кириллицы.

Решилось с помощью:

python -Xutf8 backend/manage.py dumpdata -o db.json