Была та же проблема.
Пробовал так в VS Code под windows 10:
$ python backend/manage.py dumpdata > db.json
CommandError: Unable to serialize database: 'charmap' codec can't encode character '\u255a' in position 9: character maps to
$ python backend/manage.py dumpdata -o db.json
CommandError: Unable to serialize database: 'charmap' codec can't encode character '\u255a' in position 9: character maps to
Так же пробовал так:
$ python -Xutf8 backend/manage.py dumpdata > db.json
В этом варианте дамп собирался без ошибок, но возникала ошибка при загрузке дампа назад, конвертация не помогала - кракозябры вместо кириллицы.
Решилось с помощью:
python -Xutf8 backend/manage.py dumpdata -o db.json