В самом json всё в порядке, проблема только при отображении его в "голом виде" в браузере.
Детально расписано
здесь.
Если вас это почему-то заботит, (например, дебажите api в браузере), то заставить браузеры отображать utf-8 можно соответсвующим response header. Его проще сделать расширив стандартный json renderer.
# app.renderers.py
from rest_framework.renderers import JSONRenderer
class UTF8CharsetJSONRenderer(JSONRenderer):
charset = 'utf-8'
# settings.py
REST_FRAMEWORK = {
# ...
'DEFAULT_RENDERER_CLASSES': (
'app.renderers.UTF8CharsetJSONRenderer',
),
# ...
}