Как подчинить сортировку с буквой Ё и с itemgetter?

Question

[pcdesign]

from operator import itemgetter 

a = [{'src': 'Яблоко', 'dst': 2343}, {'src': 'Ананас', 'dst': 323}, {'src': 'Ёжик', 'dst':3223}]
a.sort(key=itemgetter('src'))

Результат:

Ёжик
Ананас
Яблоко

Версия: Python 3.4.6

Answer 1

[Andrey Dugin]

Формальный говнокод для решения проблемы буквы Ё (концепт):

key = lambda c: ord('Е') + 0.5 if c == 'Ё' else ord(c)

Правильный путь:

import locale
from functools import cmp_to_key
from collections import OrderedDict

locale.setlocale(locale.LC_ALL, 'Russian_Russia.1251')

a = [{'src': 'Яблоко', 'dst': 2343}, {'src': 'Ананас', 'dst': 323}, {'src': 'Ёжик', 'dst': 3223}]

# Чтобы не вызывать связку cmp_to_key(locale.strcoll) в sorted() многократно
def keyfunc(item, func=cmp_to_key(locale.strcoll)):
    return func(item[0])

d = OrderedDict(sorted(((e['src'], e['dst']) for e in a), key=keyfunc))

Если всё же требуется именно список словарей:

# Чтобы не вызывать связку cmp_to_key(locale.strcoll) в sorted() многократно
def keyfunc(item, func=cmp_to_key(locale.strcoll)):
    return func(item['src'])

sorted(a, key=keyfunc)

Но самое адекватное решение будет таким (для работы: pip install sortedcontainers):

from sortedcontainers import SortedDict
d = SortedDict(cmp_to_key(locale.strcoll), {e['src']:e['dst'] for e in a})

Примечания:
1. Если можете использовать последнюю версию Python, то начиная с версии 3.6 порядок элементов в словаре не меняется, то есть его можно создать сразу сортированным и работать без опасений.
2. Модуль sortedcontainers по быстродействию и удобству оставляет позади все существующие альтернативные библиотеки, включая стандартную collections. Очень рекомендую.

Comments

[pcdesign]

Спасибо большое.
- Список словарей приходит из манги, и уходит в темплейт, лишний раз что-то менять в структуре как-то не хочется.

- Сайт мультиязычный, сделал локаль
locale.setlocale(locale.LC_ALL, 'en_US.UTF-8')
Вроде все работает.

- С itemgetter выполнялось за 1 сек, а в вашем решении со списком словарей за 1.2 секунды, самая тяжелая страница, какую я только смог сгенерить. Так что практически без потерь.

- Может и с другими языками решатся похожие проблемы. Говорят, что они там так же бывают.
Надо будет проверить с немецким.

[Andrey Dugin]

pcdesign,
- C itemgetter оно не работало и не может работать в принципе, так что тайминг не имеет значения.
- Сделайте замену func = cmp_to_key(locale.strcoll), чтобы не вызывать две вложенные функции каждый раз.
- Используйте модуль sortedcontainers, он очень крутой и быстрый.
- Всё же имеет смысл преобразовать структуру данных в словарь и работать с ним.

[pcdesign]

Сделайте замену func = cmp_to_key(locale.strcoll), чтобы не вызывать две вложенные функции каждый раз

Сделал. За 1 сек. отработало.

На счет словаря. Я, конечно, за перфекционизм.
Но, не очень подсекаю как сделать словарь, ведь там еще куча данных идет.
Это я упростил, чтобы просто вопрос задать.
А реально, там типа такого:
{'src': 'Яблоко', 'dst': 2343, 'id': 324234, 'trans': 'gy'}

[Andrey Dugin]

Сделал. За 1 сек. отработало.

Я отредактировал ответ, добавив keyfunc() для наглядности.

Но, не очень подсекаю как сделать словарь, ведь там еще куча данных идет.

Тогда, наверно, так в списке и останется. Зависит от того, что с этими данными делается дальше.

[pcdesign]

Андрей Дугин, спасибо за функцию.

А так дальше все это передается в html шаблон и показывается посетителю сайта.
Все данные там нужны и используются при показе страницы.

[pcdesign]

'Яблоко' : {'dst': 2343, 'id': 324234, 'trans': 'gy'}

Есть вариант так сделать и использовать при этом SortedDict или OrderedDict?

[pcdesign]

Кажись уже сам догадался. Под вечер голова не соображает.
А что лучше на ваш взгляд: SortedDict или OrderedDict?

[Andrey Dugin]

pcdesign,
itertools.groupby()
или

{e.pop('src'): e for e in a}  # деструктивная операция для исходного списка

[Andrey Dugin]

pcdesign, зависит от задачи. Элементы в словаре не обязательно должны быть отсортированы, но может быть необходимость сохранения их порядка. Тогда SortedDict не подойдёт, а OrderedDict - самое то.

[pcdesign]

Андрей Дугин, благодарю вас за это красивое решение.

С SortedDict добился выполнение за 1 сек.
Меня больше всего волнует производительность, чтобы у посетителей сайта быстро все открывалось.

[Andrey Dugin]

pcdesign, если со списками, то второй вариант в 1.5 раза быстрее первого:

%timeit sorted(a, key=keyfunc)
%timeit a.sort(key=keyfunc)

[pcdesign]

Андрей Дугин, не, я избавился от списков.
Сгенерил словарь вида
'Яблоко' : {'dst': 2343, 'id': 324234, 'trans': 'gy'}
И дальше скормил его SortedDict.

Answer 2

[aRegius]

Попробуйте просто по индексу в общем алфавитном списке:

>>> words = [{'src': 'Ананас', 'dst': 323}, {'src': 'Ёжик', 'dst': 3223}, {'src': 'Яблоко', 'dst': 2343}, {'src': 'Hi', 'dst': 78768}]
>>> eng_rus_upper = 'ABCDEFGHIJKLMNOPQRSTUVWXYZАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ'

>>> res = sorted(words, key=lambda x: eng_rus_upper.index(x['src'][0]))
>>> res
[{'src': 'Hi', 'dst': 78768}, {'src': 'Ананас', 'dst': 323}, {'src': 'Ёжик', 'dst': 3223}, {'src': 'Яблоко', 'dst': 2343}]
>>>

Comments

[longclaps]

Ожидаю, что автор попросит добавить иероглифы, запасся попкорном.

[pcdesign]

Языков много. Невозможно для каждого языка прописать алфавиты.
Да и что будет с производительностью, тоже вопрос, при таких раскладах.

[longclaps]

pcdesign, ты реально смешной чувак. Если алфавитов много - кого колышит сортировка? Кто этот полиглот, яви его нам )

[pcdesign]

longclaps, сайт мультиязычный. Получается для русских надо вот такие заводить отдельные костыли.
Других вариантов нет?

[longclaps]

pcdesign, ты реально смешной. Ты даже не потрудился выяснить, есть ли подобные проблемы на других языках (есть).

[aRegius]

pcdesign,

Других вариантов нет?

можете написать примитивную функцию проверки по ord, возвращая значение на букве Ё равное промежуточному между Е и Ж, и сортировать по ней:

def x(i, e_num=1045.5):
	  return e_num if i == 'Ё' else ord(i)
res = sorted(a, key=lambda y: x(y['src'][0]))