Как отобрать наиболее часто встречаемые строки в файле?

Question

[Svoboo]

Есть файл порядка 10кк строк, требуется выбрать топ-50 строк, которые встречаются наиболее часто. На чем такое проще реализовать и как?

Comments

[Сергей]

Файл в каком виде? Формат?

[Svoboo]

txt

[Сергей]

1. Копируете в exel
2. Стили- Условное форматирование- Правила выделения ячеек - Повторяющиеся значения (выделяете цветом)
3. Копируете все во второй столбец и удаляете дубликаты

[Svoboo]

Сергей: Браво! 10 миллионов строк?:)

[Сергей]

Svoboo: сорян,не обратил внимание на "кк"

[Николай Глушков]

Попробуйте r или python

[Svoboo]

Николай Глушков: можно еще попробовать php или c++

Answer 1

[xSkyFoXx]

• Открываете любой скриптовый язык, который знаете.
  
• Делаете элементарный препроцессинг: всё приводите к нижнему регистру, убираете знаки препинания и т.п.
  
• Разбиваете всё на пары ключ: значение ("слово": 1, "другое": 1).
  
• Группируете по ключу. Функция группировки значений - сумма.