Как эффективно составить гистограмму слов (big data)?

Wataru, спасибо!

Как эффективно составить гистограмму слов (big data)?

Wataru, так, а следующий шаг есть? (далее - утрированно!) Скажем, инструкции CPU, позволяющие "захватывать" несколько байтов (пусть кодировка односимвольная).

Как эффективно составить гистограмму слов (big data)?

Wataru, А с теоретической точки зрения, есть же ещё пространство для оптимизаций "как быстрее определить слово (т.е. ключ)" и т.п.? Т.е. оптимизации за счёт инструкций CPU (при задаче - исходные данные уже лежат в RAM).

Как эффективно составить гистограмму слов (big data)?

спасибо!

Как эффективно составить гистограмму слов (big data)?

Мойше Рабинович, rPman, про теребайты тоже интересно :)

Задачка кажется странной, потому что я выбросил предо обработку. А так: есть текст, нужно посчитать количество включений каждого слова.

А в такой формулировке похоже на модельную задачу (подсчёта элементов множества, текстовый вариант).

Как эффективно составить гистограмму слов (big data)?

rPman, спасибо!

Получается - по Вашим ответам и https://unix.stackexchange.com/a/39044/407539 -

cat file | tr -s '[:space:]' '[\n*]' | grep -v "^\s*$" | sort | uniq -c | sort -bgr

А если между словами не только пробелы, и сам файл в UTF-8, то - https://unix.stackexchange.com/a/228570/407539 - `gsed`/`gawk` поможет.
В моём реальном случае:

cat file | gsed -E 's/[^[:alpha:]]+/ /g' | gsed -E 's/[[:space:]]+/\n/g' | grep -v "^\s*$" | sort | uniq -c | sort -bgr

P.S. Просто я хотел что-то пооптимальнее, замены и конвейеры вряд ли таковое, по определению :) Но, Вы правы, всё всё равно упрётся во ввод-вывод...

Как эффективно составить гистограмму слов (big data)?

Спасибо! Только `awk`, наверное, не `wc`, нам же уникальные слова считать...

Как эффективно составить гистограмму слов (big data)?

Модератор, спасибо за замечание.

Касаемо самого вопроса, то он подразумевает современных, эффективных, лучших подходов среди тех, что есть в документациях.

Как эффективно составить гистограмму слов (big data)?

Михаил, спасибо! а может есть какая-то реализация готовая для моей задачи?

Как эффективно составить гистограмму слов (big data)?

Мойше Рабинович, слово - количество

TI DLP 2000: как проецировать изображение?

Спасибо!

А как верно 4 и 5?

Google Recaptcha v3 без сервера?

antonwx, да, действительно, что-то я глупость сморозил :-D

Google Recaptcha v3 без сервера?

Не совсем понял. Я хочу получить score капчи на клиенте. То есть я хочу (без сервер-кода) иметь оценку от reCaptcha. Зачем вообще нужен сервер? Сохранить в тайне приватный ключ? IP-адрес гуглу моего сервера нужно?

Какие есть средства для автоматизированной визуализации карты метро/автобусных/трамвайных маршрутов?

pfg21, спасибо!

Какие есть средства для автоматизированной визуализации карты метро/автобусных/трамвайных маршрутов?

Спасибо за ответ! А если не прямо такая картинка, но просто чтобы не накладывались линии? Среди open-source решений находил, но выглядят недоделанными/заброшенными...

Какие есть средства для автоматизированной визуализации карты метро/автобусных/трамвайных маршрутов?

Спасибо за ответ! А если не прямо такая картинка, но просто чтобы не накладывались линии? Среди open-source решений находил, но выглядят недоделанными/заброшенными...

Почему в OpenStreetMap Boundaries другие данные, нежели в OpenStreetMap?

freeExec, если Вы про OSM Boundaries, то нет, там никто не заморачивался, потому что у них ни одного Крыма в России, но два Севастополя.

Почему в OpenStreetMap Boundaries другие данные, нежели в OpenStreetMap?

pfg21, очень странно.вхождение регионов - это же административно-политическое понятие, а не геометрическое. Доподлинно известно, хоть и может быть множественно, как в этом примере. Почему бы это не прописывать...

Почему в OpenStreetMap Boundaries другие данные, нежели в OpenStreetMap?

pfg21, а зачем отношения задепрекейтели?

Почему в OpenStreetMap Boundaries другие данные, нежели в OpenStreetMap?

Спасибо за ответ! О каких именно наборах Вы говорите?