Какова скорость обработки текста в Go?

Question

[ТёмнаяМатерия]

Может попадались кому-то ссылки на тесты, бенчмарки и т.п.
Надо анализировать, сравнивать много текста, но Perl учить ради этого не собираюсь, вот интересно стало, Go переплюнул по скорости Perl, или нет?

Answer 1

[Александр Павлюк]

Штатный модуль регулярный выражений, который написан на go сильно уступает в производительности перловому.
Но к Go можно подключить PCRE https://godoc.org/github.com/glenn-brown/golang-pk... и все будет сравнимо по скорости с перлом.

Если же речь не про регулярные выражения, а про анализаторы, написанные руками, то Go на данной задаче точно переплюнет perl.

Comments

[ТёмнаяМатерия]

Да я не только о регулряных. Вы, например, что имели ввиду под собственными анализаторами? Я например, имел ввиду функцию str_replace в php которая хоть и в 5 раз быстрее регулряки на php но всё равно не сильно скоростная. Или, например, сравнение массива из 1 млн. текстовых строк с целью дать ответ есть ли среди них одинаковые, или с каким-то определённым словом.

[Александр Павлюк]

ТёмнаяМатерия: это и имел ввиду под собственными анализаторами. Go на этих задачах будет довольно быстр.

Answer 2

[Dimonchik]

посмотрите на вот такое:
www.powergrep.com

можно запускать из командной строки

не для всех задач, и не все можно автоматизировать, но очень шустрая

Comments

[ТёмнаяМатерия]

1. The Most Powerful GREP Tool for Windows (я на вебсервер ищу)
2. Only US$ 159 (WTF?????))))

Answer 3

[beduin01]

В свое время на D был написан самый быстрый парсер XML. Его вроде бы так и не обошли, так что думаю, что D будет быстрее парсить. Тем более там в языке куча фишек для этого есть, которые на Go придется писать руками.

Comments

[ТёмнаяМатерия]

Спасибо но D не рассматриваю, слишком маленькое сообщество, непопулярный язык

[huhrmuhr]

Да нету там реально полезных фишек в этом D.
Это как формально подходить к выбору смартфона - о, у нас 3 разных цвета корпуса, а у нас 10 разных цветов корпуса, поэтому мы круче.

[beduin01]

huhrmuhr: А в Go какие реально полезные фишки есть?

[huhrmuhr]

beduin01:
Простота.
Вон придумали монстра Java, что только в него не впихнули. Или C++.
И сами же от этого убегать начали - в Scala и т.п. и куча "заменителей С++" - ObjectiveC, Rust, D, Go.

[beduin01]

huhrmuhr: он не простой, он примитивный, тот же Python реально простой. Тут же все что можно урезано.

[ТёмнаяМатерия]

beduin01: Лично я люблю примитивные языки, я предпочитаю из примитивов собрать ту конструкцию которая мне нужна, я люблю когда в языке самоё простое решение является верным, а не надо придумывать какую-то одну заумную мощную функцию в которой потом никто не разберётся

[beduin01]

ТёмнаяМатерия: а ничего не мешает на развитом языке писать простой код. Другое дело когда появится потребность сделать, что-то большее у вас она будет, а не придется изобретать велосипед.

[ТёмнаяМатерия]

beduin01: сложно не писать, сложно понимать чужой код )) А когда надо будет ну напишу велосипед, я люблю велосипеды ))

[Oleg Shevelev]

beduin01: в Golang есть defer recovery который бьёт просто все фатальные ошибки:) Если какие-то не бьёт - дайте знать, интересно.

[beduin01]

Oleg Shevelev: Go знаю очень плохо но походу это тоже самое https://dlang.org/spec/statement.html#scope-guard-...

[Oleg Shevelev]

beduin01: суть похожа, но синтаксис у D не такой локоничный. А это значит что вероятность ошибки в коде на D выше. Как в том что пишете лично вы так и в том что вы на веру берёте из других репозитариев. В Golang это проще контролировать.

[huhrmuhr]

beduin01:
Ну а с точки зрения теоретика от программирования, а не реально практикующего программиста - Go выглядит убогим. Согласен. Но это всего лишь чисто маркетинговая сторона.

> он не простой, он примитивный, тот же Python реально простой. Тут же все что можно урезано.

У вас есть опыт работы в РЕАЛЬНО БОЛЬШИХ коммерческих проектах? А вы не подумали - ЗАЧЕМ ЭТО СДЕЛАНО?

Человечество уже имело опыт создания языков-монстров: C++, Java, PL/1. Не надо этого.

С точки зрения программиста, практикующего более 15 лет - в Go есть все, что часто встречается в реальных программах. Изредка напрягает отсутствие генериков, которые заменяются аж тремя способами: рефлексией, интерфейсами или go generate.

Проблема не писать код, а, как верно тут уже заметили - основная проблема ПОНИМАТЬ чужой или свой код (по истечение большого периода времени). Не секрет, что программисту проще небольшую библиотечку самому тяп-ляп сбацать, чем изучить чужую развитую серьезную библиотеку, реализующую ту же + дополнительную функциональность.

Я тебе больше скажу, я вот сейчас работаю над большим проектом - так там все очень жестко по внешнему виду. Стандартное форматирование это само собой разумеющее, но еще и обязательные linter`ы, которые заставляют писать разработчиков определенные общеупотребимые слова в идентификаторах не просто как HttpStatus, а именно HTTPStatus.

Стандартизация и упрощение кода - мать облегчения поддержки сложных систем.

[huhrmuhr]

beduin01:
> а ничего не мешает на развитом языке писать простой код. Другое дело когда появится потребность сделать, что-то большее у вас она будет, а не придется изобретать велосипед.

Мешает.
Подавляющее большинство девелоперов - самые простые люди, а вовсе не опытнейшие сеньоры и перфекционисты. Плюс человеческую лень никто не отменял.
Потому и появились в Python принудительные отступы.

P.S.:
Go запрещает даже оставлять в коде неиспользуемые импорты и неиспользуемые переменные.
Материшься, когда отлаживаешь, но в результате код получается - намного чище.

Программистов нужно дрессировать постоянно, а то такой спагетти-код напишут.

[huhrmuhr]

beduin01:
> Go знаю очень плохо

После этого можешь дальше ничего не писать про Go.
Я вот могу написать про C++, Java, Python, Pascal, 1C, assembler, Go, C# из собственного опыта - с каждым языком не менее 3 лет.

И даже с моим опытом к изучению Go я подходил раза 4. Ряд концепций казались странными и неудобными. А сейчас думаю, что ребята-то, которые его придумали, явно башкавитые и именно ПРАКТИКИ

[huhrmuhr]

beduin01:
> А в Go какие реально полезные фишки есть?

Каналы.
В паре с go-routine - это очень удобное средство написания параллельного кода и синхронизации.

Понятно, что в фунциональных языках, где распараллеливание делается автоматически - это все еще круче. Но на функциональные - сложно найти достаточное число квалифицированных программистов в реальный коммерческий проект.

[beduin01]

>явно башкавитые и именно ПРАКТИКИ
Даже Nim который написал один человек в качестве дипломного проекта куда более функциональный чем Go...

[void_phoenix]

huhrmuhr:
> И сами же от этого убегать начали - в Scala
Справедливости ради, Scala никогда никогда не позиционировалась как "более простая java", даже наоборот. Более сложный, но более выразительный язык.
> Вон придумали монстра Java
И прекрасно придумали, до сих пор один из самых популярных языков.
D также неплохой язык, не надо его обижать:)

[ТёмнаяМатерия]

void_phoenix: JAVA просто ужасна по сегодняшним меркам, я начинал его учить но он мне настолько не понравился что сразу бросил. Тогда просто было не на чем больше особо писать такие штуки, если бы те приложения писали сегодня уверен стек был бы другой.

[void_phoenix]

ТёмнаяМатерия: Я сейчас вижу огромное количество новых проектов которые пишутся на java. Причем пишутся людьми, которые пробовали и Go и Haskell и все новомодные языки.
Ужасность Java выражается в том что ее трудно учить? Может быть. Я исхожу из опыта использования. Я писал на go, java, python, C++, clojure, scala и чем-то там еще, то есть нельзя сказать что используя java потому что я не знаком с другими языками, и тем не менее мне нравится java.
Думаю, неправильно говорить что язык ужасен потому что "я начинал его учить но он мне не понравился"
Java может быть трудно учить, но ее удобно использовать, что многие и делают.

[abcd0x00]

huhrmuhr:

С точки зрения программиста, практикующего более 15 лет - в Go есть все, что часто встречается в реальных программах. Изредка напрягает отсутствие генериков, которые заменяются аж тремя способами: рефлексией, интерфейсами или go generate.

Ну-ка getline() приведи. За 40 лет все уже выяснили, что нужно иметь getline().

[xabesawiv]

Это все было давно и неправда.
Сейчас D уже ясно что не будет развиваться.
Сейчас D сливает языку Go, несмотря на то, что в нем сборка мусора имеется (а это должны бы замедлять Go, но нет, тормозом оказался D, несмотря на то, что родился раньше и уже мог бы быть пооптимальнее написанным)

https://habrahabr.ru/post/303590/

[xabesawiv]

abcd0x00:

getline := bufio.NewReader(os.Stdin)

[beduin01]

xabesawiv: вы даете ссылку где автор проводит неправильное тестирование устаревшей версии с использованием одного из самых медленных компиляторов.

[xabesawiv]

beduin01:
это потому что вам не нравится результат?
))))))

ну расскажите ему как правильно.
вы же известный наш популяризатор Ди.

[beduin01]

xabesawiv: да там в комментах уже давно рассказали. Человек берет самый медленный компилятор, старую версию фреймворка и делает ряд ошибок в проведении самого теста. После Ди на простыни кода на Go выполняющие какие-то банальности типа фильтрации массива смотреть реально смешно.

[xabesawiv]

beduin01: Неубедительно. Он бы давным-давно убрал бы статью или переделал, если бы был бы очевидный косяк.

Сделай нормальные тесты, опубликуй их в контр-статье, очень интересно, сможешь ли. Или только языком умеешь болтать.

[semt1]

А чё с ассемблером не сравниваете - там вообще максимально быстро?

D - уже не взлетит.
Поздно.
Возможно, лет на 10 появись он раньше - имел бы шансы.
Но не сейчас.
Сейчас уже Rust есть.

[semt1]

beduin01,

Другое дело когда появится потребность сделать, что-то большее у вас она будет, а не придется изобретать велосипед.

Если вам понадобится усложнить программу - значит меняйте архитектуру.
Хорошая программа - это легко читаемая программа.
Все остальное давно уже умеют оптимизировать копиляторы.

Программистам нельзя давать инструменты для усложнения.
Подавляющее большинство это джуны.
Они такого понапишут.

[beduin01]

semt1, согласен, именно поэтому Go плохо подходит для средних программистов. Элементарные обобщения там делаются только путем копи-пасты кода.

Недавно видел замечательный коммент: "Писал парсер на go, получилось в 11 раз (!) больше строк кода, чем на питоне. Забросил go после этого парсера, моё время дороже."

[beduin01]

semt1, Rust не оправдано сложен для типовых задач. Чтобы писать на Rust нужно крайне хорошо понимать как устроена память. Так же у Rust очень специфичный синтаксис, который так же повышает порог вхождения.

[semt1]

beduin01,

согласен, именно поэтому Go плохо подходит для средних программистов. Элементарные обобщения там делаются только путем копи-пасты кода.

Обобщения - плохо читаются.
И противно отлаживаются. Возможно, в Rust отладку и побороли. Читаемость - нет.

[semt1]

beduin01,

Rust не оправдано сложен для типовых задач. Чтобы писать на Rust нужно крайне хорошо понимать как устроена память. Так же у Rust очень специфичный синтаксис, который так же повышает порог вхождения.

Я вам потому и написал в другом месте, что D умер потому что уже взлетели Go и Rust.
Go для задач, в которых не требуется жесткое управление памятью. Который удобен для типовых прикладных задач.
И Rust - для более критичных по памяти задач, более близких к системному уровню.

В частности именно поэтому и именно так был переписан Dropbox
Изначально Dropbox был на Python
Сейчас основная часть кода в Dropbox - на Go
И небольшие самые высоконагруженные части - на Rust.

[beduin01]

Go и Rust это хайпы. Пройдет пару лет и Dropbox перепишут на другой модный язык.

[niokrokadile]

D уже сдох.

[niokrokadile]

beduin01, ну точно, разрабы Docker, Consul, Kubernetes, Cloudflare, Google - все как один подвержены хайпу.
А некий никому не известный beduin01 который ничего значительного в своей жизни не напрограммировал - наперед все знает.

[beduin01]

niokrokadile, а вы дорогой мой что сделали в своей жизни кроме как тут зарегиться? У вас припекло в одном месте от того что кто-то другой работу делает проще и быстрее чем вы?