Какой язык программирования подойдёт для написания высокопроизводительного приложения на Windows?

Question

[Kizzeon]

Появилась надобность в написании приложения на Windows, которое будет работать с большими объемами текста(регулярным выражением заменить текст в 50 000+ строк текста и т.п.) и я не могу понять, какой из языков программирования лучше подойдёт для таких задач и какой из них лучше всего будет изучать.

До этого изучал Javascript и PHP. Но их производительности мне не хватает.

Приоритетность моих требований к языку:
1. Чем меньше нагрузка на процессор тем лучше(желательно что бы исполняемый код мог "выполнятся долго но стабильно", то есть без крашей при 100% нагрузки ЦП)
2. Жор ОЗУ при чтении текстового файла 100 мегабайт не больше 1-1.5 Гб
3. Не слишком высокий порог входа

Answer 1

[#]

ответы более чем очевидны, в порядке приоритета перфоманса:
- C++, D
- Rust, Go
- даже C#
.. вот только пожелания

язык программирования ... для написания высокопроизводительного приложения на Windows

и

Не слишком высокий порог входа

состоят в полной противоположности

ps капля лирики

даже мой любимый C#, если добавить немножко ускорителей
https://habr.com/ru/company/clrium/blog/467663/
https://habr.com/ru/post/443804/
.. но это точно не сразу за порогом вхождения

pps я бы рекомедовал D, тем более и плагин для VS есть
ppps тут скриптовые языки советуют и критикуют регулярки.. и это более чем верно. регулярки слишком универсальный инструмент, что бы быть быстрым. регулярки в скриптовых языках - помножайте на скорости (точнее тормоза) интерпретаторов. на том же шарпе (без низкоуровневых финтов), но простым поиском по образцу начала фрагмента, и конца (да, задача была не сложной )), я получал что то вроде десятикратного обгона регулярок, самого же шарпа ))
.. вывод - если вы займетесь программированием.. реально займетесь. и правда, и на php, и на js, получите обгон регулярок, наверняка тоже на порядок. а если не поймете как обрабатывать строки, ни один язык вас не спасет. на любом языке можно написать самую медленную программу ))

Comments

[Kizzeon]

в порядке приоритета перфоманса

Не ожидал D на уровне С++
Как считаете есть ли у D будущее? В плане не будет ли проблем после изучения ЯП на определённом уровне попадания в N компанию с не слишком малой ЗП?

состоят в полной противоположности

Как это ни грустно =(
Я ищу нечто между Python и C/Java.
Не хватает чуть больше производительности Python и чуть больше простоты C...

Я бы рекомедовал D

Спасибо за совет =)

Я получал что то вроде десятикратного обгона регулярок

На Python я схожего не нашёл =(

На любом языке можно написать самую медленную программу

Полностью согласен, но я ищу более менее сбалансированный в плане сложности\производительности, что бы написав код "средней медленности" было не особо лагуче ;)

[#]

Kizzeon, вы уж определитесь в хотелках. если баланс всего, да еще и с видами на трудоустройство - C#

D позиционируется как развитие C++, на котором комфортно писать, который так же быстр, и нативно принимает все либы C++, как в сорцах, так и компиленные. но рынок его так и не принял. почему, и что будет дальше - гадать не очень интересно. многие плюсисты его хорошо оценивают, но больше в личных целях

[Kizzeon]

Спасибо за ответ, хорошо разъяснили ситуацию с выбором =)

Answer 2

[dollar]

Например, Rust или C++.
Почему бы и нет?

Насчет производительности регулярных выражения я бы поспорил. Дело в том, что регулярки - это универсальный инструмент, и это не бесплатно. Гораздо производительнее сделать свой парсер с учетом ограничений к тексту, о которых вы знаете. Например, если какой-то кусок текста имеет четкий маркер, то можно найти его самым простым поиском подстроки. И далее к найденному куску также применить какой-то свой алгоритм, оптимизированный именно под этот текст.

Comments

[Kizzeon]

О них тоже задумывался
В прошлом месяц изучал C и подумывал о том что бы написать на C++, но программа и так имеет много различного функционала, который нужно написать(а до этого изучить как написать).
Просто мне кажется, что если я начну писать на С++\С то писать код для этой самой программы я буду уж очень долго относительно других ЯП

[dollar]

Kizzeon, не очень долго. Если перед вами и правда стоит задача сделать программу быстрее, и эту задачу никак нельзя пропустить или отказаться, то выбор падает на компилируемые языки.

Опять же, как я уже сказал, можете попробовать просто улучшить алгоритм. Для начала, отказаться от регулярок, либо глубже окунуться в эту тему и понять, как оптимизировать сами регулярки, и возможно ли это в вашем случае. Например, быстрый поиск в пхп - это strpos, а в js - это indexOf, ими можно пользоваться вместо регулярок для разбивки текста на блоки, а дальше уже блоки анализировать похожим способом.

[Kizzeon]

Спасибо за совет, учту все ваши рекомендации =)

Answer 3

[Stalker_RED]

Высокопроизводительная программа для обработки текста регулярками уже существует (причем лет сорок как), и называется sed.

Запустить можно в виртуалке, или в той линукс-подсистеме которая прикручена к винде, или используя cygwin, или вот кто-то даже собрал прямо sed под windows, офигеть!

Comments

[Илья]

И через WSL она тоже работает.

[Stalker_RED]

Илья, дык "линукс-подсистема, которая прикручена к винде" - это и есть WSL

[Илья]

Stalker_RED, и правда.

[Kizzeon]

И можно sed использовать внутри своей программы?
В плане "Пользователь нажал кнопку, выбрал файлы, sed обработал текст внутри них и выдал в N переменную которую показал на экране"
Пытался такое сделать на Python но не нашёл GUI решения почему то =(

[Stalker_RED]

Kizzeon, у sed нет gui, это консольная утилита. Но вы можете вызывать ее из своей программы, да.

[Kizzeon]

Ищу в интернете данные о том как её использовать из под приложения и нахожу только то, как её из терминала запускают. Не подскажете как её можно вызвать(можно на любом вам удобном языке)?

[Stalker_RED]

c# https://docs.microsoft.com/en-us/dotnet/api/system...
php https://www.php.net/manual/ru/function.exec.php
rust https://doc.rust-lang.org/std/process/struct.Comma...

[Kizzeon]

Stalker_RED, Преблагодарствую за полезную информацию =)

Answer 4

[index0h]

Да как бы на куче всего это можно написать, в том числе и на js. Можете глянуть в сторону go, учится за неделю, довольно производителен

Comments

[Kizzeon]

На JS и на Python у меня при обработке текста сьедалась ОЗУ немеренно(при чтении файла 100 мб ~ 2 Гб).
На счёт GO тоже размышлял, пока что ещё не окончательно выбрал ЯП, но он(go) у меня пока в тройке лидеров

[index0h]

Kizzeon, вам точно нужно прям все 100мб читать за раз и частями ну вот ни как?

[Kizzeon]

Лучше готовится к худшему, иногда может понадобится даже по 20 мегабайт на 1 строке читать(шрифты и прочее)

Answer 5

[Илья]

Если текст находится в файле, то сделать замену по регулярному выражению можно стандартными средствами powershell.

Comments

[Kizzeon]

Если powershell можно вставлять в приложение и оно будет производительно работать то я только за =)

[Илья]

Kizzeon, у приложения какие-то еще функции кроме замены есть?

[Kizzeon]

По сути там есть вычисления, небольшая БД и работа с текстом. Есть ещё несколько мелких функций но они хорошо на всех языках реализованы.

Answer 6

[Game Master]

Если нужна простота и высокая производительность языка программирования, то попробуй Nim, также можешь посмотреть в сторону Cython

Если нужна обработка большого объема данных, хранение информации, поиск по ключевым словам, то для этого нужно использовать СУБД, например ArangoDB

Comments

[Kizzeon]

На счёт nim посмотрю, cython пробовал, питон как таковой немало ест памяти(~2 гб при чтении 100мб файла), а если писать С-и реализацию то думаю уж на самом C будет несколько удобнее
Спасибо за совет =)

Answer 7

[Nordman99]

До этого изучал Javascript и PHP. Но их производительности мне не хватает.

Видно плохо изучал раз нехватает при современных многогигабайтных ОЗУ и многоядерных процессорах компьютеров

регулярным выражением заменить текст в 50 000+ строк текста и т.п.

это фигня для любого языка, дело только в удобстве

Чем меньше нагрузка на процессор тем лучше

А как ты хочешь выполнять сложные вычисления без нагрузки на процессор?

Жор ОЗУ при чтении текстового файла 100 мегабайт не больше 1-1.5 Гб

так ты обрабатывай свой тескстовый файл не весь целиком сразу а кусками, конечно если ты просто открываешь файл для обработки и начинаешь работать с ним он может быть весь целиком загружен в ОЗУ, да и еще плюс сюда результаты его обработки и в итоге и выйдет жор ОЗУ, а надо средствами тех же JS или PHP открыть файл но подгружать его для обработки частями - скажем по несколько Мб, обработал выгрузил в результирующий файл, прочитал след неск.Мб и т.д.
А так самые быстрые языки будут C и C++ изучай их и будет тебе скорость, но у них высокий порог входа, и они самые неудобные из всех, так как там надо самому вручную проделывать многие вещи о которых в интерперетируемых языках более высокого уровня, таких как JS и PHP, ты и не догадывался, если нет желания с этим связываться то тогда изучай либо Python либо Lua - в них так же как и во всех остальных интерперетируемых языках высокого уровня можно проделать всё что тебе нужно, но Python хотя и очень удобный и развитый но не всегда радует скоростью, Lua на мой взгляд намного быстрее и удобнее, особенно при выполнении интерпретатором LuaJit его скорость наверно превосходит все остальные интерпретируемые языки и сравнима с C/C++, но он очень специфичный

Comments

[Kizzeon]

Видно плохо изучал раз нехватает при современных многогигабайтных ОЗУ и многоядерных процессорах компьютеров

Моя задача что бы программа работала даже на 2-4-8 гб ОЗУ, так что вопрос производительности стоит остро и если бы мне было всё равно на пользователя то может да, я написал бы достаточно жрущее решение и было бы нормально, но мне хочется сделать нормальную программу

это фигня для любого языка, дело только в удобстве

В частности на Python очень много регулярные выражения сьедали(чтение и обработка 100 мб файла занимало ~ 2 гб озу)

А как ты хочешь выполнять сложные вычисления без нагрузки на процессор?

Не без нагрузки, а с меньшей нагрузкой. В частности я слышал, что на C в большинстве операций процессор съедается слабее чем на том же Python.

прочитал след несколько Мб и т.д.

И здесь стоит вопрос в скорости выполнения. В худшей ситуации должны обрабатыватся несколько десятков текстовых файлов, и если на каждый будет тратится по минуте то особо это не принесёт удовольствия юзеру

Lua на мой взгляд намного быстрее и удобнее, особенно при выполнении интерпретатором LuaJit его скорость наверно превосходит все остальные интерпретируемые языки и сравнима с C/C++, но он очень специфичный

Спасибо за совет, однозначно посмотрю =)

[Nordman99]

Kizzeon, Тогда я бы посоветовал Lua, хотя это очень субьективная рекомендация но меня Lua вполне устраивает - быстрый компактный памяти жрёт мало, но он непохож почти на все остальные интерпретируемые языки хотя на самом деле он очень простой, группа по луа в телеграмме - t.me/ProLua, там в шапке есть мануал и прочие доки по языку, и еще тебе придется научится скачивать и компилить доп.модули для языка с luarocks.org потому как исходный функционал языка бедноват по сравнению со многими языками но с помощью доп.модулей он может расширятся практически неограниченно, а так вообще любой язык из тех что тебе порекомендовали выше подойдет под твои требования, в том числе и JS и PHP если поломать в них голову как в них всё это сделать, можно сделать и в них так чтобы и памяти ели меньше и проц меньше грузили, еще под твои задачи Perl должен хорошо подойти по отзывам фанатов этого языка но я сам Perl`ом не занимался

[Kizzeon]

Спасибо за совет, однозначно посмотрю =) x2
Посмотрел пока на синтаксис, вроде неплохо, дальше посравниваю и если подойдёт на вооружение возьму

[Nordman99]

Kizzeon, Только имей в виду что и в Луа тебе, для выполнения твоих задач, придется научится загружать файл частями для обработки потому что если будешь загружать его весь целиком то он и будет сжирать кучу оперативы, в этом я понимаю твоя основная проблема в JS и PHP

[Kizzeon]

Приму во внимание

[Nordman99]

Kizzeon, если надо будет присоединяйся в группу в телеграмм я тебе скину хороший мануал по луа на русском, его трудно найти в инете, я глянул тот мануал в группе, он на английском

Answer 8

[Александр Скуснов]

А что если MatLab или Haskell и параллельные вычисления на видеопроцессоре?