Как интерпретировать информацию с TechEmpower Framework Benchmarks?

Question

[Михаил Р.]

Приветствую!

При изучение производительности Фреймворков на сайте TechEmpower Framework Benchmarks заметил значительное отставание от asp.net core популярных фреймворков для других ЯП.

Например, взвешенный балл (Weighted score):
- c# asp.net core: 6,462 (60.7%).
- java spring: 1,802 (16.9%).
- go gin: 1,667 (15.7%).
- php symfony: 1,068 (10.0%).
- php laravel: 326 (3.1%).
- js express: 826 (7.8%).
- python flask: 468 (4.4%).
- python django: 280 (2.6%).

Неужели asp.net core быстрее (Weighted score) spring в 3,59 раза, и быстрее laravel в 19,58 раза?

Comments

[Алан Гибизов]

Полагаю, немногие тут владеют в достаточной степени всеми ЯП сравнения, чтобы адекватно прокомментировать эти результаты. Рекомендую конкретизировать вопрос, привести код и исходные данные, по которым есть непонимание. Например, код на шарпе и код на джаве. И убрать лишние теги, иначе вопрос может попасть под правило 3.1.

[Михаил Р.]

Алан Гибизов,

немногие тут владеют

чтобы адекватно прокомментировать эти

Вопрос к немногим.

Рекомендую конкретизировать вопрос

Знающие люди в определенном ЯП, могут быть не подписаны на тег "оценка-производительности", при этом они 99% подписаны на тег со своим ЯП.

иначе вопрос может попасть под правило 3.1.

3.1. Указывать только теги, имеющие непосредственное отношение к вопросу

java spring - имеет явное отношение к java, go gin - к go итд.

[Алан Гибизов]

Mike, нет. Вы задаёте как раз вопрос ко многим - сотни тысяч читателей перечисленных вами тегов вынуждены читать этот вопрос, не относящийся к ним вообще никак. Ценность вашего вопроса должна быть высока для большинства читателей топика. Это правила ресурса, ознакомьтесь пожалуйста, я дал ссылку выше.

Кроме того, ресурс не предназначен для проведения опросов - см.п.5.11 правил.

Answer 1

[Roman K]

Как интерпретировать информацию с TechEmpower Framework Benchmarks?

Никак, это почти бесполезная информация. Посмотри доклад автора fasthttp (самый быстрый на сегодня http фреймворк на golang), как они ухищряются, чтобы на этом писькометре набрать больше балов. Фактически же эти баллы мало коррелируют с тем, как на самом деле будет работать твоё приложение на фреймворке X. И уж тем более ни в коем случае нельзя думать о том, что "X быстрее Y в N раз".

Да, в среднем на CPU задачах код фреймворка на го будет работать быстрее кода фреймворка на питоне. Но кроме CPU задач есть ещё IO задачи, которых в вебе намного больше (я бы сказал, что IO задачи занимают до 90% времени работы кода). Кроме кода фреймворка есть код библиотек и твой код, который выполняет бизнес-задачи. И это, пожалуй, единственное полезное, что может сказать этот писькометр.

Comments

[Михаил Р.]

Спасибо за мнение!

Answer 2

[Борис Сёмов]

Это тесты не каких-то приложений, а ряда типичных действий реализуемых фреймворками. Вклад действий оцениваемых этими метриками в реальных приложениях не так уж велик. Т.е. выборка данных, и другая подобная работа, например, будет занимать намного больше времени в любом запросе, и будет примерно одинаковой для всех фреймворков, при реализации одинакового функционала. И эта разница, казалось бы в разы, превратится в величину близкую к погрешности измерений.
В реальном приложении, всё будет куда больше зависеть не от фреймворка как такового, а от квалификации разработчиков, в итоге.

К тому же, там довольно сложная методика оценки пачкой тестов и разными весами каждого из них. Это всё можно принимать в расчёт, но уж точно не стоит придавать этой информации очень уж большое значение, и тем более, делать такие прямолинейные выводы.

Comments

[Михаил Р.]

Спасибо за мнение!