Как ускорить http сервер на golang?

Question

[Юлия Коваленко]

Написала http сервер с "net/http". Очень медленно работает.
Переписала с "github.com/valyala/fasthttp". Стало быстрее раза в 1.5, но всё равно медленно.
Как ускорить?

Comments

[Александр Павлюк]

Вы бы код хоть прикрепили, мы никак вам не сможем помочь без кода.
И методику проверки производительности, что конкретно меряется, во сколько потоков, на какой машине, какой утилитой.

Answer 1

[Владислав]

Что делает сервер? Точно ли упираетесь в скорость http сервера?
Обычно, http сервер не является бутылочным горлышком.

Comments

[Юлия Коваленко]

Там сервер строк в 10. Пока просто тестирую производительность. Аналогичный код на perl в 3 раза быстрее чем fasthttp.

[Владислав]

Юлия Коваленко, нагуглил по быстрому тесты производительности
https://gist.github.com/yosssi/4d719cccdf185259ea1d

go на пустых ответах даже обгоняет nginx.

Не думаю, что в реальных проектах вы столкнётесь с проблемами производительности в сервере го, так как поход в БД занимает куда больше времени.

[Владислав]

Юлия Коваленко, что вы используете для тестирования? Как проводите замеры производительности?

[stratosmi]

Юлия Коваленко,

Там сервер строк в 10. Пока просто тестирую производительность. Аналогичный код на perl в 3 раза быстрее чем fasthttp.

Как вы конкретно это измерили?

Дело в том, что:

1. Как правило скрипт Perl запускается на каждый запрос.
   
2. Как правило программа на Go постоянно висит в памяти и затраты на инициализацию процесса отсутствуют.
   
   

[Юлия Коваленко]

Владислав Фурсов, с помощью siege

[Владислав]

Юлия Коваленко, покажите код на go и желательно perl, на котором вы тестируете.

[stratosmi]

Юлия Коваленко,

с помощью siege

Как именно?
Если вы перезапускали сервер на Go на каждый запрос - так это неверно. У него нетривиальная процедура инициализации.
Вебсервер на Go сделанный должен быть постоянно запущен. В реальности он так и работает без перезапуска днями подряд.

[Юлия Коваленко]

stratosmi, конечно сервер запущен постоянно.

[stratosmi]

Юлия Коваленко,
ну таки уже приведите код и описание условий тестирования.
всех заинтриговали.

[Юлия Коваленко]

stratosmi, Да хотя бы вот. Запускаю. Нагружаю. rps=3k. Перл+Нджинкс выдают rps=6k.

package main

import (
    "log"
    "net/http"
)

func main() {
    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        w.Write([]byte("Hello world"))
    })

    if err := http.ListenAndServe(":8888", nil); err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

[rustler2000]

Юлия Коваленко, чтото не то, но явно не с приведенным го. вот i3 ноут трехлетний. там даже siege 30krps показывает на приведенный код. у nginx sendfile рулит конечно, но логгирование притормаживает его всёравно.

rustler2000@pc-rustler2000-01:~/tmp$ ab -k -c 100 -t 60s -n 3000000 127.0.0.1:8888/ # golang
This is ApacheBench, Version 2.3 <$Revision: 1706008 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 300000 requests
Completed 600000 requests
Completed 900000 requests
Completed 1200000 requests
Completed 1500000 requests
Completed 1800000 requests
Completed 2100000 requests
Completed 2400000 requests
Completed 2700000 requests
Completed 3000000 requests
Finished 3000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            8888

Document Path:          /
Document Length:        153 bytes

Concurrency Level:      100
Time taken for tests:   58.821 seconds
Complete requests:      3000000
Failed requests:        0
Keep-Alive requests:    3000000
Total transferred:      885000000 bytes
HTML transferred:       459000000 bytes
Requests per second:    51001.99 [#/sec] (mean)
Time per request:       1.961 [ms] (mean)
Time per request:       0.020 [ms] (mean, across all concurrent requests)
Transfer rate:          14692.96 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       4
Processing:     0    2   1.0      2      33
Waiting:        0    2   1.0      2      33
Total:          0    2   1.0      2      33

Percentage of the requests served within a certain time (ms)
  50%      2
  66%      2
  75%      2
  80%      3
  90%      3
  95%      4
  98%      4
  99%      5
 100%     33 (longest request)
rustler2000@pc-rustler2000-01:~/tmp$ ab -k -c 100 -t 60s -n 3000000 127.0.0.1:8080/ # nginx
This is ApacheBench, Version 2.3 <$Revision: 1706008 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 300000 requests
Completed 600000 requests
Finished 894746 requests


Server Software:        nginx/1.15.8
Server Hostname:        127.0.0.1
Server Port:            8080

Document Path:          /
Document Length:        153 bytes

Concurrency Level:      100
Time taken for tests:   60.000 seconds
Complete requests:      894746
Failed requests:        0
Non-2xx responses:      894746
Keep-Alive requests:    885847
Total transferred:      275537273 bytes
HTML transferred:       136896138 bytes
Requests per second:    14912.41 [#/sec] (mean)
Time per request:       6.706 [ms] (mean)
Time per request:       0.067 [ms] (mean, across all concurrent requests)
Transfer rate:          4484.65 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       7
Processing:     0    7  24.4      6    2309
Waiting:        0    7  24.4      6    2309
Total:          0    7  24.4      6    2309

Percentage of the requests served within a certain time (ms)
  50%      6
  66%      7
  75%      7
  80%      7
  90%      8
  95%      9
  98%     11
  99%     14
 100%   2309 (longest request)

rustler2000@pc-rustler2000-01:~/tmp$ siege -b -c 100 -t 60s -R <(echo connection = keep-alive) 127.0.0.1:8888/ # golang
** SIEGE 3.0.8
** Preparing 100 concurrent users for battle.
The server is now under siege...
Lifting the server siege..      done.

Transactions:		     1860876 hits
Availability:		      100.00 %
Elapsed time:		       59.18 secs
Data transferred:	      271.52 MB
Response time:		        0.00 secs
Transaction rate:	    31444.34 trans/sec
Throughput:		        4.59 MB/sec
Concurrency:		       99.74
Successful transactions:     1860876
Failed transactions:	           0
Longest transaction:	        0.40
Shortest transaction:	        0.00

[Юлия Коваленко]

rustler2000, да вы правы. Видимо siege как то не так работает. Попробовала через ab этот код:

Concurrency Level:      100
Time taken for tests:   28.445 seconds
Complete requests:      3000000
Failed requests:        0
Keep-Alive requests:    3000000
Total transferred:      456000000 bytes
HTML transferred:       33000000 bytes
Requests per second:    105467.44 [#/sec] (mean)
Time per request:       0.948 [ms] (mean)
Time per request:       0.009 [ms] (mean, across all concurrent requests)
Transfer rate:          15655.32 [Kbytes/sec] received

[rustler2000]

Юлия Коваленко, 105Krps существенно веселе. siege скорее всего чтото в заголовках надо, чтобы он работал быстрее.

[Юлия Коваленко]

rustler2000, я еще заметила, что когда запускала siege - он жрал все 4 ядра на 100%. Я думаю и go и siege одновременно просто не хватало ресурсов.

[rustler2000]

Юлия Коваленко, ну у меня два физических, 4 логических. при -с 100 ничего такого не было. но может siege не той версии. всякое бывает. главное что go ускорился у вас :D

Answer 2

[Андрей]

gin?

Comments

[Johny Smith]

gin?

wat

[Алишер E.]

Olek1, framework https://gin-gonic.github.io/gin/

Answer 3

[uvelichitel]

Есть варианты как-то ускорить?

Да. evio Но голый nginx все равно никому не обогнать.
Классический тест для frontend js frameworks - todoMVC. Попробуйте релизовать серверный вариант этой задачи на Go и скриптами nginx, сравните трудозатраты и полученную производительность.)

Comments

[Владислав]

Но голый nginx все равно никому не обогнать.

Я был удивлён, но:
Nginx: 63697 requests
Go: 124846 requests
https://gist.github.com/yosssi/4d719cccdf185259ea1d

Хотя, конечно, nginx в любом случае более навороченный, чем сервер отдающий пустой ответ)