Ну и да, не забывайте, что nginx не так давно поддерживает keep-alive к бэкэндам, так что вполне вероятно, что в какой-нибудь lts убунте текущая версия вообще не поддерживает его.
С клиентами keep-alive лучше включать, если на ваш сайт ходят посмотреть больше, чем полторы странички, само собой. Да и nginx почти ничего не тратит на поддержание таких соединений - почти вся работа в этом месте делается ядром.