Триггерюсь я на pagespeed потому, что от него зависит индексация в гугле
Влияние PSI на ранжировку не однозначное, есть целый холивар на эту тему. Тем более, опираться уж точно не стоит. Посмотрите на оценки высокоранжированных сайтов. Особенно с учётом того, что у Lighthouse в последнее время часто меняются алгоритмы.
Лично я для себя считаю более информативным GTMetrix. Но, однако, тоже не до фанатизма, а с целью убрать серьёзные шероховатости.
По существу же: значение TTFB в идеале должно быть в пределе 0.2c, допустимо до 0.6с. Однако, этот показатель не всегда является непосредственным показателем скорости работы сервера. Зачастую, время ответа связано со скриптовой частью. Например, на мой практике до оптимизации сайт на WP выдавал TTFB аж до 7 (!) секунд. После оптимизации скриптовой части - 0.15с.