Как правильно их разместить в рамках одного Vps?
Ставите PHP, NodeJS, Nginx.
Nginx настраиваете таким образом, чтобы "api.testsite.ru" шел в PHP, а "testsite.ru" в NodeJS.
Какой-нибудь докер - возможно?
Для начала попробуйте всё это воспроизвести без докера. Когда оно всё "уляжется в голове", и если возникнет понимание что надо докер - попробуйте с докером все это сделать. Но сразу с докером делать не советую, так как это усложнит лишь понимание происходящего.
Проект не очень большой, как обойтись наименьшими тратами нервов? )
Думаю, вышесказанное, вполне применимо как к мелким, так и средним, или как Вы написали "не очень в большим" проектам.
Делайте! У Вас всё получится!