Если не хочется заморачиваться со сборкой из исходников, то посоветовал бы:
Docker — можете создать хоть десяток контейнеров с любой версией PHP, при этом с немалой экономией ресурсов и времени в отличие от обычных виртуалок или vagrant.
Репы старых пакетов Debian. Debian Lenny в Docker Hub найти можно, хотя может и на современные версии эти пакеты встанут - не знаю.
Установка примерно такая: apt-get install php5=5.3.3-7+squeeze3
