Squid в качестве прокси обладает большим функционалом чем nginx. В любом случае все очень зависит от специфики кэширования. Если все влазит в то, что умеет nginx — я бы использовал его. В любом случае нет никакой проблемы воткнуть сначала squid и собрать статистику по отклику в пиках, а потом nginx и на основе этих данных принять решение.