Присмотритесь к Amazon EC2. К примеру, их GPU cluster имеет два процессора Intel Xeon X5570 3.00GHz, каждый содержит 8 ядер. Стоимость за час аренды: $2.10 для Linux, $2.60 для Windows.
У них есть CPU cluster. По заверениям, там должно быть в 2 раза больше CPU.