Нашёл аналогичную проблему
Apc/XCache и два одинаковых сайта на сервере
В итоге покопавшись понял что надо присвоить префикс для кешера файлов в моём случае это выглядит так
$cachedLoader = new XcacheClassLoader(sha1(__FILE__), $loader);
$loader->unregister();
$cachedLoader->register(true);
Что называется слона не заметил :)