Наиболее высокое быстродействие обеспечат memcached или redis, но всё очень сильно зависит от задачи. Но если собираетесь хранить данные в файле, то лучше выбрать JSON или PHP (массив в файле[!НЕ СЕРИАЛИЗАЦИЯ!], в вашем случае это самый оптимальный вариант, т.к. opcache сделает за вас всю работу по оптимизации), т.к. xml - чрезмерно жирно почти для любой задачи, CSV позволит хранить только списки, сериализация - только если действительно сложные данные (например, целый граф объектов).