наверное, из вопроса это непонятно, но конечно имеется ввиду панорамное видео на 360 градусов. 3/4 кадра остается вне поля зрения.
Понимаете, вы пытаетесь использовать движок для работы с 3д графикой, чтобы рендерить видео хрен пойми как. Это достаточно редкий кейс в играх, и никто не оптимизировал под ваши задачи, а уж темболее под куллинг и прочее.
Тем боле ераньше юнити вообще не умело то и видео играть, версии так в 4 без плагинов точно.
Совет - не используйте юнити. Напишите свой рендер на DirectX/OpenGL, где и реализуйте оптимальный для вашей СПЕЦИФИЧНОЙ задачи алгоритм. А использовать комбайн на узких и специфичных кейсах - плохой вариант.