Да proxy_connect_timeout тут совсем не причем.
Я все-таки уточню картину:
1. Есть «секретный» сервер с VLC, который раздает видеопоток. Видимо, это стрим с видеокамеры наблюдения.
2. Есть nginx сервер, на который могут прийти несколько человек одновременно и каждому нужно раздать текущий видеопоток с камеры.
3. При этом хочется, чтобы nginx не обращался для каждого нового посетителя к VLC, а сам «размножал» на всех зрителей, то что он получает от видео-сервера.
Если дело обстоит так, как я описал, то надо либо что-то пробовать с кешированием nginx делать (я, правда, слабо себе представляю, как nginx, будет кешировать видеопоток), либо посмотреть в сторону вот этого
модуля. Вот
ссылка на инструкцию по установке.
И еще у Адоба есть интересный бесплатный продукт
Flash Media Live Encoder, но это совсем другая история.