Все решил, может кто нибудь еще так лоханеться, так что вот причина:
Просто на просто я использовал HTTPS и причем на локальном сервере и само собой без подписи. Вот именно изо отсутствия подписи браузер категорически и отказывался кешировать. При переносе на сервер с цифровой подписью - кеширование заработала.
