Что я недалю не так с JSON.stringify?

давайте по порядку.
1. вы не правильно указали тип у переменной shirt. Вы указали что это массив с числовым индексом (var shirt = []), а затем в коде вы обращаетесь к этой переменной как будто это ассоциативный массив.Вам нужно изначально определить shirt как ассоциативный массив: var shirt = { };
2. если вам нужна именно такая структура как вы написали, то немного нужно манипуляций в конце.
json={name:"patern", shirt: shirts}