Меня пугает фраза «Создаю файл /etc/nginx/socket/site1.com.socket»
Его должен создавать PHP-FPM. А что бы у него были нужные права, нужно указать в настройках что-нибудь подобное
listen.owner = www-data
listen.group = www-data
listen.mode = 0600
Ну и по теме вопроса, сокет не хранится в файловой системе, а после ребута восстанавливается PHP-FPM-ом. Поскольку никаких настроек у вас нет, он воссоздаётся с дефолтными настройками.