Создал еще одно приложение с темплейтом cra-template-pwa. Далее из него перебросил файлы serviceWorkerRegistration.js и service-worker.js в свой проект. В index.js добавил строку serviceWorkerRegistration.register() вместо serviceWorker.register(). Теперь заработало!