Как перевести аудио в текст в Яндекс SpeechKit v3?

Question

[Владислав]

Здравствуйте.

Следую этой документации.

Делаю такой запрос.

const { data } = await axios.post<any, { data: ISpeechToTextResponse }>(
        this.speechToTextUrl,
        {
          uri: dto.storageUrl,
          recognition_model: {
            model: 'general',
            audio_format: {
              container_audio: {
                container_audio_type: 'OggOpus',
              },
            },
          },
        },
        {
          headers: {
            Authorization: `Api-Key ${this.speechKitApiKey}`,
          },
        },
      );

Выдаёт ошибку

data: {
      error: 'unknown value "\\"OggOpus\\"" for enum speechkit.stt.v3.ContainerAudio.ContainerAudioType',
      code: 3,
      message: 'unknown value "\\"OggOpus\\"" for enum speechkit.stt.v3.ContainerAudio.ContainerAudioType',
      details: []
    }

Файл отправляю через ТГ, там фомат огг.
Если указываю формат файла в параметрах OggOpus, на этом же этапе возвращается ошибка.

Если указываю формат WAV, то этот этап прохожу, файл отравляется и попадает в бакет. Далее, как по инструкции делаю запрос на проверку распознанности.

const { data } = await axios.get<ISpeechToTextResponse>(
        `${process.env.YA_SPEECH_KIT_GET_INFO_OF_OPERATION_URL}/${speech_kit_id}`,
        {
          headers: {
            Authorization: `Api-key ${this.speechKitApiKey}`,
          },
        },
      );

Теперь на этом этапе ошибка.

error: {
    grpcCode: 3,
    httpCode: 400,
    message: 'Error in session internal_id=d37c0b7-13777363-52e7c7aa-fb23280a&request_id=f8d134ap164oulub0pk&client_request_id=f8d134ap164oulub0pk&folder_id=1gr7659c2un3cargb0f: No RIFF found',
    httpStatus: 'Bad Request',
    details: []
  }

Не знаю в чём дело, всё перепробовал. В сети информации нет по Яндексу, дока плохая, примеров нет, библиотек своих нет. Кошмар просто.

Кто сталкивался с этим?
Как исправить?

Comments

[rPman]

У меня только один вопрос, опенсорсный whisper (лицензия mit на код, и apache 2.0 на веса сети) совсем не подходит?
Мне казалось, что с их публикацией openai, другие проекты почти потеряли свой смысл (допускаю что существуют с более высоким качеством, например в узких облостях или с шумами, но не уверен что яндекс speech такой)

Answer 1

[Владислав]

Ошибка в том, что в этой документации не верно указан формат, формат нужно указывать, как показано в этой документации.