Ошибка была в том, что обычный бот перед сохранением file_id отправлял не video_note, а обычное видео, а надо было именно video_note, чтобы потом юзербот, получив именно video_note, а не видео, сохранил file_id, access_hash, file_reference и пользовался ими как video_note