1. Для начала нужно выписать все критерии потока данных, которые Вы можете получить для одного участника (это могут быть не только аудио-данные!).
2. Сформировать модель для каждого из участников на основе этих критериев (pre-learn).
3. Сформировать хеш по модели (hashing).
4. Искать такой хеш в потоке (поток->хеш==хеш->участник) и возвращать участника по хешу (analyze).
Это будет работать, даже если несколько будут говорить одновременно!