Microsoft detalha MAI-Transcribe-2-Streaming e dois modelos de voz para conversas em tempo real

A Microsoft detalhou o MAI-Transcribe-2-Streaming e apresentou dois novos modelos de voz, o MAI-Voice-2.1 e o MAI-Voice-2.1-Flash. Segundo a empresa, os três foram pensados para construir experiências de conversa em tempo real.

O MAI-Transcribe-2-Streaming faz transcrições em 60 idiomas com detecção automática e contínua de idioma. A Microsoft diz que ele fica em primeiro lugar em precisão para transcrições finais e parciais na Artificial Analysis. O modelo também gera as primeiras hipóteses em pouco mais de 100 ms depois de receber o áudio e custa US$ 0,54 por hora de áudio até o fim do ano.

Já o MAI-Voice-2.1 suporta 23 idiomas e 26 localidades, com uma única voz mantendo a mesma identidade ao alternar entre idiomas. O MAI-Voice-2.1-Flash usa os mesmos idiomas e vozes cruzando idiomas, mas foi posicionado para cargas de alto volume e baixa latência. A Microsoft diz que ele gera 45 segundos de áudio com latência de ponta a ponta de 150 ms, é 55% mais rápido na inferência e cerca de 60% mais barato que modelos comparáveis, a US$ 15 por 1 milhão de caracteres. Os dois modelos de voz permitem clonagem com poucos segundos de áudio de referência e têm proteções contra uso indevido.