Block a dévoilé Dessa, un aperçu de recherche présenté par l'entreprise comme le modèle vocal full-duplex le plus authentique jamais conçu. Contrairement aux assistants vocaux classiques, Dessa a été entraîné de zéro sur de seules conversations humaines, sans texte ni modèles pré-entraînés, selon l'annonce de l'entreprise.
Le modèle est l'œuvre d'un petit laboratoire de recherche en intelligence artificielle au sein de Block, l'entreprise de technologies financières dirigée par Jack Dorsey. Le laboratoire a été fondé par d'anciens membres de Dessa, la start-up torontoise de deep learning, et il est rattaché directement à Dorsey. Une liste d'attente est désormais ouverte pour y accéder.
Comment fonctionne Dessa et ce qu'il sait faire
Block affirme que le défaut central de l'IA vocale actuelle réside dans son pipeline : la parole est convertie en texte, et une grande partie de ce qui lui donne du sens est perdue. Le ton, les pauses, la respiration, l'ironie et l'émotion ne survivent pas à cette conversion, ce qui rend selon l'entreprise les assistants artificiels, lents et agaçants.
Dessa est un véritable modèle parole à parole. Il est full-duplex, c'est-à-dire qu'il écoute et parle en même temps, à la manière d'un être humain. Parce qu'il a appris à partir de vraies conversations, il sait quand couper la parole et quand ponctuer l'échange de petits sons comme « ouais » ou « d'accord » pour montrer qu'il suit. L'inférence est plus rapide que le temps réel, donc aucune attente gênante, et le modèle tourne en local sur un MacBook Pro M4 Max ou plus puissant.
- Parole à parole full-duplex : écoute et parle simultanément
- Entraîné uniquement sur l'audio de conversations humaines, sans texte ni modèles pré-entraînés
