Qu'est-ce qui fait qu'un agent conversationnel n'est pas un chatbot

Recherchez des agents d’IA conversationnelle et vous obtenez des pages de comparaison, presque toutes publiées par des entreprises qui en vendent un. Ils ont tendance à définir un chatbot comme une chose ancienne, un agent conversationnel comme une nouveauté et la différence comme une compréhension. Ce cadrage n'est pas utile pour construire quoi que ce soit, car chaque produit sur cette page comprend parfaitement le langage.

La distinction qui survit au contact de la production est plus étroite et moins flatteuse. Un chatbot répond. Un agent agit. Tout ce qui rend les agents plus difficiles à construire, plus coûteux à exécuter et plus dangereux à déployer découle de cette seule différence, et rien de tout cela ne découle de la nature naturelle de l'écriture de la chose.

La question que vous évaluez sur les changements

Un chatbot est jugé selon que sa réponse était correcte et appropriée. Si c'était faux, l'utilisateur lit quelque chose de mal et passe à autre chose. Le rayon d’explosion d’une mauvaise réponse est la réponse.

Un agent est jugé selon que l’action qu’il a entreprise était la bonne. Un remboursement a été émis, un ticket a été rouvert, un dossier a été mis à jour, un e-mail a été envoyé. Se tromper laisse désormais une trace dans un système dont dépend quelqu’un d’autre, et cette trace survit à la conversation qui l’a produite. C'est pourquoi un agent a besoin d'une piste d'audit, contrairement à un chatbot, et c'est la véritable raison pour laquelle il s'agit de produits différents plutôt que de deux paramètres d'un même produit.

L'État est la première chose qui coûte cher

Un chatbot peut être proche de l’apatride. Chaque tour est une question avec suffisamment de contexte pour y répondre, et lorsque la conversation se termine, rien n'a besoin de persister.

Un agent transporte l'état à travers les tours, et les modèles de langage sont apatrides en dessous, donc transporter l'état signifie le renvoyer. Chaque tour renvoie la conversation accumulée au modèle en tant qu'entrée. L'utilisateur vit une conversation continue d'une durée fixe. Votre facture reçoit une invite qui augmente à chaque fois que quelqu'un parle, c'est pourquoi le dernier tour d'une longue session coûte un multiple du premier.

Cette forme mérite d’être mesurée plutôt que supposée. Prenez une transcription réaliste, comptez ce qu'un tour tardif envoie réellement avec un compteur de jetons et transmettez le résultat via le calculateur de coût LLM à la durée de conversation prévue. Le nombre qui revient n'est généralement pas celui que les gens estiment à partir de la longueur d'un seul message, et il décide si vous résumez l'historique, le mettez en cache ou limitez la session.

Les outils sont là où la responsabilité apparaît

Donner des outils à un modèle est l’étape qui convertit un chatbot en agent, et la propriété importante d’un outil n’est pas ce qu’il fait mais la direction qu’il pointe.

Un outil en lecture seule est une fonctionnalité de récupération. Cela peut être faux, cela peut être lent et le pire des cas est une mauvaise réponse, qui est à nouveau le mode d'échec du chatbot. Un outil qui écrit est de nature différente : il fait du modèle un acteur au sein de votre entreprise, quelles que soient les autorisations que vous lui avez accordées. La décision de conception n'est donc pas le modèle à utiliser, mais plutôt lesquels de ces outils existent et ce qui doit être vrai avant que l'un d'entre eux ne se déclenche.

La discipline utile consiste à tracer la limite d'autorisation avant de choisir autre chose. Quelles actions peuvent se produire sans intervention humaine, lesquelles nécessitent une confirmation et que l'agent ne peut que proposer. Cette limite est une décision en matière de produit et une décision en matière de responsabilité, et aucune qualité de modèle ne remplace sa définition.

La latence est dépensée en boucle, pas en réponse

Un chatbot dépense son budget de latence sur une génération et l'utilisateur le regarde en streaming. Un agent dépense son budget en boucle : décider, appeler un outil, lire le résultat, décider à nouveau. Certaines de ces étapes ne produisent rien que l’utilisateur puisse voir, de sorte que la même attente totale semble considérablement plus longue.

Les interfaces texte absorbent assez bien cela. Ce n'est pas le cas de la voix, car le silence lors d'un appel se lit comme une ligne coupée plutôt que comme une réflexion, ce qui explique en grande partie pourquoi les agents vocaux sont architecturalement plus stricts que leurs équivalents textuels.

Que régler avant de choisir une catégorie

La taxonomie des fournisseurs cesse d'avoir de l'importance une fois que ces quatre questions ont été répondues, et ils sont responsables sans choisir d'abord une plate-forme.

• Qu'est-ce que cela peut faire sans personne au courant, et que doit-il seulement suggérer ?
• De quoi se souvient-il, pendant combien de temps et qui est autorisé à le lire plus tard ?
• Lorsqu'elle agit mal, qui est responsable et comment le découvre-t-on ?
• Comment savez-vous après coup ce qu'il a réellement fait, plutôt que ce qu'il a dit avoir fait ?

Un agent qui ne peut pas répondre à la dernière question n’est pas un agent que vous pouvez exploiter, même s’il converse bien. Pour en savoir plus sur la construction de ces systèmes, consultez le reste de nos écrits.