Ce que les services d'automatisation de l'IA oublient de la facture

Recherchez des services d'automatisation de l'IA et chaque résultat vend la même chose : votre travail répétitif, effectué par logiciel, à partir du mois prochain. Les pages diffèrent par les logos et les industries et pas grand-chose d'autre. Aucun d'entre eux ne décrit les parties d'une automatisation qui ne sont pas l'automatisation, ce qui est regrettable, car ce sont ces parties qui décident si la chose fonctionne toujours un an plus tard.

Une automatisation n'est pas une tâche effectuée par un modèle. C'est une tâche, plus un itinéraire défini pour les cas que la tâche ne couvre pas, plus une personne nommée qui répond d'une mauvaise réponse, plus quelque chose qui remarque quand il cesse silencieusement de fonctionner. Les fournisseurs citent le premier de ces quatre. Les acheteurs héritent des trois autres sans savoir qu’ils les ont achetés.

Ce qui est présenté en démonstration, c'est le chemin heureux

Chaque démonstration qui vous sera présentée s'appuie sur un exemple bien comporté. Une facture dans la mise en page attendue, un ticket de support rédigé de la même manière que les tickets de support sont formulés dans le deck, un document contenant le champ recherché par l'extracteur. La démo est honnête sur ce qu'elle montre. Il ne parle pas de proportion.

Toute la question est la proportion. Si presque tous les éléments qui arrivent ressemblent à la démo, l’automatisation est presque terminée lorsque la démo fonctionne. Si une part significative des éléments arrive sous une autre forme, la démo représente une petite fraction du projet et le reste n’est pas construit, n’est pas cité et généralement n’est pas discuté.

Personne dans votre organisation ne connaît cette proportion, c’est pourquoi elle n’est pas mentionnée. La personne qui effectue le travail sait que les exceptions existent parce qu'elle les traite, et elle les traite si régulièrement que lorsqu'on lui demande de décrire le processus, elle décrit le cas ordinaire. Ce n’est pas une évasion. Voilà à quoi ressemble l’expertise.

Le chemin de l'exception représente la majeure partie du travail et aucune des citations

Une fois que vous acceptez que certains éléments ne rentrent pas, la question de la conception est de savoir ce qui leur arrive, et il n’existe que quelques réponses honnêtes. L'objet est réservé à une personne. L'article est quand même traité avec un indicateur dessus. Ou bien l’élément est traité de toute façon sans rien dessus, ce qui est la réponse que personne ne choisit à voix haute et à laquelle de nombreux systèmes arrivent par défaut.

La première réponse est généralement la bonne et elle a une conséquence qui mérite d’être clairement énoncée : vous n’avez pas supprimé l’œuvre, vous l’avez divisée. Quelqu'un gère maintenant une file d'attente de choses que le système a refusées. Cette file d'attente est un vrai travail, c'est la moitié la plus difficile du travail initial parce que tous les cas faciles en ont été retirés, et il a besoin d'un propriétaire et d'une place dans la journée de quelqu'un. Une automatisation qui divise par deux le volume et laisse le reste difficile non attribué n'a encore rien sauvé.

La deuxième réponse nécessite une règle sur ce qu'un drapeau oblige quiconque à faire. Un indicateur que personne n'est obligé de regarder est une décoration, et un système qui signale une grande partie de sa propre production a simplement renommé la file d'attente.

Quelqu'un possède la mauvaise réponse

Chaque automatisation finit par produire un résultat qui est certainement faux, et la question intéressante n’est pas de savoir à quelle fréquence. Il s’agit de savoir où va ensuite cette production et qui est responsable lorsqu’elle arrive.

Il s’agit d’une décision concernant la portée plutôt que la qualité du modèle. Une mauvaise réponse qui s'arrête au sein de votre propre équipe coûte une correction. Une mauvaise réponse qui parvient à un client, un fournisseur, un régulateur ou un grand livre coûte tout autre chose, et aucune précision ne fait disparaître la différence entre ces deux cas. Il est défini par ce à quoi vous avez connecté la sortie, ce qui est un choix fait au moment de la conception et rarement revisité.

La version qui compte le plus est l'action d'écriture : le remboursement émis, l'e-mail envoyé, le dossier mis à jour, la commande passée. Énumérez-les avant de choisir quoi que ce soit d'autre et décidez pour chacun s'il peut se déclencher sans surveillance, nécessiter une confirmation par une personne ou s'il ne peut être que proposé. Nous expliquons pourquoi cet axe prédit le coût et le rayon d'explosion mieux que n'importe quelle taxonomie dans un article sur le tri des agents en fonction de ce qu'ils peuvent toucher.

Rien ne vous dit quand il cesse de fonctionner

Les logiciels traditionnels échouent bruyamment. Cela génère une erreur, la page ne se charge pas, le travail se termine à une valeur différente de zéro, quelqu'un est paginé. Une automatisation construite sur un modèle de langage échoue silencieusement, car le mode d'échec est une sortie plausible plutôt qu'un crash. Il continue de renvoyer des réponses sous la bonne forme et les réponses cessent d'être correctes.

Les causes sont ordinaires. Le formulaire en amont a changé et un champ a été déplacé. Un fournisseur a commencé à envoyer une nouvelle mise en page de document. La composition des travaux entrants a changé avec la saison. Le modèle derrière l'API a été mis à jour. Aucun d’entre eux ne s’annonce et aucun d’entre eux n’apparaîtra dans un tableau de bord de disponibilité, car le système est opérationnel.

Une automatisation a donc besoin d'un moyen de contrôle qui ne dépend pas du fait que quelqu'un le remarque. La version bon marché est un échantillon : un petit ensemble d'éléments tirés à intervalles réguliers et examinés par une personne qui n'a pas fait le travail. La meilleure version est un ensemble fixe de cas connus avec des réponses correctes connues, réexécutés selon un calendrier, où un changement dans les résultats est le signal. Ni l’un ni l’autre n’est cher. Les deux manquent presque toujours, et l’absence est invisible jusqu’au jour où quelqu’un découvre depuis combien de temps la chose ne va pas.

Triez l'œuvre par sa queue, pas par son volume

La manière évidente de choisir une première automatisation est de prendre en charge la tâche la plus volumineuse, et c'est assez souvent un mauvais instinct pour mériter d'être nommé. Le volume vous indique la taille du prix. Cela ne dit rien quant à savoir si le prix est accessible.

La propriété qui prédit l'accessibilité est la forme de la queue : dans quelle mesure le travail entrant ressemble au cas commun et à quelle vitesse le reste se fragmente en cas qui ne partagent rien les uns avec les autres. Une tâche à volume élevé avec une longue queue irrégulière absorbera énormément d’efforts pour un résultat partiel. Une tâche de moindre volume où presque tout se ressemble se termine, reste terminée et vous apprend à quoi ressemble votre organisation en matière d'automatisation.

Vous pouvez le mesurer sans rien acheter. Prenez un lot d'articles réels du mois dernier, triez-les selon la façon dont ils sont arrivés et comptez jusqu'où vous descendez avant que les catégories ne cessent de se répéter. Faites-le sur papier avant que quiconque n'écrive du code, et faites-le sur des éléments réels plutôt que sur une description du processus, car la description suivra la voie heureuse pour la raison indiquée ci-dessus.

Il s’agit d’une question différente de celle de savoir si une tâche est réellement candidate, qui dépend de la stabilité de son entrée, de la possibilité de vérifier sa sortie et de la tolérance de son mode d’échec. Nous avons présenté ce type de tri plus tôt dans ce que fait réellement un consultant en IA pour petites entreprises, et cela vaut la peine de l'exécuter en premier. La question de queue est ce que vous posez sur les tâches qui l'ont déjà réussi.

Que mettre dans l'énoncé des travaux

Cinq éléments, dont chacun transforme l'une des parties invisibles ci-dessus en quelque chose d'écrit et donc quelque chose dont quelqu'un est responsable.

Le chemin d'exception, nommé : quels cas sont mis de côté, qui gère cette file d'attente et combien de temps un élément peut y rester.
Les actions d'écriture, répertoriées, chacune marquée comme sans surveillance, confirmée ou proposition uniquement.
Le contrôle d'exactitude : qu'est-ce qui est échantillonné, à quelle fréquence, par qui et quel résultat déclenche un examen.
Le coût de fonctionnement, par mois, au volume actuel et à un volume que vous pourriez vraisemblablement atteindre.
La remise : ce que vous possédez à la fin, et si quelqu'un d'autre que l'auteur peut le changer.

Un prestataire capable de répondre aux cinq questions lors d’une première conversation décrit un système. Un fournisseur qui passe aux noms de modèles et aux frameworks décrit une démo.

Faites le calcul vous-même

La construction est citée une seule fois et le coût de fonctionnement dure aussi longtemps que le système, ce qui rend étrange que le deuxième chiffre soit presque toujours l'estimation de quelqu'un d'autre. Les modèles hébergés facturent le texte entrant et le texte sortant, tarifés sur des lignes distinctes plutôt que regroupées, de sorte que le coût d'un flux de travail est déterminé par la quantité de contexte que chaque exécution contient plutôt que par l'intelligence de la tâche.

Prenez une demande réaliste du flux de travail que vous envisagez et soumettez-la au calculateur de coûts LLM au volume que vous attendez réellement, y compris les tentatives et les cas d'exception. Cela prend quelques minutes et met parfois fin à la conversation, ce qui est le point important.

Si vous êtes plus tôt que cela, l'évaluation de l'état de préparation à l'IA suit le même chemin qu'un engagement de cadrage s'ouvre, à travers les données, les cas d'utilisation, les compétences et l'infrastructure. Cela ne coûte rien, et un résultat montrant qu’aucun flux de travail ne se démarque encore est une véritable réponse plutôt qu’un échec. Il est considérablement moins coûteux de parvenir à cette conclusion avant de signer qu’après.