Ce que l'examen des contrats d'IA détecte et ce qu'il manque

Recherchez ceci et la première page est divisée entre les entrées du glossaire et les produits. Les glossaires répondent à ce que c'est, les produits répondent à ce qu'ils vendent, et les deux ignorent la question qui décide si l'un de ces éléments fonctionne dans votre équipe : quel est exactement le modèle que l'on demande de produire.

Cela ressemble à une chicane de définition et c’est tout le problème. Le mot révision recouvre deux métiers qui n’ont presque rien en commun. L’un d’eux, un modèle, fait assez bien pour faire confiance à un design qui l’entoure. L’autre échoue d’une manière qui produit un résultat confiant et complet, ce qui est la forme la plus coûteuse qu’un échec puisse prendre.

Les deux métiers cachés dans le mot review

Le premier travail est l’extraction. Trouvez la limitation de responsabilité, citez-la, dites où elle se trouve. C'est proche d'un problème de récupération, la réponse existe dans le document, et un humain peut la vérifier en regardant la page. La majeure partie de ce qui est démontré lors de l'examen des contrats est la suivante.

Le deuxième travail est la déviation. Dites si cette clause s’écarte de ce que votre camp accepte. Il ne s’agit pas d’une récupération, car la réponse ne figure pas dans le document. Cela fait partie de vos normes, et si ces normes ne sont écrites nulle part, le modèle comparera le contrat à une notion générale plausible des conditions du marché et vous rendra un verdict qui ressemble au vôtre et ne l'est pas. Rien dans la sortie ne marque la différence.

La première chose à régler, avant toute question d’outil, est donc de savoir si vous disposez d’un playbook comme document. Pas comme votre avocat principal le sait. Un modèle ne peut pas lire ce que personne n’a écrit, et une constatation d’écart n’est toujours aussi bonne que la norme qui la sous-tend. Le même problème de tri apparaît dans toute cette catégorie, ce qui est l'argument dans l'article sur les premiers pilotes pour les cabinets d'avocats : choisissez le flux de travail en fonction de la façon dont sa sortie est vérifiée, et non en fonction de l'impressionnante de la démo.

Ce qu'il capture de manière fiable

Le mérite est dû, car les découvertes utiles sont les plus ennuyeuses.

Clauses qui n'existent pas du tout. Exécutez une liste de contrôle sur le document et les absences font surface. C'est ennuyeux, c'est là que réside la véritable exposition, et c'est exactement ce qui manque à une personne lors du quarantième accord de la semaine.
Conditions standard clairement énoncées. Loi applicable, durée et renouvellement, délais de préavis, cession, plafond indiqué en un seul endroit. Lorsqu’un terme est écrit une seule fois et clairement, l’extraction est fiable.
Chaque mention d'un terme défini. Demander où apparaissent les informations confidentielles est un travail de recherche, et il est plus rapide et plus complet que la personne qui le fait à l'œil nu.
Le premier passage sur un document que personne ne lirait autrement. Un accord de faible valeur qui est actuellement signé sans être lu est amélioré par toute analyse structurée, qui est la victoire la plus facile dans cette catégorie et la moins souvent revendiquée.

Ce qui manque et pourquoi vous ne le remarquerez pas

Chaque échec ci-dessous partage une propriété : la sortie semble toujours terminée.

Le qualificatif qui vit ailleurs. Le plafond figure dans l'article onze et une exclusion dans l'annexe trois le supprime pour la catégorie qui vous intéresse réellement. L'extraction de l'article onze est correcte. La réponse à la question que vous avez posée est fausse. Un modèle doté d'un long document renverra souvent la clause qui correspond aux mots de votre question et s'arrêtera, car il a trouvé quelque chose.

Incorporation par référence. Un formulaire de commande indique que les conditions générales s'appliquent et que les conditions principales se trouvent dans un lien. Le document devant le modèle n'est pas le contrat. Il s’agit d’un fragment du contrat, et rien dans le dossier ne l’annonce.

Dérive du terme défini. L'affilié est défini de manière étroite dans la première clause, et une indemnité qui se lit au sens large est donc étroite. Lire une clause en anglais plutôt qu'en fonction de ses définitions est la manière la plus courante pour laquelle une citation correcte devient une conclusion erronée.

Silence. Le risque dans un contrat est souvent ce qu'il ne dit pas. Un modèle chargé de réviser le document n'a rien à récupérer pour une clause qui n'a jamais été rédigée, donc l'absence n'apparaît nulle part dans un résumé libre. Les absences n'apparaissent que si le travail est mené article par article à partir d'une liste comprenant celles que vous espérez trouver.

Déviation commerciale plutôt que textuelle. Le langage est tout à fait standard et totalement erroné pour cette transaction, en raison du volume, des données ou de l'identité de la contrepartie. Il n’y a rien d’anormal à signaler dans le texte. Il s’agit de la catégorie dans laquelle un outil apprend discrètement aux gens à croire qu’un rapport impeccable signifie un contrat sûr.

Le design qui rend visible une miss

Le but de la conception n’est pas d’empêcher le modèle de se tromper. Il s’agit de donner une mauvaise réponse du genre de celle que quelqu’un remarque.

Extrait d'une position, jamais d'un verdict. Chaque découverte porte la portée citée et sa localisation. Un résultat sans citation ne peut pas être vérifié en quelques secondes, et tout ce qui ne peut pas être vérifié en quelques secondes ne sera pas vérifié.
Conduisez le tout à partir d'une liste de contrôle de clauses. Le résultat est une ligne pour chaque clause que vous attendez, y compris les lignes indiquant "non trouvé". Un résumé sous forme libre ne peut structurellement pas signaler une absence.
Conservez le playbook sous forme de document versionné. Lorsqu'une constatation d'écart est contestée, l'argument doit porter sur la norme plutôt que sur le modèle. Si personne ne peut produire la norme, la découverte n’a jamais été une découverte.
Renvoyer une raison, pas un score. Une phrase nommant les deux faits sur lesquels repose un jugement peut être auditée. Un nombre à lui seul fait disparaître la partie invérifiable.
Acheminez par confiance au lieu de demander un chiffre de précision. Il s'agit de la même forme que pour tout pipeline d'extraction, et l'élément de traitement des documents présente un cas plus complet : un seul chiffre de précision sur une pile mixte ne vous dit presque rien sur les documents qui comptent.
Ne laissez jamais le modèle marquer un contrat approuvé. L'approbation est une personne, nommée, à qui on peut demander pourquoi. Conservez cette porte même une fois que la chose fonctionne bien, car c'est la porte que toute la conception protège.

Le mesurer sans se flatter

Le chiffre qui apparaît dans presque toutes les analyses de rentabilisation à ce sujet est le temps de révision avant et après. C’est le chiffre le plus facile à déplacer et celui qui s’avère le moins efficace, car la même heure passée à vérifier les résultats qui doivent être entièrement vérifiés n’a pas été économisée. Il a été renommé.

La mesure honnête est un ensemble de contrats qu'un avocat a déjà correctement annotés, notés clause par clause. Deux comptes comptent plus que n’importe quelle moyenne. Combien de clauses ont été entièrement manquées, absences incluses, quel est le nombre qui vous renseigne sur l'exposition. Et combien d’indicateurs se sont avérés ne pas être des écarts, c’est le nombre qui vous indique si quelqu’un lira encore les rapports le trimestre prochain. C'est le bruit qui tue ces déploiements, pas le taux d'erreur.

Ces deux éléments ont besoin de cas avant d’avoir besoin d’un outil, et leur assemblage est la partie que les équipes ignorent. L'article sur l'évaluation de ces systèmes explique d'où viennent les cas et pourquoi un benchmark public ne peut pas répondre à une question sur vos contrats. Si vous souhaitez un aperçu structuré de ce que vous avez écrit et de ce qui n'existe que dans la tête de quelqu'un, l'évaluation de l'état de préparation à l'IA suit le même chemin dans l'ensemble d'une entreprise.

Où nous traçons la ligne

Ce que nous construisons pour cela est délibérément restreint. Extraction avec une citation pour chaque conclusion, écart vérifié par rapport à un playbook que le client a écrit et possède, un rapport de couverture avec une ligne pour chaque clause attendue et un routage de confiance afin que les cas incertains arrivent sur un bureau plutôt que dans un résumé.

La porte d’examen reste. Le modèle n’envoie rien à une contrepartie, il ne marque rien comme approuvé et il ne décide pas qu’une clause est acceptable. Si un client souhaite que cette porte soit supprimée parce que la chose est exacte depuis un trimestre, la réponse est non, et la raison est dans la liste d'échecs ci-dessus : l'exactitude des cas que vous avez vus ne dit rien sur le contrat qui manque la moitié de lui-même.

Si vous avez besoin de la plomberie environnante plutôt que du jugement, c'est un problème d'intégration et cela représente souvent la plus grande moitié du travail. Si le playbook lui-même constitue la lacune, une construction sur mesure commence par l'écrire, car rien en aval n'est possible tant que quelqu'un ne l'a pas fait.

Que demander avant d'en acheter un

Chaque découverte est-elle accompagnée d'une durée et d'un lieu cités, ou seulement d'une conclusion ?
L'outil peut-il signaler une clause absente, ou décrit-il uniquement ce qu'il a trouvé ?
D'où vient son idée de standard de marché et pouvez-vous la remplacer par la vôtre ?
Qu'arrive-t-il à un bon de commande qui intègre des termes par référence ?
Pouvez-vous exécuter une vingtaine de contrats déjà signés par votre équipe et voir les ratés plutôt que les succès ?

Cette dernière question est la seule à laquelle on ne puisse répondre par une démonstration, c’est pourquoi c’est celle sur laquelle il convient d’insister.