Qu’est-ce qui décide du coût de développement de l’IA et qui en décide

Recherchez ceci et vous obtenez des plages. Une preuve de concept coûte autant, un système de production coûte autant, une plate-forme d'entreprise coûte un montant plus élevé et chaque page présente ses chiffres avec la confiance d'une liste de prix. Mettez quatre de ces pages côte à côte et les plages se chevauchent à peine, ce qui vous indique quelque chose de plus utile que n'importe lequel des chiffres individuels.

Une fourchette qui s’étend sur un ordre de grandeur n’est pas une estimation. C’est une affirmation selon laquelle la question telle qu’elle est posée n’a pas de réponse, déguisée en réponse. Et la question posée n'en a vraiment pas, car l'objet dont le prix est indiqué n'est pas spécifié : un chatbot sur votre centre d'aide et un système qui lit les contrats et les classe sont tous deux du "développement d'IA", et rien dans l'expression ne les distingue.

Ce qui vaut la peine, c’est la méthode. Il y a quatre lignes de coûts dans une construction de ce type, elles se comportent différemment les unes des autres, trois quantités déterminent la majeure partie du total, et toutes les trois sont les vôtres plutôt que celles d'un fournisseur. Vous pouvez atteindre un chiffre défendable pour votre propre projet en une après-midi, et le but n’est pas d’éviter d’embaucher quelqu’un. C’est que vous ne pouvez pas évaluer un devis par rapport à rien.

Il n'y a pas un numéro, il y en a deux

La première erreur est de se demander ce que ça coûte, au singulier. Une construction a un coût unique et un coût récurrent, ils sont approuvés par différentes personnes selon différents cycles, et la seconde est celle qui décide si le projet survivra à sa deuxième année.

Gardez-les à l'écart de la première conversation. Un système coté en capital sans chiffre mensuel à côté n'a pas été délimité, il a été décrit. Et le numéro récurrent est celui qui fait annuler un projet, car un dépassement de capital est une conversation désagréable qui se produit une seule fois, alors qu'un coût mensuel que personne n'a budgétisé est une conversation qui se produit tous les mois jusqu'à ce que quelqu'un éteigne le système.

Les quatre lignes, triées selon qu'elles s'arrêtent ou non

La distinction qui compte n’est pas le nom de chaque ligne. Il s'agit de savoir si cela se termine à la fin de la construction.

Construire la main d'œuvre. Conception, ingénierie, intégration, tests, le travail consistant à passer de rien à quelque chose de fonctionnel. C’est le seul des quatre qui s’arrête, et c’est le seul couvert par la plupart des citations. C’est aussi la ligne sur laquelle tout le monde s’ancre, c’est ainsi que les trois autres se retrouvent sans budget.

Utilisation du modèle. Chaque demande que vous envoyez coûte quelque chose, tarifé séparément en fonction du texte entrant et du texte sortant. Cela ne s’arrête pas et évolue avec l’utilisation plutôt qu’avec la complexité, ce qui est contre-intuitif : une tâche simple exécutée en permanence coûte plus cher à exécuter qu’une tâche sophistiquée exécutée rarement. Les fournisseurs publient leurs tarifs actuels et la documentation sur les prix d'Anthropic est la page faisant autorité pour ses propres modèles plutôt qu'un résumé de ceux-ci. Nous avons un article plus long sur ce qui vous est réellement facturé, car la structure de la facture change beaucoup plus lentement que les tarifs.

Infrastructure. Tout ce que vous exécutez vous-même : stockage des documents, base de données pour l'index de récupération, calcul pour les parties qui ne sont pas un appel de fournisseur, journalisation, sauvegardes. Cela ne s'arrête pas non plus, et c'est la plus prévisible des trois lignes récurrentes, ce qui en fait la plus simple pour obtenir un chiffre réel avant que quiconque ne vous cite.

Entretien. Quelqu'un remarque que les réponses ont empiré. Les sources changent, les autorisations changent, un modèle est obsolète et le comportement que vous avez adapté évolue. Il s’agit d’un coût de personnel plutôt que d’achat, c’est la ligne qu’aucune proposition ne contient, et c’est celle qui décide tranquillement si le système fonctionne toujours un an après son lancement.

Trois de ces quatre sont récurrents. Si un devis évalue l'un d'entre eux et mentionne les autres comme considérations, vous avez reçu un prix de construction et aucun coût de possession, et ce n'est pas le même document.

Les trois quantités que vous seul pouvez fournir

Voici pourquoi aucune gamme publiée ne peut vous convenir. Le total est dominé par trois quantités, et un vendeur ne peut en connaître aucune tant que vous ne le lui dites pas.

Combien de fois il s'exécute. Par jour, de manière réaliste, y compris les tentatives et les cas où il échoue et s'exécute à nouveau. La plupart des gens estiment cela à partir du chemin heureux et atterrissent largement bas. Le trafic d’exception est le trafic.

Combien de contexte chaque exécution comporte. C'est la quantité qui surprend le plus les gens, car elle n'a rien à voir avec la difficulté de la tâche. Une question répondue sur un court document et la même question répondue sur un ensemble de passages récupérés et un long bloc d'instructions diffèrent énormément en termes de coût, et elles semblent identiques dans une démo.

Quelle part vous appartient. Un système qui appelle uniquement un fournisseur n'a presque pas de ligne d'infrastructure. Un système qui conserve vos documents, les indexe et sert à les récupérer en a un réel. Il s’agit d’une décision de conception, généralement prise tôt, et elle modifie le total récurrent plus que le choix du modèle.

Fournissez ces trois éléments et l’arithmétique n’est pas difficile. Refusez de les fournir et aucun numéro que quiconque vous donne ne signifie quoi que ce soit, c'est précisément pourquoi les gammes publiées sont aussi larges qu'elles le sont.

Transformer une description de fonctionnalité en chiffre mensuel

C’est une démarche mécanique plutôt qu’intelligente, et cela prend à peu près autant de temps que la lecture d’un des guides de tarification.

Prenez une demande réaliste de la chose que vous souhaitez construire, pas un court exemple. Écrivez ce qui s'y trouve réellement : l'instruction, le contexte récupéré, l'historique de la conversation s'il y en a et la longueur de la réponse que vous attendez en retour. Ensuite, transmettez-le via notre calculateur de coût LLM au volume de la première quantité ci-dessus. Cela vous donne la ligne d'utilisation du modèle sous forme de chiffre mensuel.

Si une partie du plan s'exécute sur votre propre infrastructure, le calculateur de coûts AWS vous donne la forme de cette ligne au cours de la même session. Ce ne sera pas exact et ce n’est pas obligatoire. Vous cherchez si la réponse est une erreur d’arrondi ou un poste budgétaire, et cette distinction est généralement évidente dès le premier passage.

Comparez ensuite le total mensuel à la valeur mensuelle. C’est l’étape qui est systématiquement sautée et c’est tout l’intérêt de l’exercice : une construction vaut la peine d’être payée lorsque le coût récurrent est confortablement inférieur au bénéfice récurrent, et le montant du capital est une question secondaire à laquelle on répond par combien de temps vous êtes prêt à attendre la différence pour la rembourser. Effectué dans cet ordre, le calcul met parfois fin au projet, et le terminer à ce stade coûte un après-midi au lieu de deux trimestres.

Ce qui fait le plus bouger un devis de construction, et ce n'est pas le modèle

Si vous comparez des propositions, les lignes qui varient le plus entre elles sont rarement celles qui sont discutées.

Le choix du modèle déplace la ligne récurrente et touche à peine la construction. C’est aussi la chose la plus facile à changer plus tard, donc la traiter comme une décision majeure au début est généralement un effort mal placé.

L’état de vos données fait tout bouger. Les données accessibles, c'est-à-dire un système nommé, un moyen de l'interroger et quelqu'un qui peut l'autoriser, sont un projet différent des données qui existent en principe dans plusieurs endroits dont personne n'est propriétaire. La deuxième version est principalement un projet de données auquel est joint un modèle, et son prix est le même que celui de la première version pour quiconque ne l'a pas regardé.

La surface d'intégration déplace fortement la ligne de construction. Un système à partir duquel lire et un seul endroit où écrire est un petit travail. Quatre systèmes, dont deux n'ont aucune interface utilisable et dont un appartient à une équipe avec sa propre feuille de route, ne constituent pas une version plus grande de cette tâche, c'est une tâche différente avec des dépendances que vous ne contrôlez pas.

Et la définition du travail fait bouger le tout. Un système qui doit être correct la plupart du temps, avec une personne qui examine le résultat, est considérablement moins cher qu'un système fiable qui agit sans supervision. Il s’agit d’une seule phrase dans une spécification et c’est souvent le facteur de coût le plus important du document.

Questions qui rendent deux citations comparables

Posez-les et les plages se résument en quelque chose que vous pouvez réellement lire.

Quel est le coût mensuel au volume que nous vous avons donné, réparti en utilisation du modèle et en infrastructure ?
Laquelle des quatre lignes ci-dessus est couverte par ce prix et lesquelles sont exclues ?
Quelle hypothèse avez-vous faite concernant l'état de nos données, et qu'est-ce qui change si cette hypothèse est fausse ?
À qui appartient ce produit après le lancement, nommément nommé, et à combien coûte le temps de cette personne ?
Que fait le système lorsqu'il ne peut pas répondre, et qui voit cela ?
Qu'est-ce qui vous ferait recommander de ne pas construire cela ?

Le dernier vaut plus que les autres ensemble. Une proposition de quelqu'un qui peut décrire les conditions dans lesquelles son propre service constitue un mauvais achat est une proposition de quelqu'un qui a réfléchi à votre cas plutôt qu'à son pipeline.

Si vous avez déjà commencé à comparer les devis, notre évaluation de l'état de préparation à l'IA couvre le même terrain avec lequel une conversation de cadrage s'ouvre, à travers les données, les cas d'utilisation, les compétences et l'infrastructure. C’est gratuit, et un résultat indiquant que rien n’est encore prêt est une véritable réponse plutôt qu’un échec. Il est considérablement moins coûteux d’obtenir cette réponse maintenant qu’après la signature d’un énoncé des travaux.