Méthodologie d'évaluation, de conception et de sécurité pour « ne pas laisser l'IA finir comme un simple outil pratique »
Si vous ne voyez Yusuke Narita que comme un « chercheur qui parle beaucoup d'IA », vous passez à côté de l'essentiel. Sa façon d'aborder l'IA ne se limite pas à l'amélioration générale de la productivité, comme rédiger des phrases avec des chatbots, résumer des réunions ou bien écrire des prompts. Sa caractéristique réside plutôt dans le fait de considérer l'IA comme un « dispositif qui prend des décisions » et de réfléchir collectivement à la manière de la concevoir, de l'évaluer et de l'implémenter en toute sécurité dans la société.
Sur son site officiel, il décrit sa spécialité comme « la conception d'entreprises et de politiques publiques à l'aide de données, d'algorithmes et de la pensée », et « le développement de méthodes pour concevoir des algorithmes de décision sociale de manière pilotée par les données ». Dans son profil officiel à l'université Yale, le cœur de ses recherches est la conception d'algorithmes de décision dans les politiques et les affaires, en combinant inférence causale, apprentissage automatique et estimation structurelle. En d'autres termes, pour lui, l'IA n'est pas une application autonome, mais le fondement d'une « intelligence qui pilote les jugements du monde réel » tels que les recommandations, la publicité, la recherche et l'allocation des politiques.
Et enfin, une dernière chose.
L'utilisation présentée dans cet article — « ne pas laisser l'IA écrire les réponses, mais lui faire organiser les documents pour que vous puissiez juger » — redeviendra une utilisation classique si vous vous contentez de lire et d'être d'accord. Cela n'a de sens que lorsque vous l'appliquez réellement dans votre propre travail.
C'est pourquoi j'ai préparé un kit pratique gratuit pour que vous puissiez intégrer directement cette façon de penser dans vos propres opérations.
Vous pouvez recevoir ce qui suit :
Vous n'avez pas besoin de participer à des consultations ou séminaires gratuits. Vous pouvez le recevoir directement après avoir ajouté le LINE.
Obtenez-le ici :
Maintenant, c'est parti.
1. Le cœur de l'utilisation de l'IA à la Narita est de « juger le jugement de l'IA » plutôt que de « demander à l'IA »
Beaucoup de gens utilisent l'IA comme une version supérieure d'un moteur de recherche ou comme une externalisation de la rédaction. Bien sûr, cela est efficace en soi, mais la manière d'aborder l'IA à la Narita va au-delà. Dans sa pensée, l'IA ne se contente pas de répondre aux questions ; elle effectue elle-même des « prises de décision », comme quels produits recommander, quelles publicités montrer et quels coupons distribuer. Et l'important n'est pas de laisser ce jugement sans contrôle, mais de le concevoir de manière à pouvoir toujours l'évaluer plus tard.
Fait démontré par Narita : l'IA n'est pas une « boîte à réponses » mais un « sujet qui prend des décisions »
Dans un article coécrit par Narita, il est indiqué que « les algorithmes en viennent à effectuer de nombreuses prises de décision dans les politiques et les affaires ». La première technique d'utilisation qui en découle est de traiter l'IA non pas comme une « boîte qui renvoie des réponses » mais comme un « sujet qui prend des décisions », et de créer d'abord un système pour mesurer la qualité de ce jugement. Si vous utilisez l'IA uniquement pour raccourcir des e-mails, l'avantage concurrentiel est faible. Cependant, si vous mettez en place une structure où vous confiez la prise de décision à l'IA, vérifiez la qualité de ce jugement avec des données, et l'améliorez tout en évitant la détérioration, l'IA devient non seulement un outil d'efficacité, mais un moteur de jugement pour l'entreprise.
Application aux individus et aux entreprises
Si vous transposez cette façon de penser aux individus ou aux entreprises, cela donne ceci. Avant de laisser l'IA faire quelque chose, décidez « quel jugement cela doit-il améliorer ? » et « comment allons-nous mesurer plus tard si ce jugement était bon ? » Pour les ventes, ne vous contentez pas de créer des propositions ; définissez le jugement de quelle proposition donner à quel client et la vérification de ce taux de conclusion comme un ensemble. Pour le e-commerce, ne vous contentez pas de décrire les produits ; évaluez le jugement de quel produit montrer à qui, en tenant compte non seulement du taux d'achat mais aussi de l'efficacité des stocks. La méthode Narita est l'idée de concevoir le « système de jugement » plutôt que la « réponse » de l'IA.
2. Décider de l'utilisation de l'IA avec « l'évaluation d'abord »
La partie la plus cohérente de la pensée de Narita est l'idée de l'évaluation d'abord. Dans ses articles coécrits, il souligne que bien que les tests A/B soient fiables, ils prennent du temps et de l'argent et comportent un risque d'échec. Par conséquent, il argue à plusieurs reprises qu'au lieu de lancer soudainement en production, il faut d'abord estimer « ce qui se serait passé si vous aviez fait différemment » à partir des données de logs passés.
Qu'est-ce que l'évaluation d'abord ?
L'évaluation d'abord dans l'utilisation de l'IA, ce n'est pas « introduire l'IA parce que c'est à la mode ». D'abord, vous décidez à l'avance « comment mesurer si ce jugement de l'IA était bon ».
Par exemple, considérez le travail d'automatisation du service client par l'IA. Superficiellement, c'est un « travail de génération automatique de réponses », mais lorsqu'on le décompose avec l'évaluation d'abord, la conception vient en premier : qu'est-ce qui est considéré comme une bonne réponse (taux de résolution, satisfaction, ou temps de réponse ?), quelles données seront utilisées pour le mesurer, et comment remarquerez-vous une détérioration ?
Application aux individus et aux entreprises
L'utilisation de l'IA à la Narita est nette dans cette séparation. Au lieu de tout jeter sur l'IA, vous définissez d'abord « ce qu'est un bon jugement », préparez un étalon pour le mesurer, puis vous déplacez l'IA pour la première fois. Avant de penser à ce que vous allez laisser faire à l'IA, vous vous demandez ce que vous voulez améliorer en premier lieu. C'est cela, l'introduction de l'IA avec l'évaluation d'abord.
3. « Évaluer avec les données passées avant de passer en production » = L'idée de l'évaluation contrefactuelle
Au cœur des recherches de Narita se trouve une technologie appelée Off-Policy Evaluation (OPE). C'est un mot difficile, mais le contenu est simple : « évaluer à l'avance des mesures non encore réalisées à partir des données de logs passés ».
Pourquoi « passer soudainement en production » est dangereux ?
Cette façon de penser peut être utilisée directement pour l'utilisation de l'IA. De nombreuses organisations échouent parce qu'elles lancent soudainement en production de nouvelles méthodes qu'elles ont imaginées. Si ça marche, tant mieux, mais si ça rate, cela aggrave la réponse client et fait perdre du temps et de l'argent.
Application aux individus et aux entreprises
Si vous pensez à la manière Narita, l'ordre d'introduction de l'IA est le suivant. D'abord, si vous avez une nouvelle idée de prompt ou de politique, ne la mettez pas immédiatement en production. Ensuite, utilisez les logs de cas passés similaires pour estimer « ce qui se serait passé avec cette nouvelle méthode ». Enfin, seules les méthodes qui ne montrent pas de détérioration claire sont mises en production progressivement.
L'IA est puissante, mais si vous la mettez en production sans vérification, l'échec atteint l'utilisateur dans son intégralité. À l'inverse, si vous produisez après avoir évalué avec des données passées, vous pouvez réduire considérablement le taux d'accidents. En d'autres termes, ce qui est important en tant qu'étape préalable à l'utilisation de l'IA, ce n'est pas de s'acharner, mais de lire en toute sécurité avec les données historiques.
4. « Remettre en question l'étalon lui-même » = Ne pas croire en une seule métrique
Indispensable dans la manière d'aborder l'IA à la Narita est le scepticisme envers la méthode d'évaluation elle-même. Dans ses articles coécrits, il y en a un qui dit que « la meilleure méthode d'évaluation change selon la tâche, et il n'y a pas de gagnant unique ». Par conséquent, vous devez préparer plusieurs étalons et choisir celui qui convient le mieux à chaque situation.
Pourquoi une seule métrique est dangereuse ?
Cela montre un pilier important de l'utilisation de l'IA à la Narita. À savoir, ne pas juger les résultats de l'IA par un seul chiffre. En entreprise, il est facile de se jeter sur une seule métrique comme le taux de clic a augmenté ou la réaction a été bonne. Mais ce chiffre mesure-t-il vraiment ce que vous voulez améliorer ?
Application aux individus et aux entreprises
Si un individu imite cela, lors de l'évaluation des résultats de l'IA, il faut toujours les regarder sous plusieurs angles. Par exemple, si vous mesurez un chatbot uniquement par le « taux de résolution », même si le taux de résolution augmente, si l'utilisateur le trouve « froid » et part, c'est en fait un échec. Donc, regardez séparément le taux de résolution, la satisfaction, le taux d'attrition et le temps de réponse.
L'utilisation de l'IA à la Narita remet en question la justesse de l'étalon avant de comparer les modèles. L'IA va optimiser en fonction de l'étalon que vous fixez. Par conséquent, si l'étalon est décalé, plus elle devient intelligente, plus elle partira dans la mauvaise direction. Consolider cela d'abord est la méthode Narita.
5. Ne pas reporter « les contraintes ennuyeuses du monde réel »
Un point commun aux recherches récentes de Narita est d'intégrer les problèmes réels dans le système d'évaluation dès le départ, et non comme une réflexion après coup. Le problème de l'augmentation continue des nouveaux produits et articles, le problème des limites supérieures des stocks et des budgets de coupons, et le problème des comportements différents selon les utilisateurs. Il prend ces contraintes en compte dès le début.
Pourquoi l'IA fabriquée avec idéalisme casse en production
Ce qui est important ici, c'est que l'utilisation de l'IA ne se termine pas par des « conditions idéales ». Les opérations réelles ont toujours des budgets, des ressources humaines, des conditions à ne pas enfreindre et une diversité d'utilisateurs. Même si vous créez un prompt qui fonctionne bien dans un état idéal, il se brise lorsqu'il rencontre les contraintes du monde réel.
Par exemple, la limite supérieure des stocks. Si vous ordonnez simplement à l'IA de « continuer à sortir des produits qui semblent avoir une bonne réaction », les produits populaires s'épuiseront en un instant, et vous ne pourrez rien proposer aux clients qui arrivent ensuite. Les recherches de Narita prennent en compte ces contraintes d'approvisionnement dès le départ et évaluent en regardant « l'allocation aux futurs utilisateurs » plutôt que seulement « la réaction à ce moment précis ».
Application aux individus et aux entreprises
Cette idée peut également être appliquée au travail en général. Lorsque vous réfléchissez à des mesures liées à l'IA, au lieu de construire d'abord avec idéalisme et d'ajuster ensuite, intégrez dès le départ comme prémisses le « budget utilisable », les « heures de travail disponibles », les « choses à ne jamais faire » et la « gamme d'utilisateurs cibles ». L'utilisation de l'IA à la Narita ne repousse pas les contraintes du monde réel. Plus une IA est belle, plus elle échouera en production si les contraintes sont ignorées.
6. Traiter l'IA non pas comme une « machine à répondre » mais comme une « machine à éviter la détérioration »
Ce qui caractérise bien les recherches de Narita, c'est l'idée de considérer le « fait de ne pas empirer » comme un résultat en soi. Dans ses recherches, il y a des choses qui imposent une contrainte de ne pas tomber en dessous de la politique actuelle avec une forte probabilité, et d'autres qui desserrent le frein de sécurité petit à petit dans un petit nombre d'introductions.
L'idée de compter « éviter la détérioration » comme un résultat
Voici un grand bond dans l'utilisation de l'IA à la Narita. De nombreuses utilisations de l'IA ne regardent que « combien ça s'est amélioré ». Mais Narita traite « combien de détérioration a pu être évitée » comme un résultat tout aussi important.
Application aux individus et aux entreprises
C'est également suggestif dans l'utilisation de l'IA en entreprise. Lorsque vous essayez d'améliorer la qualité des réponses, au lieu de basculer soudainement tout vers une nouvelle méthode, garantissez d'abord qu'elle ne tombe pas en dessous de la méthode actuelle, puis essayez petit à petit. Plus précisément, essayez la nouvelle politique avec seulement 1 à 5 % du total, et décidez à l'avance d'une ligne d'arrêt comme « arrêter si ça se détériore clairement ».
Ce qui fait la différence dans l'utilisation de l'IA, ce n'est pas seulement le côté spectaculaire de l'attaque. C'est la capacité à étendre le champ de l'exploration tout en supprimant la probabilité de détérioration. Selon Narita, ce n'est qu'en concevant simultanément l'amélioration de la qualité de l'IA et la suppression des dérives, des réponses incorrectes et des biais, que l'IA peut se développer en toute sécurité.
7. Intégrer « l'éthique » dans les calculs, pas comme une note
Une caractéristique de la vision de l'IA de Narita est la manière dont l'éthique est traitée. Alors que l'éthique tend à être une « note ajoutée à la fin » dans de nombreux domaines, dans les recherches de Narita, l'éthique est intégrée dans le problème d'optimisation.
Intégrer l'éthique dans l'optimisation
Par exemple, dans des recherches sur la conception d'expériences médicales, il souligne que les méthodes conventionnelles présentent des problèmes éthiques tels que l'attribution de traitements connus pour être moins efficaces ou de traitements que les participants n'aiment pas. Par conséquent, il intègre dès le départ les préférences des participants et les effets prédits dans le calcul d'allocation afin d'essayer d'augmenter la satisfaction des participants.
Application aux individus et aux entreprises
Si vous ramenez cela à l'utilisation de l'IA, cela devient une histoire essentielle. Ce n'est pas « c'est OK si la précision est élevée », mais « mettre les sentiments des personnes qui l'utilisent et le coût des dommages dans l'évaluation dès le départ ».
Par exemple, lorsque vous proposez de nouvelles recommandations avec l'IA. Si vous ne proposez pas de nouveaux candidats, le système stagne, mais si vous en proposez trop, vous ratez et provoquez un accident. Les recherches de Narita tentent de satisfaire à la fois cette « nouveauté (exposition équitable) » et cette « sécurité ». Si vous ne cherchez que l'efficacité, la charge ira quelque part sur quelqu'un. La méthode Narita intègre le coût de cette charge dans le calcul dès le départ. Elle traite l'éthique non pas comme un frein, mais comme une partie de la conception.
8. Évaluer l'évaluateur lui-même = une méta-optimisation en un pas
Ce qui est intéressant dans les recherches de Narita, c'est qu'avant de comparer les modèles d'IA, il place une étape pour vérifier « si la méthode de comparaison (l'évaluateur) elle-même est correcte ». Dans ses recherches, il existe une méthode pour choisir automatiquement quelle méthode d'évaluation est bonne selon la tâche.
Vérifier l'« étalon » avant le modèle
Ce que l'on peut voir de cela, c'est que la vision de l'optimisation des performances de Narita est un cran au-dessus du réglage des modèles. Beaucoup de gens se disputent pour savoir « quel modèle est supérieur », mais Narita confirme d'abord « si l'étalon lui-même pour noter le modèle est correctement juste ».
Application aux individus et aux entreprises
Si une entreprise générale imite cela, avant de comparer des outils d'IA, elle remet en question les critères de comparaison. Par exemple, lorsque vous essayez de comparer deux IA par la « vitesse de réponse », demandez-vous d'abord si la vitesse est vraiment la chose la plus importante dans cette activité. Si vous comparez avec des critères décalés, même si vous adoptez celui qui a gagné, cela se détériorera en réalité.
L'utilisation de l'IA semble être une bataille de « quel modèle choisir », mais c'est en fait une bataille de « quels critères utiliser pour choisir ». Si vous apprenez de la méthode Narita, vous devez mesurer la validité de l'étalon avant de mesurer les performances du modèle.
9. Savoir que les méthodes conventionnelles se brisent avec des « grands choix »
Dans les recherches de Narita, on reconnaît que les méthodes d'évaluation conventionnelles se brisent dans des situations où il y a un très grand nombre de choix (actions). Il soutient que dans des situations traitant de grands choix comme les recommandations et les recherches avec trop de candidats, et les modèles de langage, une évaluation utilisant des caractéristiques et des embeddings est nécessaire plutôt qu'une simple comparaison de taux de victoire.
Pourquoi l'évaluation se brise avec un grand nombre de choix
Cela touche directement l'utilisation actuelle des LLM. L'IA générative a un énorme nombre de candidats pour la sortie et de choix pour les outils utilisables. Dans une telle situation, si vous comparez simplement « lequel était le meilleur, A ou B », la comparaison elle-même devient instable.
Application aux individus et aux entreprises
Si un individu applique cela, plus le travail comporte de nombreux choix d'IA, plus il évite les comparaisons grossières à deux options. Par exemple, ne décidez pas immédiatement « lequel des 10 candidats de prompt est le meilleur » avec un petit échantillon. Lorsqu'il y a beaucoup de candidats, ne précipitez pas le jugement et examinez attentivement dans plusieurs conditions.
L'utilisation de l'IA à la Narita suppose que l'évaluation devient plus difficile à mesure que le nombre de choix augmente. Par conséquent, dans les situations avec de nombreux candidats, ils s'en tiennent à une évaluation conçue plutôt qu'à une simple comparaison.
10. Comprendre l'importance de « réduire la friction de saisie »
À la base des recherches de Narita se trouve l'idée de continuer à laisser les données correctement afin de faire fonctionner en continu le système de jugement. Dans l'infrastructure de données à laquelle il participe, des informations telles que quel choix a été proposé avec quelle probabilité sont enregistrées afin que l'on puisse ultérieurement évaluer équitablement « pourquoi ce résultat s'est produit ».
Continuer à laisser un « état vérifiable »
L'utilisation de l'IA ici n'est pas seulement une question d'efficacité. C'est « continuer à créer un état qui peut être vérifié plus tard sans le trouver ennuyeux ». Si la vérification est ennuyeuse, les gens cesseront de la faire. C'est pourquoi une conception qui abaisse la barrière pour l'enregistrement et l'évaluation est nécessaire.
Application aux individus et aux entreprises
Si vous transposez cette idée dans l'utilisation quotidienne de l'IA, ce qui est important est de « réduire la friction de la vérification ». Évaluer manuellement les résultats de l'IA à chaque fois ne tiendra pas. Par conséquent, modélisez les prompts que vous utilisez souvent, décidez à l'avance des métriques pour mesurer les résultats, et faites en sorte que les résultats soient automatiquement enregistrés. Plus vous raccourcissez la distance jusqu'à la vérification, plus le cycle d'amélioration de l'IA continuera de tourner.
La manière d'aborder l'IA à la Narita est finalement dirigée vers « les humains définissant un bon jugement, l'IA l'exécutant, les résultats étant toujours enregistrés, et étant améliorés à nouveau ».
11. Utiliser avec un sentiment d'urgence
Dans la vision de l'IA de Narita, il y a un sentiment de tension concernant le fait de confier le jugement aux algorithmes, en même temps qu'une attention aux possibilités. Dans un dialogue, il dit à peu près que « l'argent » n'est qu'une représentation unidimensionnelle grossière de ce que les gens ont fait dans le passé, et s'il existe des données plus détaillées, il peut être remplacé par celles-ci. Il considère l'IA et les données comme un fondement qui peut remplacer les critères de jugement de la société elle-même.
La responsabilité devient ambiguë à mesure que l'on confie le jugement
Ce point est également important en tant que technique d'utilisation de l'IA. Il est dangereux d'utiliser l'IA simplement parce qu'elle est pratique. Plus vous confiez le jugement à l'IA, plus il devient ambigu de savoir à qui appartient la responsabilité de ce jugement et selon quels critères il a été rendu. Fuite d'informations, désinformation, biais, localisation de la responsabilité et dépendance excessive. Si vous confiez la prise de décision à l'IA en ignorant ces éléments, vous perdez la confiance à long terme en échange d'une efficacité à court terme.
Application aux individus et aux entreprises
Si vous apprenez de la méthode Narita, ne vous arrêtez pas par peur de l'IA, mais concevez en prenant les risques comme prémisse. Créez des règles pour ne pas mettre d'informations confidentielles. Laissez une confirmation humaine pour les jugements importants. Laissez des journaux des jugements de l'IA. Définissez le périmètre de responsabilité lorsqu'un jugement incorrect se produit. L'utilisation de l'IA, c'est concevoir non seulement l'accélérateur, mais aussi le frein.
12. Répéter « essayer avec une introduction limitée »
Ce qui est cohérent dans les recherches de Narita, c'est l'idée de commencer par un petit nombre d'introductions limitées plutôt que par un basculement complet. Dans ses recherches, le flux consistant à ne pas appliquer soudainement une nouvelle politique à l'ensemble, mais d'abord l'essayer sur une partie, regarder les résultats, réapprendre et étendre petit à petit, apparaît à plusieurs reprises.
« Essayer petit » fonctionne mieux à une époque où le prototypage est rapide
À l'ère de l'IA, cette attitude d'« essayer petit » devient encore plus importante. En effet, le coût du prototypage chute considérablement grâce à l'IA, mais la tentation de fonctionner sans vérification devient également plus forte. Documents de planification, code, textes publicitaires, rapports d'analyse. Des choses qui prenaient plusieurs jours deviennent désormais une première ébauche en quelques minutes. C'est pourquoi il est efficace de ne pas se contenter de la première ébauche et d'essayer petit et de vérifier.
Application aux individus et aux entreprises
Dans les techniques d'utilisation de l'IA à la Narita, l'IA n'est pas une « magie qui produit un produit fini en un seul coup ». C'est plutôt un dispositif pour augmenter le nombre de fois où vous essayez petit et vérifiez. Essayez avec 1 à 5 %. Regardez les résultats. Confirmez la détérioration. Revenez en arrière. Améliorez. Essayez à nouveau. Les personnes qui peuvent accélérer ce cycle en toute sécurité recevront les bénéfices de l'IA. Les personnes qui utilisent l'IA mais n'obtiennent pas de résultats misent trop sur une seule introduction à grande échelle.
13. Méthode pratique pour les individus imitant l'utilisation de l'IA à la Narita
Vous n'avez pas besoin d'avoir une base de recherche universitaire ou des données à grande échelle comme Narita. Si ce n'est que l'idée, même un individu peut l'imiter dès aujourd'hui.
5 étapes que vous pouvez faire dès aujourd'hui
D'abord, avant de laisser l'IA faire quelque chose, écrivez en une phrase « qu'est-ce que je veux améliorer ? » Tout le monde se perd parce qu'il saute cette étape. Ensuite, décidez à l'avance « par quel nombre vais-je mesurer cette qualité ? » Troisièmement, même si vous avez une nouvelle idée de prompt, ne l'utilisez pas pour tout soudainement ; essayez-la d'abord sur des cas passés similaires ou une partie. Quatrièmement, ne jugez pas les résultats par un seul chiffre ; regardez-les sous plusieurs angles. Cinquièmement, préparez à l'avance un système où vous pouvez remarquer et vous arrêter lorsque cela se détériore.
Si vous continuez ce flux, l'IA passera d'un simple outil pratique à votre propre fondement de jugement qui continue de s'améliorer sans se casser.
14. Si une entreprise imite, créez un « système de jugement » plutôt que des « réponses précises »
Le plus grand point que les entreprises devraient apprendre de la méthode Narita est de ne pas se concentrer uniquement sur l'augmentation de la précision des réponses de l'IA. Ce que les recherches de Narita ont affiné tout au long, c'était le système pour « prendre un jugement, le noter et l'améliorer en toute sécurité », plutôt que la justesse des réponses individuelles.
« Système de jugement » plutôt que l'intelligence du modèle
Dans de nombreuses entreprises, l'introduction de l'IA s'arrête à une comparaison de « quel modèle est intelligent ». Mais si vous pensez à la manière Narita, ce qui importe n'est pas l'intelligence du modèle, mais l'existence d'une conception pour évaluer ce jugement, prévenir la détérioration, suivre les contraintes du monde réel et intégrer l'éthique. Si vous introduisez l'IA alors que l'objectif et le KPI sont ambigus, cela se terminera comme un événement interne utilisant la dernière technologie.
Culture que les entreprises devraient avoir
Si une entreprise est sérieuse au sujet de l'utilisation de l'IA, elle doit d'abord définir en tant que direction « ce qui est considéré comme un bon jugement », organiser les données pour le mesurer, créer un système pour détecter la détérioration et avoir une culture d'expansion à partir d'une introduction limitée. L'IA n'est pas un thème réservé au service des systèmes d'information. Le « système de jugement » est remis en question dans les ventes, le développement, la fabrication, le juridique, les RH, les finances et la réponse client. En d'autres termes, l'utilisation de l'IA est la conception de la prise de décision elle-même.
15. Pièges de l'utilisation de l'IA à la Narita, et ce qui devrait être dit honnêtement
Bien sûr, il n'est pas nécessaire de louer la méthode Narita telle quelle. Si l'attitude d'évaluation approfondie, de vérification et de sécurité réduit les accidents, il existe aussi des situations où elle ralentit la vitesse. Si vous évaluez prudemment chaque chose, il y a des moments où vous ne pourrez pas bouger dans des situations où vous devriez essayer rapidement. Ce qui est important dans l'utilisation de l'IA, ce n'est pas de copier superficiellement la méthode Narita, mais d'incorporer les principes selon votre propre environnement.
Pour être honnête : cette partie est « non confirmée »
Et il y a une autre chose que je veux écrire honnêtement. La « méthode à la Narita » présentée dans cet article n'est pas quelque chose que Narita lui-même a dit : « Voici comment j'utilise l'IA ». C'est une « manière » reconstruite avec une forte probabilité en lisant attentivement ses documents publics (site, CV, articles). Les routines personnelles, comme quel LLM Narita utilise dans sa vie quotidienne et quels prompts il tape, ne peuvent pas être confirmées dans les informations publiques. Donc, je ne vais pas combler cela avec l'imagination et je vais honnêtement le laisser comme « non confirmé ».
Principes qui peuvent néanmoins être incorporés
Au-delà de cela, les principes à incorporer sont : penser avec l'évaluation d'abord, évaluer avec les données passées avant la production, remettre en question l'étalon lui-même, intégrer les contraintes du monde réel dès le départ, traiter l'évitement de la détérioration comme un résultat, et intégrer l'éthique dans les calculs. Et ne pas faire semblant de ne pas voir les risques.
Conclusion : La technique d'utilisation de l'IA de Yusuke Narita est de « cultiver un bon système de jugement sans le casser »
Si l'on devait résumer en un mot la manière dont Yusuke Narita aborde l'IA, ce serait de la traiter non pas comme une « machine à réponses », mais comme un « dispositif de jugement », et de concevoir un système pour noter ce jugement et l'améliorer sans le casser. Au lieu de chercher les prompts les plus puissants ou les outils miracles, il s'agit de concevoir le fondement de ce que l'IA décide, comment mesurer si c'était bon, et comment éviter la détérioration.
Résumé des principes à la Narita
Les principes sont clairs. Avec une approche « évaluation d'abord », définissez d'abord ce que vous voulez améliorer. Notez à l'aide de données passées avant de passer en production. Ne croyez pas en un seul chiffre et remettez en question l'étalon lui-même. Ne remettez pas à plus tard les contraintes du monde réel ; intégrez-les dès le départ. Considérez le fait d'éviter la détérioration comme un résultat en soi. Intégrez l'éthique dans les calculs plutôt que de la traiter comme une note. Et commencez petit, avec une introduction limitée, puis élargissez en toute sécurité.
Ce qui fait vraiment la différence à l'ère de l'IA, ce n'est pas seulement « quelle IA vous utilisez ». C'est la capacité à évaluer et à améliorer continuellement le jugement de l'IA sans le casser. La force de Narita réside dans le fait qu'il n'a pas couru après les réponses des tendances de l'IA. Au lieu de cela, il a constamment cherché à faire grandir le système de jugement de l'IA sans le laisser s'effondrer.
Par conséquent, ce que nous devons apprendre n'est pas de « faire la même recherche que Narita ». C'est de choisir un jugement à confier à l'IA dans votre propre travail, de décider des critères pour l'améliorer, et de l'améliorer petit à petit tout en évitant la détérioration. Au lieu de se contenter de laisser l'IA écrire des phrases, mesurez la qualité de son jugement et faites-la grandir sans la casser. Les tendances en matière de prompts changent en six mois, mais cette façon de penser centrée sur l'évaluation continuera de fonctionner, quelle que soit l'évolution de l'IA.
C'est la chose la plus pratique que l'on puisse apprendre des techniques d'utilisation de l'IA de Yusuke Narita.
