MedSkillAudit : un cadre d'audit qualité pour le déploiement des compétences des agents IA médicale – une nouvelle norme pour l'infrastructure de santé numérique

Vue d'ensemble

Le 29 juin 2026, AIPOCH, en collaboration avec le département de pathologie de l'Hôpital Zhongshan affilié à l'Université Fudan, a officiellement lancé MedSkillAudit, un cadre d'audit spécifique au domaine pré-déploiement destiné aux agents IA médicaux. Ce cadre vise à identifier, avant le déploiement des compétences des agents IA dans les environnements de recherche médicale, les modules de capacités scientifiquement non fiables, présentant des citations falsifiées ou des erreurs de raisonnement. Cette initiative marque une nouvelle étape dans le contrôle qualité des infrastructures de santé numérique, comparable aux processus d'audit technique indépendant et de diligence raisonnable introduits dans les projets d'infrastructure.

Agents IA médicaux : composants modulaires de l'infrastructure de santé numérique

Les agents actuels de recherche médicale sont de plus en plus constitués de compétences modulaires, couvrant la sélection documentaire, l'analyse statistique, la conception de protocoles, voire la rédaction de manuscrits. Ces compétences, analogues aux sous-systèmes et microservices des infrastructures intelligentes, peuvent introduire des erreurs systématiques dans les pipelines de recherche clinique en l'absence de contrôles qualité rigoureux. À l'instar des ponts ou des réseaux électriques dans les infrastructures physiques, les compétences des agents IA doivent être évaluées en termes d'intégrité structurelle, de fiabilité fonctionnelle et de marges de sécurité avant leur mise en production.

Contrôle à deux niveaux de veto et évaluation en deux phases de MedSkillAudit

MedSkillAudit met en place un processus de révision à « double niveau de veto ». Le premier niveau évalue la stabilité opérationnelle, la cohérence structurelle, la certitude des résultats et la sécurité du système ; le second niveau évalue quatre dimensions de l'intégrité scientifique : l'intégrité scientifique (absence de citations, DOI, tailles d'échantillon ou valeurs p falsifiés), les limites pratiques (aucune conclusion diagnostique directe, inclusion d'une clause de non-responsabilité médicale), les bases méthodologiques (absence d'erreurs logiques, comme la confusion entre corrélation et causalité), et la disponibilité du code (code généré sans erreur de syntaxe ni dépendance manquante). Toute compétence ne satisfaisant pas aux exigences clés sera empêchée d'être déployée.

En termes de méthode d'évaluation, le cadre utilise une évaluation statique (qualité de conception, 40%) et une évaluation dynamique (performance en cours d'exécution, 60%), combinant examen de la conception des compétences et du code source avec des tests d'exécution dans des scénarios de recherche simulés. Le score final classe les compétences en quatre niveaux de préparation : « Prêt pour la production », « Publication limitée », « Bêta uniquement » et « Rejeté ».

Résultats de validation : 57,3 % des compétences n'ont pas atteint le seuil de publication limitée

Dans une étude de validation couvrant 75 compétences (réparties dans cinq catégories de recherche médicale : analyse de preuves, conception de protocoles, analyse de données, rédaction académique et autres), 57,3 % des compétences ont obtenu un score inférieur au seuil de « publication limitée ». Ce résultat souligne l'urgence d'un tel mécanisme de contrôle. L'étude montre également que l'évaluation de MedSkillAudit correspond fortement aux évaluations d'experts et que les résultats sont stables d'une évaluation à l'autre.

Logique de contrôle qualité du point de vue de l'infrastructureDu point de vue du financement des projets d'infrastructure mondiale, MedSkillAudit équivaut à un outil de « due diligence technique », similaire à l'examen des documents de conception et des plans de construction par un ingénieur indépendant dans les projets PPP. Dans le domaine des infrastructures de santé numérique, les compétences des agents d'IA sont des « actifs logiciels » à forte intensité de capital, dont la fiabilité a un impact direct sur le retour sur investissement de la recherche clinique et la sécurité des patients. Huimei Wang, PDG d'AIPOCH, souligne : « Les agents d'IA deviennent une partie intégrante des flux de travail scientifiques, mais il n'existe pas encore de points de contrôle qualité pour les compétences dont ils dépendent. MedSkillAudit aide les chercheurs à identifier les risques scientifiques, méthodologiques et éthiques avant le déploiement. »