Dans le cadre de ses efforts continus pour rendre ses systèmes d’IA plus robustes, OpenAI a lancé aujourd’hui l’OpenAI Red Teaming Network, un groupe d’experts sous contrat pour aider à informer les stratégies d’évaluation et d’atténuation des risques des modèles d’IA de l’entreprise.
Le red teaming devient une étape de plus en plus importante dans le processus de développement des modèles d’IA à mesure que les technologies d’IA, en particulier les technologies génératives, se généralisent. L’équipe rouge peut détecter (mais pas nécessairement corriger) les biais dans des modèles tels que DALL-E 2 d’OpenAI, dont on a constaté qu’il amplifiait les stéréotypes liés à la race et au sexe, et les invites qui peuvent amener les modèles générateurs de texte, y compris les modèles tels que ChatGPT et GPT-4, à ignorer les filtres de sécurité.
OpenAI note qu’elle a déjà travaillé avec des experts externes pour évaluer et tester ses modèles, y compris avec des personnes participant à son programme de primes aux bugs et à son programme d’accès aux chercheurs. Cependant, le Red Teaming Network formalise ces efforts, dans le but d' »approfondir » et d' »élargir » le travail d’OpenAI avec les scientifiques, les institutions de recherche et les organisations de la société civile, explique l’entreprise dans un billet de blog.
« Nous considérons ce travail comme un complément aux pratiques de gouvernance spécifiées à l’extérieur, telles que les audits par une tierce partie », écrit OpenAI. « Les membres du réseau seront sollicités en fonction de leur expertise pour aider l’équipe rouge à différentes étapes du cycle de développement du modèle et du produit. »
En dehors des campagnes de red teaming commandées par l’OpenAI, l’OpenAI indique que les membres du Red Teaming Network auront la possibilité de s’engager les uns avec les autres sur les pratiques et les résultats généraux du red teaming. Tous les membres ne seront pas impliqués dans chaque nouveau modèle ou produit de l’OpenAI, et les contributions temporelles – qui pourraient n’être que de 5 à 10 ans par an – seront déterminées avec les membres individuellement, précise l’OpenAI.
L’OpenAI fait appel à un large éventail d’experts pour participer, notamment dans les domaines de la linguistique, de la biométrie, de la finance et de la santé. L’entreprise n’exige pas d’expérience préalable des systèmes d’IA ou des modèles de langage pour être éligible. L’entreprise prévient toutefois que les opportunités offertes par le Red Teaming Network peuvent être soumises à des accords de non-divulgation et de confidentialité susceptibles d’avoir un impact sur d’autres recherches.
« Ce que nous apprécions le plus, c’est votre volonté de vous engager et d’apporter votre point de vue sur la manière dont nous évaluons les impacts des systèmes d’IA », écrit OpenAI. « Nous invitons les experts du monde entier à présenter leur candidature et nous donnons la priorité à la diversité géographique et à la diversité des domaines dans notre processus de sélection. »
La question est de savoir si le red teaming est suffisant. Certains affirment que non.
Dans un article récent, Aviv Ovadya, collaborateur de Wired, affilié au Berkman Klein Center de Harvard et au Centre pour la gouvernance de l’IA, plaide en faveur d’une « équipe violette » : identifier comment un système (par exemple GPT-4) pourrait nuire à une institution ou à un bien public, puis soutenir le développement d’outils utilisant ce même système pour défendre l’institution et le bien public. Je suis enclin à penser qu’il s’agit d’une idée judicieuse. Mais, comme le souligne Ovadya dans son article, il y a peu d’incitations à faire du violet teaming, et encore moins à ralentir suffisamment les sorties d’IA pour avoir le temps de fonctionner.
Les réseaux d’équipe rouge comme celui d’OpenAI semblent être le mieux que nous puissions obtenir – du moins pour l’instant.