L’OpenAI a annoncé aujourd’hui la création d’une nouvelle équipe chargée d’évaluer et d’analyser les modèles d’IA afin de se protéger contre ce qu’elle décrit comme des « risques catastrophiques ».
L’équipe, appelée Preparedness, sera dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT. (M. Madry a rejoint OpenAI en mai en tant que « chef de Preparedness », selon LinkedIn). La principale responsabilité de Preparedness sera de suivre, de prévoir et de protéger contre les dangers des futurs systèmes d’IA, qu’il s’agisse de leur capacité à persuader et à tromper les humains (comme dans les attaques de phishing) ou de leur capacité à générer des codes malveillants.
Certaines des catégories de risques que Preparedness est chargé d’étudier semblent plus… farfelues que d’autres. Par exemple, dans un billet de blog, OpenAI cite les menaces « chimiques, biologiques, radiologiques et nucléaires » comme étant les plus préoccupantes en ce qui concerne les modèles d’IA.
Le PDG d’OpenAI, Sam Altman, est un pessimiste notoire en matière d’IA, exprimant souvent ses craintes – que ce soit pour des raisons optiques ou par conviction personnelle – que l’IA « puisse conduire à l’extinction de l’humanité ». Mais en annonçant que l’OpenAI pourrait en fait consacrer des ressources à l’étude de scénarios tout droit sortis de romans dystopiques de science-fiction est un pas en avant que cet auteur n’attendait pas, franchement.
L’entreprise est également ouverte à l’étude de domaines « moins évidents » – et plus terre-à-terre – de risques liés à l’IA. Pour coïncider avec le lancement de l’équipe Preparedness, OpenAI sollicite des idées d’études de risques auprès de la communauté, avec un prix de 25 000 dollars et un poste au sein de Preparedness à la clé pour les dix meilleures propositions.
« Imaginez que nous vous donnions un accès illimité aux modèles Whisper (transcription), Voice (synthèse vocale), GPT-4V et DALLE-3 de l’OpenAI et que vous soyez un acteur malveillant », peut-on lire dans l’une des questions du concours. « Envisagez l’utilisation abusive du modèle la plus unique, tout en étant probable et potentiellement catastrophique. »
OpenAI indique que l’équipe Preparedness sera également chargée de formuler une « politique de développement informée des risques », qui détaillera l’approche d’OpenAI en matière d’évaluation des modèles d’IA et d’outils de contrôle, les actions d’atténuation des risques de l’entreprise et sa structure de gouvernance pour la surveillance du processus de développement des modèles. Cette politique vise à compléter les autres travaux d’OpenAI dans le domaine de la sécurité de l’IA, selon l’entreprise, en mettant l’accent sur les phases précédant et suivant le déploiement du modèle.
« Nous pensons que … les modèles d’IA, qui dépasseront les capacités actuellement présentes dans les modèles existants les plus avancés, ont le potentiel de bénéficier à l’ensemble de l’humanité », écrit OpenAI dans le billet de blog susmentionné. « Nous devons nous assurer que nous disposons de la compréhension et de l’infrastructure nécessaires à la sécurité des systèmes d’IA hautement performants. »
Le dévoilement de Preparedness – au cours d’un important sommet du gouvernement britannique sur la sécurité de l’IA, ce qui n’est pas une coïncidence – intervient après que l’OpenAI a annoncé la création d’une équipe chargée d’étudier, de diriger et de contrôler les formes émergentes d’IA « superintelligente ». M. Altman, ainsi qu’Ilya Sutskever, directeur scientifique et cofondateur d’OpenAI, sont convaincus qu’une IA dotée d’une intelligence supérieure à celle de l’homme pourrait voir le jour au cours de la décennie, et que cette IA ne sera pas nécessairement bienveillante, ce qui nécessitera des recherches sur les moyens de la limiter et de la restreindre.