HiddenLayer, une startup spécialisée dans la protection des systèmes d’IA contre les attaques adverses, a annoncé aujourd’hui avoir levé 50 millions de dollars lors d’un tour de table co-dirigé par M12 et Moore Strategic Ventures, avec la participation de Booz Allen Hamilton, IBM, Capital One et TenEleven.
Portant le total des fonds levés par la société à 56 millions de dollars, les nouveaux fonds seront utilisés pour soutenir les efforts de mise sur le marché de HiddenLayer, faire passer ses effectifs de 50 à 90 employés d’ici la fin de l’année et continuer à investir dans la recherche et le développement, a déclaré Chris Sestito, cofondateur et PDG, à TechCrunch par courriel.
« HiddenLayer est une société de cybersécurité qui se concentre sur la protection de l’IA contre les attaques adverses. Plus précisément, nous étendons la détection et la réponse à l’IA », a déclaré Sestito. « Nous nous développons rapidement pour répondre à la demande du marché pour notre plateforme de sécurité d’apprentissage automatique, qui provient de toutes les industries à travers le monde. »
Sestito a cofondé HiddenLayer avec Jim Ballard et Tanner Burns en 2019. Peu de temps auparavant, Sestito dirigeait la recherche sur les menaces chez Cylance, la startup antivirus acquise plus tard par BlackBerry.
La plateforme d’HiddenLayer fournit des outils pour protéger les modèles d’IA contre les attaques adverses, les vulnérabilités et les injections de codes malveillants. Elle surveille les entrées et les sorties des systèmes d’intelligence artificielle et teste l’intégrité des modèles avant leur déploiement.
« De nombreux scientifiques des données s’appuient sur des modèles d’apprentissage automatique pré-entraînés, open source ou propriétaires, pour réduire le temps d’analyse et simplifier l’effort de test avant de tirer des enseignements d’ensembles de données complexes. » Sestito a déclaré. « Cela implique l’utilisation de modèles pré-entraînés, open-source disponibles pour un usage public – exposant les organisations à des attaques d’apprentissage par transfert à partir de modèles altérés disponibles publiquement. »
Si les clients craignent que HiddenLayer ait accès à leurs modèles propriétaires, l’entreprise affirme qu’elle utilise des techniques permettant d’observer uniquement les vecteurs – ou représentations mathématiques – des entrées dans les modèles et des sorties qui en résultent.
« Le système apprend ce qui est normal pour une application d’IA unique sans qu’il soit nécessaire de le lui dire explicitement », a déclaré M. Sestito.
HiddenLayer contribue également à l’ATLAS de MITRE, une base de connaissances sur les tactiques et techniques d’IA adverses gérée par la société à but non lucratif MITRE. Sestito affirme que HiddenLayer peut se protéger contre les 64 types d’attaques uniques répertoriés dans ATLAS, y compris le vol de propriété intellectuelle, l’extraction de modèle, les attaques par inférence, l’évasion de modèle et l’empoisonnement de données.
La dernière fois que j’ai parlé à un expert – le chercheur en IA Mike Cook du collectif Knives and Paintbrushes – de ce que fait HiddenLayer, il m’a dit qu’il n’était pas certain que la plateforme soit « vraiment révolutionnaire ou nouvelle ». L’expert a toutefois souligné l’intérêt de la plateforme, qui rassemble les connaissances sur les attaques contre l’IA afin de les rendre plus largement accessibles
Il est difficile de trouver des exemples concrets d’attaques à grande échelle contre l’IA. La recherche sur le sujet a explosé, avec plus de 1 500 articles sur la sécurité de l’IA publiés en 2019 sur le site de publication scientifique Arxiv.org, contre 56 en 2016, selon une étude d’Adversa. Mais les tentatives des pirates pour, par exemple, attaquer les systèmes commerciaux de reconnaissance faciale – à supposer que de telles tentatives aient lieu en premier lieu – font l’objet de peu de rapports publics.
En revanche, certaines agences gouvernementales tirent la sonnette d’alarme sur les attaques potentielles contre les systèmes d’IA.
Récemment, le National Cyber Security Center, l’organe directeur de la cybersécurité au Royaume-Uni, a mis en garde contre les acteurs menaçants qui manipulent la technologie derrière les chatbots à grand modèle de langage (par exemple ChatGPT) pour accéder à des informations confidentielles, générer des contenus offensants et « déclencher des conséquences involontaires ». Par ailleurs, l’année dernière, l’Office of Science and Technology Policy du gouvernement américain a publié une « Charte des droits de l’IA », qui recommande que les systèmes d’IA fassent l’objet de tests préalables au déploiement, d’une identification et d’une atténuation des risques et d’une surveillance continue afin de démontrer qu’ils sont sûrs et efficaces compte tenu de l’usage auquel ils sont destinés.
Les entreprises se rallient également à ce point de vue, semble-t-il.
Dans une étude Forrester commandée par HiddenLayer (et donc à prendre avec des pincettes), la majorité des entreprises interrogées ont déclaré qu’elles s’appuyaient actuellement sur des processus manuels pour faire face aux menaces liées aux modèles d’IA et 86 % étaient « extrêmement préoccupées ou préoccupées » par la sécurité des modèles d’apprentissage automatique de leur organisation. Parallèlement, Gartner a rapporté en 2022 que deux organisations sur cinq avaient subi une violation de la confidentialité de l’IA ou un incident de sécurité au cours de l’année écoulée et qu’une de ces attaques sur quatre était malveillante.
Sestito affirme que la menace – quelle que soit sa taille aujourd’hui – se développera avec le marché de l’IA, implicitement à l’avantage de HiddenLayer. Il reconnaît que plusieurs startups proposent déjà des produits conçus pour rendre les systèmes d’IA plus robustes, notamment Robust Intelligence, CalypsoAI et Troj.ai. Mais M. Sestito affirme que HiddenLayer se distingue par son approche de la détection et de la réponse basée sur l’IA.
La plateforme a gagné du terrain, c’est certain. Au-delà des partenariats avec Databricks et Intel, HiddenLayer affirme avoir des clients Fortune 100 dans les secteurs de la finance, du gouvernement et de la défense – y compris l’U.S. Air Force et la Space Force – et de la cybersécurité.
« Le rythme effréné de l’adoption de l’IA a laissé de nombreuses organisations qui luttent pour mettre en place les processus, les personnes et les contrôles appropriés nécessaires pour se protéger contre les risques et les attaques inhérents à l’apprentissage automatique. » Sestito a déclaré. « Les risque lié à la mise en œuvre de l’IA et de l’apprentissage automatique dans une organisation ne fait que croître… Nous nous développons rapidement pour répondre à la demande du marché pour notre plateforme, qui provient de toutes les industries à travers le monde. »