Si vous ne l’avez pas remarqué, une part croissante du code généré aujourd’hui est « assistée par l’IA ». En fait, Scott Guthrie, vice-président exécutif de Microsoft pour le cloud et l’IA, a estimé en mars dernier que plus de 40 % du code que les développeurs téléchargent sur l’outil de développement d’IA GitHub Copilot était à la fois « généré par l’IA et non modifié ».
Aujourd’hui, cette tendance donne naissance à des startups qui promettent d’empêcher le code augmenté par l’IA de gâcher le travail – et les investisseurs s’en rendent compte.
En début de semaine, une startup israélienne, Digma, a annoncé un financement d’amorçage de 6 millions de dollars pour une plateforme de feedback continu qui fonctionne localement sur les machines des développeurs et les aide à analyser leur code – y compris le code créé par l’IA générative – afin d’identifier les problèmes. Hier, Kolena, une plateforme de test basée à San Francisco, a annoncé son propre financement – 15 millions de dollars – pour construire des outils permettant de tester, d’étalonner et de valider les performances des modèles d’IA.
Aujourd’hui, Braintrust, une startup de la région de la baie de San Francisco créée il y a quelques mois et composée de quatre personnes, dévoile sa solution de test de l’IA. propre un nouveau tour de table de 3 millions de dollars. Selon le cofondateur et PDG Ankur Goyal, Braintrust est comme un « système d’exploitation pour les ingénieurs qui créent des logiciels d’IA », qui les aide à éviter les mauvais résultats des modèles d’IA. Les développeurs qui conçoivent des chatbots d’assistance à la clientèle, par exemple, peuvent utiliser la technologie de Braintrust pour s’assurer que leur chatbot répond aux questions avec précision au lieu d’halluciner de fausses informations.
Comme de nombreuses startups promettant de créer des logiciels d’IA plus fiables, Braintrust bénéficie de soutiens avisés. Le célèbre investisseur providentiel Elad Gil fait partie des investisseurs et a participé à l’incubation du produit initial de Braintrust. (Parmi les autres investisseurs notables, citons Adam D’Angelo de Quora, Clem Delangue de l’entreprise d’IA HuggingFace et Greg Brockman, cofondateur d’OpenAI.
La question de savoir si un syndicat d’investisseurs impressionnant peut aider Braintrust à se hisser en tête du peloton reste ouverte. En attendant, M. Goyal affirme qu’il est pratiquement né pour s’assurer que le code d’IA n’interrompt pas le flux de travail d’une entreprise.
Enfant de médecins, M. Goyal a grandi à Pittsburgh et pensait devenir médecin lui aussi. Adolescent « super intello », il raconte qu’un cours d’algèbre linéaire au lycée, où il a découvert l’algorithme PageRank de Google, a changé sa vie. (Il abandonne la biologie, étudie l’informatique à l’université Carnegie Mellon, puis, « par ennui extrême », abandonne sa première année d’études pour créer un système de base de données relationnelle chez MemSQL, un ancien élève de Y Combinator. Plus de cinq ans plus tard, M. Goyal a cofondé sa propre entreprise, Impira, et lorsque Figma l’a rachetée à la fin de l’année dernière, M. Goyal a pris la tête de sa plateforme d’apprentissage automatique.
C’était un bon poste. Il a également permis à Goyal de mieux comprendre le défi croissant que représente la création de produits logiciels de haute qualité dans cette nouvelle ère de l’IA. À la fin de l’été dernier, il a donc quitté l’entreprise pour lancer Braintrust.
« J’ai passé pas mal de J’ai passé pas mal de temps à construire des logiciels de l’ancienne école », dit-il, « et ce qui est vraiment différent avec l’IA, c’est qu’elle est intrinsèquement non déterministe, ce qui signifie que si vous écrivez du code, vous ne pouvez pas vraiment garantir qu’il va fonctionner. Vous devez le tester sur des exemples du monde réel ». Ce processus s’appelle l’évaluation ou, familièrement, « evals », et toutes les entreprises ne disposent pas de données de qualité suffisante pour effectuer suffisamment de tests. C’est pourquoi Braintrust – qui n’a pas encore commercialisé son produit – travaille avec des entreprises qui le font, notamment l’entreprise d’automatisation de flux de travail Zapier et l’entreprise d’outils de feuilles de calcul Coda, qui effectuent actuellement des tests bêta sur ce que Braintrust a construit.
« Leur défi, explique M. Goyal, est le suivant : « D’accord, nous avons des tonnes de données et de nombreux utilisateurs se servent de notre produit. Mais il nous est vraiment difficile de les réduire à un ensemble représentatif d’exemples que nous pourrions utiliser pour tester notre logiciel ». Avec BrainTrust, dit-il, « ils peuvent déverser autant de données qu’ils le souhaitent dans notre produit, effectuer des évaluations, et nous les aiderons à constituer des « ensembles de données en or » qu’ils pourront accumuler au fil du temps et utiliser pour mesurer si leur logiciel fonctionne ou non ».
En prime, précise M. Goyal, « nous fonctionnons dans leurs environnements en nuage », ce qui permet à Braintrust de contourner les épineuses questions de conformité qui pourraient autrement ralentir son adoption au sein des entreprises.
Il est évident que nous n’en sommes qu’au début et que la concurrence ne fera que s’intensifier dans les mois et les années à venir. Deepchecks, une startup israélienne dont le slogan est « validation continue pour l’IA », est une autre entreprise qui a récemment levé des fonds d’amorçage.
Pourtant, Goyal décrit Braintrust comme étant exactement le produit dont il avait besoin chez Figma, et qui n’existait pas jusqu’à ce que Braintrust le crée récemment. « Il existe tout un univers autour de l’intégration continue qui s’est développé au cours de la dernière décennie. Il s’agit en quelque sorte d’une science de l’expédition de logiciels. Mais au pays de l’IA, cette méthodologie et ce flux de travail – jusqu’à notre produit – n’existaient pas vraiment.
Photo ci-dessus, de gauche à droite : Coleen Baik (designer fondateur), Ankur Goyal (PDG), Manu Goyal (ingénieur fondateur) et David Song (chef de produit ; membre de l’équipe d’Elad Gil).