L’agent qui coûtait trop cher

« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

L’ÉVÉNEMENT

Évaluer les agents d’IA

Alors que l’IA “agentique” s’apprête à compléter, sinon remplacer, l’IA générative, des chercheurs de Princeton s’attaquent à la manière de mesurer l’efficacité de chaque agent.

“Le véritable coût des agents d’IA” (Qant, M. de R. avec Midjourney)

Les agents que tous les grands de l’IA sont en train de développer diffèrent profondément des grands modèles de langage (LLM). Ils peuvent être utilisés pour des tâches plus difficiles et, donc, plus utiles dans le monde réel qu’une simple conversation. Ils peuvent interagir sur des sites Web, d’e-commerce par exemple, utiliser des outils informatiques spécifiques ou créer de nouveaux programmes. Certains utilisent la ligne de commande du PC, d’autres créent leur propre interface agent-ordinateur.

Une nouvelle étude de Princeton s’interroge sur la nécessaire adaptation des critères d’évaluation des modèles aux agents d’IA, en tenant compte de la dimension économique et non seulement des performances. Un agent peut en effet coûter beaucoup plus cher qu’un LLM. À Princeton, les créateurs de SWE-Agent (qui détecte et répare les bogues dans un programme) ont plafonné chaque exécution de l'agent à 4 dollars, l’équivalent centaines de milliers de jetons d’un modèle de langage comme GPT-4.

“Précision de différents agents IA en fonction de leur coût” (Source : Sayash Kapoor et al.)

L’ESSENTIEL : Cartken, DigitalX, Meta, Microsoft, Paypal, Quora, Thrive AI Health

ROBOTS

Le robot qui livrait des sushis

Une start-up allemande de navigation robotique, Cartken, lève 10 millions de dollars (9,2 M€) supplémentaires et s’implante au Japon.

Créée en Californie par des anciens de Google et transférée à Munich, Cartken est parcimonieuse. Elle a levé au total 22,5 millions de dollars (environ 21 M€) depuis sa création en 2019, dont 10 millions de dollars (9,2 M€) cette semaine. Avec cela, elle a créé un système de navigation autonome et supervisé à distance, comme les robotaxis Waymo. Il fonctionne aussi bien à l’intérieur qu’à l’extérieur, ce qui comble une lacune des robots utilisés pour les livraisons de dernier kilomètre. Les siens sont notamment utilisés par UberEats aux États-Unis et, désormais, Mitsubishi Electric à Tokyo.

INTELLIGENCE ARTIFICIELLE

• Sam Altman et Arianna Hufffington s’associent pour votre santé • L’ancienne créatrice du Huffington Post et le CEO d’OpenAI viennent de lancer une start-up qui veut utiliser l’IA pour aider ses utilisateurs à modifier leur comportement dans cinq domaines-clé pour leur santé : le sommeil, l'alimentation, l’exercice, la gestion du stress et la relation aux autres (“connection”). DeCarlos Love, anciennement responsable des expériences de santé chez Google (Fitbit, Pixel Watch, etc.), prend la tête de la start-up, baptisée Thrive AI Health. Elle sera financée par trois fonds : Thrive Global d’Arianna Huffington, le OpenAI Start-up Fund et la fondation Alice Walton (la famille des créateurs de WalMart). Le développement du produit sera finalisé en collaboration avec Stanford Medicine.
  Pour en savoir plus : Time, Fortune

• Créer des applications dans Poe • Quora vient de présenter Previews, une nouvelle fonctionnalité de Poe, son agrégateur de chatbots comme GPT-4o et Claude. Previews permet aux utilisateurs de créer des applications interactives en conversant avec un chatbot, puis de les partager via un lien. Les applications, comme des visualisations de données et des jeux, peuvent utiliser des informations provenant de fichiers téléchargés, y compris des vidéos.
  Pour en savoir plus : Techcrunch

• Mettre un modèle de Meta dans son smartphone • Meta vient de présenter MobileLLM, un grand modèle de langage compact conçu pour les smartphones et autres appareils à ressources limitées. Le modèle, qui compte moins d'un milliard de paramètres, permet le partage d'embeddings et de poids par blocs. MobileLLM a démontré une performance comparable à des modèles beaucoup plus importants sur certaines tâches, ouvrant la voie à des applications d'IA plus avancées.Toutefois, les deux grands des smartphones ont déjà intégré, respectivement, Gemini Nano à Android et Apple Intelligence à iOS18 (lire Qant du 15 mai, du 11 juin et du 26 avril). Meta aura fort à faire.
  Pour en savoir plus : Venturebeat

• Microsoft n’abandonne pas la Chine • Microsoft ne suivra pas OpenAI dans le blocage de l'accès aux modèles d'intelligence artificielle en Chine. Alors qu'OpenAI interdit l'accès à ses API en Chine depuis ce mardi (lire Qant du 27 juin), Microsoft a confirmé que les clients d'Azure en Chine continueront d'y avoir accès. Microsoft a précisé que ses offres Azure OpenAI restent disponibles pour ses clients en Chine, même si les modèles d’OpenAI sont déployés en dehors du pays.
  Pour en savoir plus : The Information, Pymnts

SÉCURITÉ

• Washington pense à la blockchain pour sa sécurité… • La commission des forces armées du sénat américain a recommandé au département de la Défense d'explorer l'utilisation de la blockchain pour des applications de sécurité nationale, notamment la gestion de la chaîne d'approvisionnement. Dans le rapport pour l'année fiscale 2025, elle affirme que la blockchain pourra améliorer l'intégrité cryptographique de la chaîne d'approvisionnement, renforcer l'intégrité des données et réduire le risque de manipulation. Le secrétaire à la Défense, Lloyd Austin ou son successeur, devra présenter un briefing sur le sujet d'ici le 1er avril 2025, incluant des plans pour des programmes pilotes et une analyse des avantages et des risques.
  Pour en savoir plus : Cointelegraph

• … tandis que le Nigéria franchit le pas • Le gouvernement nigérian, via la National Information Technology Development Agency (Nitda), vient de lancer l'initiative "Nigerium" pour développer une blockchain locale. Ce projet vise à sécuriser les données nationales et renforcer la sécurité en gardant le contrôle des technologies blockchain au Nigeria. Le projet a été proposé par l'université de Hertfordshire en Angleterre. "Nigerium" permettra de mieux protéger les informations sensibles et d’améliorer la sécurité nationale.
  Pour en savoir plus : The Block

MONNAIES NUMÉRIQUES ET BLOCKCHAINS

• Un nouvel ETF en Australie • L'australien DigitalX a reçu l'approbation réglementaire pour lancer son fonds négocié en bourse (ETF) Bitcoin sur le marché australien, devenant ainsi le deuxième ETF Bitcoin à être coté sur l'Australian Securities Exchange (ASX) après celui de VanEck en juin. Le DigitalX Bitcoin ETF sera disponible à partir du 12 juillet.
  Pour en savoir plus : Cointelegraph

• Le PYUSD de PayPal grandit lentement mais sûrement • La circulation totale du stablecoin PYUSD de PayPal a dépassé 500 millions de dollars (environ 460 millions d'euros) après son expansion sur le réseau Solana (lire Qant du 31 mai). En un mois, l'offre de PYUSD est passée de 270 millions à plus de 533 millions de tokens. Cette augmentation place PayPal parmi les dix premiers émetteurs de stablecoins.
  Pour en savoir plus : The Block

ÉDITION PREMIUM

En exclusivité pour les abonnés :

• Optimiser à la fois la précision et le coût, distinguer les besoins des différents types de développeurs, éviter les raccourcis et améliorer la standardisation : quatre étapes clés pour le développement d'agents d'IA véritablement performants et utilisables dans le monde réel.

• La start-up allemande Cartken développe un système de navigation robotique autonome pour les livraisons de dernier kilomètre.

L’agent qui coûtait trop cher

Alors que les agents d’IA sont souvent jugés sur leur précision, un rapport critique les benchmarks actuels, qui ont notamment souvent tendance à sous-estimer le coût de ces agents.

“La frontière de Pareto dans les agents d’IA” (Source : Sayash Kapoor et al.)

Une étude récente de l'université de Princeton, intitulée AI Agents That Matter, s'attaque à évaluer les pratiques actuelles de développement des agents d'IA. Les benchmarks actuels, souvent utilisés pour évaluer les agents d'IA, mettent un accent disproportionné sur la précision, négligeant d'autres aspects cruciaux comme le coût. Cette approche a conduit à des agents d'IA à la fois coûteux et complexes, dont l'utilité pratique reste limitée. Les chercheurs de Princeton critiquent cette survalorisation de la précision, soulignant que les entreprises se retrouveront avec des technologies dont le retour sur investissement est incertain.

...