« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

Chaque jour, les journalistes de Qant illustrent les tendances de fond qui animent la tech. Ils s’appuient sur Kessel Média et utilisent l’IA générative depuis mars 2022.

L’ÉVÉNEMENT

Pour chercher GPT-5, OpenAI se retire aux déserts

Arrakis, Gobi, Sahara… Les noms des projets de recherche internes à OpenAI révèlent une nouvelle obsession: réduire les coûts.

"Sam Altman débarque dans l'univers de Dune" (Qant, M. de R. avec Midjourney)

En avril dernier, le fondateur d’OpenAI Sam Altman avait déclaré publiquement que la start-up ne prévoyait pas d’entraîner le successeur de GPT-4 dans les six mois qui auraient suivi (lire Qant du 17 avril). Précisément à l’échéance, The Information révèle qu’Open AI a cessé de travailler sur un modèle, ou un système de modèles, moins gourmand en ressources de calcul : Arrakis. Il aurait été présenté au public comme “GPT-4 Turbo”, tout comme “GPT 3.5 Turbo” s’appelait, en interne, Sahara.Après de premiers résultats positifs, les tests suivants ont été si négatifs que son entraînement a été interrompu et les efforts reportés sur un autre modèle, baptisé Gobi. 

Le choix des noms de désert vient de la sobriété recherchée pour ces modèles, qui se limitent aux seuls calculs nécessaires pour répondre à chaque requête (au lieu de recalculer tout le modèle à chaque inférence). Cette “sparsity” – par opposition aux modèles “denses”, comme Llama2 – se prête bien aux architectures qui mêlent plusieurs systèmes, comme le “mélange d’experts”. Depuis début juillet, la rumeur qui veut que GPT-4 consiste en huit modèles identiques de 220 milliards de paramètres chacun, avec un modèle de “Mélange d’Experts” (MOE pour Mixture of Experts) pour coordonner les résultats, s’est installée dans les consciences sans aucun démenti d’OpenAI (lire Qant du 3 juillet).

Le chercheur Gary Marcus, de New York University, fait l’hypothèse qu’au moment de ses déclarations au printemps, les tests d’Arrakis s’étaient déjà révélés négatifs. La prudence s’impose avant d’engager les centaines de millions de dollars que peut coûter l’entraînement d’un grand modèle de langage, à la rentabilité nécessairement incertaine. Après avoir bénéficié d’une injection de capital de l’ordre de 10 milliards de dollars (lire Qant du 11 janvier), la start-up en a évidemment les moyens, mais son chiffre d’affaires sur douze mois glissants n’est que de 1,3 milliard de dollars, selon The Information. Microsoft est loin de pouvoir se rembourser sur la base de 75 % de la rentabilité brute d’OpenAI, comme le prévoirait l’accord avec la start-up.

De la coupe aux lèvres

Il y a loin du chiffre d’affaires à la rentabilité : d’après le Wall Street Journal, Microsoft perd en moyenne 20 dollars par mois pour chaque utilisateur de GitHub Copilot, son modèle IA de génération de code (lire Qant du 12 octobre) vendu 10 dollars par mois. Réduire les coûts d’inférence est donc une question cruciale et la sparsity reste le chemin le plus prometteur, même s’il peut compromettre la fiabilité des calculs. A la rentrée, le géant de Redmond aurait lancé des recherches pour développer son propre modèle, plus économe. Déjà, il avait présenté en juin un modèle baptisé Orca, dont les performances sont loin de GPT-4, mais aussi les coûts.

Cette situation pourrait rendre OpenAI vulnérable au lancement par Google de la série de modèles Gemini, que l’on dit prévu pour décembre prochain. Google Deepmind rechercherait également la sparsity, mais elle mise principalement sur une forme d’IA hybride : la greffe sur un LLM des techniques d’apprentissage par renforcement qui ont fait le succès d’AlphaGo et AlphaFold. Pour l’instant, cependant, OpenAI et Microsoft ont nourri un tir de barrage efficace, en ouvrant au grand public les capacités multimodales de GPT-4 (lire Qant du 5 mai).

Mais la guerre pour l’épice de l’IA ne fait que commencer.

Pour en savoir plus :

• The Information

• Business Insider

• The Decoder

• Gary Marcus

• Wall Street Journal

L’ESSENTIEL : Binance, Conseil Européen, EY, Figure, Foxconn, Google, Nvidia, Reddit

ROBOTS

I, robot-magasinier

Figure AI présente un nouveau robot humanoïde autonome, notamment destiné à travailler dans les entrepôts.

Les entrepôts attirent les robots : AGV Network, par exemple, dénombre 239 fabricants de robots mobiles autonomes, destinés à apporter la marchandise aux préparateurs, leur épargnant de déambuler dans d’immenses couloirs. En conséquence, ils attirent aussi la nouvelle génération de robots humanoïdes, que rendent possibles les nouvelles formes d’IA.

Après Elon Musk et ses Optimus (lire Qant du 26 septembre et du 22 mai), voici venir Figure 01. Dans la vidéo ci-dessus, le robot marche avec les genoux fléchis, un mode de déplacement courant pour une meilleure maîtrise de l'équilibre. Contrairement à Optimus, que l’on présente en train de faire du yoga, et au robot Atlas de Boston Dynamics, que l’on montre en plein Parkour, Figure AI vise une approche pratique pour que son robot soit rapidement opérationnel, en commençant par des tâches simples dans un environnement proche d’un entrepôt. Son robot est ainsi capable de manipuler des objets, de percevoir son environnement et de se déplacer tout en portant une charge.

Festival du court

L'objectif immédiat de Figure AI est de perfectionner ces fonctionnalités et de rendre le robot plus robuste. Il est aussi de rentrer dans un concours très particulier : les vidéos de Boston Dynamics, comme celles de Tesla, sont des courts-métrages très travaillés, que l’on dit parfois loin des performances réelles du robot. Et la forme humanoïde semble mieux adaptée à produire des images saisissantes qu’à effectuer les travaux des robots industriels.

La start-up californienne a levé 70 millions de dollars en mai dernier, dont 20 millions apportés par son fondateur Brett Adcock. Son équipe provient de grands de l’IA (Google Deepmind) aussi bien que de la robotique autonome (Boston Dynamics, Tesla). Et à défaut d’avoir créé pour l’instant des magasiniers, elle aura montré savoir produire des films.

Pour en savoir plus :

• IEEE

• Tesla

• Boston Dynamics

• Reuters

• AGV Networks

IA

• L’AI Act à la sauce espagnole : La présidence espagnole du Conseil européen vient de présenter aux États membres de l’Union un texte de compromis sur le projet de règlement sur l’intelligence artificielle (AI Act : lire notamment Qant du 5 juin et du 1er juin). Le document, qui a été publié par Contexte, propose une segmentation des modèles de fondation et autres systèmes d’IA d’utilisation générale, ce qui pourrait permettre de trouver un terrain d’entente entre le Parlement (qui veut les réglementer) et les gouvernements, notamment la France et l’Allemagne (qui veulent laisser leur chance à leurs start-up nationales). Il rejoint aussi le Parlement sur le droit d’auteur pour les données d’entraînement. Sur l’autre point contentieux, l’analyse en temps réel des données biométriques, le texte adopte une position médiane, n’accordant aux États nationaux que les exceptions les plus consensuelles : éviter un attentat, rechercher la victime d’un kidnapping… Ce projet sera discuté par les Vingt-Sept le 20 octobre.
  Pour en savoir plus: Euractiv

• Avec Nvidia, Foxconn veut produire de l’intelligence : Hon Hai Precision Industry, colosse taïwanais de la sous-traitance électronique plus connu comme Foxconn, vient de renouveler pour dix ans son partenariat avec Nvidia. Il compte s’appuyer sur le géant américain pour construire avec lui des “usines d’IA”, des data centers qui proposeront des services d’IA générative et de robotique autonome dédiés à des secteurs particuliers. Par exemple, pour aider ses clients à élaborer des véhicules électriques autonomes – qu’il fabriquera –, Foxconn s’appuiera un datacenter équipé de puces de Nvidia pour le traitement des données des capteurs d’imagerie (Drive Hyperion 9) et la gestion de conduite (Drive Orin puis Drive Thor). Les “usines d’IA” pour les villes et les usines (nécessairement intelligentes) s’appuieront respectivement sur Metropolis, une plate-forme d’analyse vidéo, et Isaac, pour la robotique autonome mobile. Foxconn, qui génère près d’un quart du PIB de Taïwan et emploie presque un million de personnes, notamment en Chine continentale, espère ainsi desserrer l’étreinte de son principal client, Apple.
  Pour en savoir plus: Financial Times

• Le webscraping en procès : Citée en justice après avoir modifié ses conditions d’utilisation pour pouvoir utiliser les données publiques sur Internet pour l’entraînement de ses modèles d’IA (lire Qant du 7 juillet), Google a soutenu que l'utilisation de données publiques est essentielle pour former des systèmes d’IA et que son éventuelle condamnation empêcherait tout progrès de l'IA générative. Les plaignants, réunis en une action collective, arguent que la collecte de données pour entraîner des systèmes d'intelligence artificielle générative viole la vie privée et les droits de propriété de millions de personnes.
  Pour en savoir plus: Reuters

BLOCKCHAINS

• EY veut aider la crypto à se mettre en règle : EY vient de dévoiler la quatrième génération de son outil analytique blockchain pour aider les entreprises à gérer les risques internes liés aux actifs numériques face à un paysage réglementaire complexe. La technologie prend en charge plusieurs blockchains et tokens. Elle vise à améliorer la sécurité et la transparence dans l'industrie crypto face à une surveillance réglementaire accrue.
  Pour en savoir plus: Blockworks

• Vers la fin des retraits en dollars pour Binance : La plateforme d'échange de cryptomonnaies Binance.us a modifié ses conditions d'utilisation, suggérant que les retraits directs en dollars américains ne sont plus pris en charge. Selon les termes révisés, Binance.us indique que les utilisateurs "peuvent convertir" leurs avoirs en dollars américains en stablecoins ou autres actifs numériques pour retirer les fonds de leurs comptes.
  Pour en savoir plus: Coin Telegraph

• Ethereum déçoit Reddit : La plateforme Reddit a décidé de mettre fin à son programme Community Points, basé sur la blockchain d’Ethereum. Lancé en 2020, Community Points offrait aux utilisateurs de Reddit des jetons en échange d'une participation positive dans certains sous-forums, de manière à récompenser les créateurs et les développeurs. Reddit a estimé que les ressources nécessaires étaient trop importantes pour justifier sa continuation, à cause des coûts de transaction d’Ethereum. Toutefois, il s’agit du deuxième programme d’incitation supprimé après les grandes protestations des utilisateurs d’avant l’été, dans le cadre d’une grande réforme du réseau social.
  Pour en savoir plus: TechCrunch

AR-VR-XR

• Tester le Vision Pro à New York et Sydney : Apple vient d'ajouter deux nouveaux emplacements de "Developer Labs" pour son casque Vision Pro, à New York et Sydney. Les Developer Labs d'Apple permettent aux développeurs d'essayer le casque avant son lancement prévu pour le début de l'année prochaine.
  Pour en savoir plus: Road to VR

QUANTUM

• Un Panda pour Pasqal : Pasqal collabore avec plusieurs institutions européennes au sein d’un nouveau consortium, baptisé Panda. Il a pour but développer les bases d'un ordinateur quantique photonique utilisant la technologie des atomes neutres. Financé par une subvention du Conseil européen de l'innovation, le projet vise à utiliser la lumière pour transporter l'information quantique, profitant de sa capacité à transmettre de grandes quantités d'informations sur de longues distances. La principale difficulté réside dans le fait que les photons n'interagissent pas naturellement, mais le consortium espère surmonter cela en combinant la lumière avec des atomes neutres spécialement assemblés.
  Pour en savoir plus: Scientific Computing

EXPERT

Dans l’hiver du capital-risque, l’éclaircie de l’IA et des véhicules électriques

Dans un contexte de baisse globale des investissements, seuls l’intelligence artificielle et les véhicules électriques parviennent à tirer leur épingle du jeu du capital-risque. Ce qui pourrait préfigurer un bel avenir aux véhicules autonomes, qui procèdent des deux technologies.

"Evolution des investissements mondiaux en capital-risque par trimestre" (Source : CB Insights)

...