« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

Chaque jour, les journalistes de Qant illustrent les tendances de fond qui animent la tech. Pour cela, ils s’appuient sur Kessel Média et utilisent l’IA générative depuis mars 2022. Les articles qui requièrent le plus de travail humain demandent un abonnement.

L’ÉVÉNEMENT

Première fuite sur l’architecture de GPT-4

D’après George Hotz, illustre hacker, le modèle compterait environ 1 800 milliards de paramètres, mais sur une architecture peu novatrice.

"Neuf robots pour le prix d'un" (Midjourney)

Fondateur des start-up Comma.ai et Tiny Corp, George Hotz est surtout connu pour avoir été le premier à “jailbreaker” l’iPhone et la PlayStation et pour avoir été appelé au secours par Elon Musk pour rétablir le code de Twitter, défaillant après le départ forcé de la majorité des développeurs. Dans une interview au podcast Latent Space, il déclare connaître l’architecture de GPT-4. Reprises de plus en plus largement, ses affirmations n’ont pas été commentées par OpenAI.

Selon George Hotz, GPT-4 résulte de la collaboration de huit modèles identiques de 220 milliards de paramètres chacun (contre 175 milliards pour GPT-3), avec un modèle de “Mélange d’Experts” (MOE pour Mixture of Experts) pour coordonner les résultats. La capacité de GPT-4 à produire des images aussi bien que du texte, sa “multimodalité”, proviendrait de la jonction de deux modèles distincts dans le même “espace de tokens”.

La technique du MOE a été décrite dès les années 90 et adaptée aux réseaux neuronaux d’apprentissage profond entre 2013 et 2017. George Hotz sous-entend que si OpenAI a refusé de décrire GPT-4, quittant ainsi la communauté open source, c’est pour laisser penser à un modèle unique de plus de 1 000 milliards de paramètres. Ces “téramodèles” représentent une sorte de Graal, promis notamment par les puces Grace Hopper de Nvidia.

La communauté open source , dont George Hotz est l’une des grandes figures, s’oriente cependant vers des modèles plus réduits, ne nécessitant pas de grands data centers pour leurs calcul. Nvidia elle-même a récemment fait l’acquisition d’une start-up pour réduire la taille des modèles (lire ci-dessous).

Si George Hotz a raison, l’avance d’OpenAI sur ses concurrents, comme Anthropic et Inflection AI (voir Qant du 10 mars et du 30 juin) est bien moindre que ce que l’on estimait jusqu’à présent et des modèles aussi performants que GPT-4 pourront voir le jour rapidement. De fait, la bataille semble s’être portée, ces dernières semaines, plutôt du côté des mécanismes d’inférence et des jeux de données (voir, par exemple, Qant du 23 mai).

Pour en savoir plus :

• Latent Space

• The Decoder

• The Algorithmic Bridge

Twitter et les modèles

Elon Musk a imposé, ce week-end, un paywall surprise aux utilisateurs de Twitter, accusant les grands modèles de langage naturel de piller son réseau social. Une class action, qui réclame 3 milliards de dollars à Microsoft et OpenAI, va dans le même sens.

"Elon Musk et ses robots font face au scrapping" (Midjourney)

Elon Musk a annoncé ce week-end de nouvelles limitations "temporaires" sur le nombre de publications que les utilisateurs peuvent lire. Désormais, les comptes vérifiés peuvent consulter 6 000 messages par jour, les comptes non vérifiés ne pourront voir que 600 publications par jour, et pour les "nouveaux" comptes non vérifiés, seulement 300 par jour. Musk a également déclaré que ces limites augmenteront "bientôt" à 8 000 tweets pour les utilisateurs vérifiés, 800 pour les non vérifiés et 400 pour les nouveaux comptes non vérifiés. L’entrepreneur blâme les entreprises de l'IA qui récoltent des quantités massives de données sur Twitter, sans compte et via des promis ouverts comme Nitter. L’API de Twitter a également été rendue payante.

Le “scrapping” de données est également au cœur des tentatives des éditeurs de presse de protéger leurs archives et, tout récemment, d’une class action intentée par 16 individus restés anonymes contre OpenAI et Microsoft, pour 3 milliards de dollars de dommages et intérêts. L’action collective allègue que OpenAI a secrètement "rassemblé 300 milliards de mots sur Internet" sans s'inscrire comme courtier en données ou obtenir le consentement des utilisateurs sur leurs données personnelles. Elle affirme également que les entreprises continuent de collecter illégalement des données personnelles supplémentaires auprès de millions de consommateurs à leur insu. Les données concernées incluent des noms, des coordonnées, des adresses e-mail, des informations de paiement, des informations sur les médias sociaux, des données de journal de chat, des données d'utilisation, des analyses et des cookies.

Pour en savoir plus :

• The Verge

• Reuters

• Vice

L’ESSENTIEL : Steinway,

ROBOTS

Le Spiriocast de Steinway & Sons permet de reproduire à distance, en temps réel, sur un piano, un concert joué ailleurs. Comme un air de WestWorld…

Depuis plusieurs années, Steinway & Sons propose un piano numérique qui joue de manière autonome, reproduisant dans un salon les performances enregistrées des pianistes les plus renommés. Spiriocast propose désormais d’écouter, chez soi, un concert tenu partout ailleurs dans le monde. L’expérience d'écoute reproduit en tout point le concert en direct, même les nuances les plus subtiles du jeu de pédale, sur un piano identique.

Pour en savoir plus: Wallpaper

IA GÉNÉRATIVE

• OmniML dans l’escarcelle de Nvidia : Nvidia a discrètement acquis en février OmniML, une startup d'intelligence artificielle de deux ans dont le logiciel a aidé à réduire les modèles d'apprentissage automatique pour qu'ils puissent fonctionner sur des appareils plutôt que dans le cloud, une acquisition qui pourrait signaler l'ambition du fabricant de puces de renforcer ses puces d'IA spécifiques pour les voitures, les robots industriels et les drones.
  Pour en savoir plus: Pitchbook

• Microsoft forme à la GenAI : Microsoft a annoncé un nouveau programme offrant des cours gratuits via LinkedIn pour former à l'IA générative, y compris une certification, tout en lançant un programme de subventions visant à soutenir l'utilisation de l'IA générative par les populations historiquement marginalisées.
  Pour en savoir plus: Engadget

• Humane mise sur Qualcomm : Le premier gadget de la très médiatique start-up Humane, baptisé AI Pin, sera basé sur Snapdragon, le jeu de puces de Qualcomm notamment destiné aux véhicules autonomes. Fondée par Imran Chaudrhi et Bethany Bongiorno, anciens d’Apple , Humane veut proposer une IA invisible, à l’aide d’objets intégrés aux vêtements (lire Qant du 25 avril).
  Pour en savoir plus: The Verge

AR-VR-XR-MÉTAVERS

• Augmedics opère en réalité augmentée : La medtech américaine Augmedics, qui a créé une plateforme de réalité augmentée pour la chirurgie du rachis, a levé 82,5 millions de dollars pour continuer à développer sa plateforme, avec un financement dirigé par CPMG et incluant des investisseurs financiers et stratégiques américain et israéliens.
  Pour en savoir plus: Tech Crunch

• Pour Gartner, le métavers ne convainc plus : Sceptique sur le métavers même au plus fort de la vague, le cabinet d'analystes Gartner vient de publier un rapport expliquant que les entreprises n'adoptaient plus le métavers, le considérant peu utile, avec des expériences de réalité virtuelle décevantes et des préoccupations concernant le confort, la confidentialité, la sécurité et le coût.
  Pour en savoir plus: Fortune

QUANTUM

• Les Forte perspectives commerciales d’IonQ commencent en Corée : La société de calcul quantique IonQ, basée à College Park, a annoncé qu'elle étendait la disponibilité commerciale de son ordinateur quantique de nouvelle génération, IonQ Forte, à des clients du monde entier, offrant 32 qubits physiques et une capacité accrue, grâce à des intégrations matérielles de pointe. Un accord avec le ministère coréen de la Science et de la Technologie a fait bondir son cours de Bourse vendredi.
  Pour en savoir plus: The Daily Record

EXPERT : Monnaies numériques, I – l’Europe

Le tour du monde en 80 monnaies numériques (et plus)

130 pays, représentant 98 % de l’économie mondiale, ont lancé des projets de monnaie numérique de banque centrale, la plupart basées sur des Blockchains. Première étape : l’Europe.

"L'Europe se place sur la carte des monnaies digitales" (Midjourney)

La semaine dernière, la Banque de France a annoncé le lancement de Cash+, une version numérique de l'euro prévue pour être mise en circulation entre 2027 et 2028 et qui sera émise et régulée par la Banque Centrale Européenne (BCE). Le gouverneur de la Banque de France, François Villeroy de Galhau, a souligné que Cash+ ne remplacera pas les transactions en espèces mais qu’il offre des avantages considérablespour le commerce électronique, les paiements à distance entre pairs et les paiements conditionnels. Cela s’inscrit dans le projet plus vaste du “Paquet Euro Digital” présenté par la Commission européenne le 28 juin. Celui-ci a provoqué de fortes réactions dans le monde bancaire, restées discrètes, et des annonces parallèles de la part des banques centrales suisse et britannique.

...