L’IA après les transformers se dessine à Tel Aviv

« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

Chaque jour, les journalistes de Qant illustrent les tendances de fond qui animent la tech. Ils s’appuient sur Kessel Média et utilisent l’IA générative depuis mars 2022.

L’ÉVÉNEMENT

Le pouvoir de Mamba

L’israélienne AI21 Labs vient de lancer un modèle hybride, combinant l’architecture Transformer des LLM avec la nouvelle coqueluche de la recherche en IA, Mamba.

AI21 Labs vient de présenter Jamba, sans doute le modèle d'IA le plus innovant depuis GPT-4. Relativement petit – 52 milliards de paramètres – il est construit sur un mélange d’experts qui mêle l’architecture des Transformers, qui règne en maître dans les modèles de fondation, avec un SSM (Space State Model), Mamba. 

Or, depuis sa parution peu avant Noël, Mamba fascine le monde de la recherche. De la finance à l’entomologie, de la vision à la génération de vidéos, une vingtaine d’articles de recherche sont parus en trois mois. Et pour cause : si vraiment les LLM ont atteint un plateau, comme le retard de GPT-5 pourrait l’indiquer, les SSM pourraient prendre la relève.

Jamba montre la voie.

L’INTÉGRALITÉ DE CET ARTICLE EST DISPONIBLE EN FIN DE LETTRE

L’ESSENTIEL : Adobe, LBBW, Magna, Meta, Sanctuary AI, OpenAI, xAI

ROBOTS

Sanctuary se rêve en Magna de la robotique

La start-up à l’origine de l’humanoïde Phoenix vient de signer un partenariat avec le fabricant de composants automobiles Magna.

Sanctuary AI vient de signer un partenariat stratégique avec l’équipementier automobile canadien Magna International, qui a fortement investi dans la start-up de Vancouver depuis 2021 (lire Qant du 4 mars). L’accord vise à intégrer les robots de Sanctuary AI dans les usines de Magna, mais aussi à lui confier la fabrication sous contrat des robots Phoenix. 

Sanctuary AI prévoit en effet de se concentrer sur le développement de l'IA embarquée et des modèles de formation. Le partenariat renforcé avec Magna permettra également à Sanctuary de collecter des données dans un environnement réel, facilitant ainsi l'entraînement et l'amélioration des modèles d'IA des robots. 

Pour en savoir plus : The Robot Report

INTELLIGENCE ARTIFICIELLE

• Adobe rêve de Sora • Adobe vient d'annoncer le développement d'outils de GenAI pour la vidéo dans Premiere Pro. L’éditeur prévoit d’intégrer des modèles tiers comme ceux de Runway, Pika Labs et potentiellement Sora d'OpenAI. Ces outils permettront de générer des vidéos, d'ajouter ou de retirer des objets, et d'étendre la durée des clips vidéo. En attendant son propre modèle de fondation, encore à l’entraînement (lire Qant du 15 avril).
  Pour en savoir plus: The Verge

• Et Grok fut doté de vision • X.AI vient d'annoncer la sortie prochaine de Grok-1.5 Vision, une version multimodale du modèle Grok capable de traiter des informations textuelles et visuelles. Comme Gemini ou GPT-4, Grok pourra donc recevoir des prompts tout ou partie visuels. Cela lui permettra, par exemple, de générer du code informatique à partir de diagrammes ou de raconter une histoire à partir de dessins. Grok-1.5V n'est pas encore disponible mais il sera “bientôt” accessible aux testeurs et utilisateurs actuels de Grok.
  Pour en savoir plus: MSPoweruser

• Medium régule les contenus IA • La plateforme web Medium, qui se veut un réseau social de l’écrit, interdira à partir du 1er mai prochain les contenus générés par intelligence artificielle dans son programme de monétisation, en privilégiant les créations humaines. Plus généralement, Medium met en place des règles strictes pour l'utilisation assistée de l'IA, exigeant une transparence absolue. Les contributions aidées par l'IA doivent clairement l'indiquer dans les deux premiers paragraphes. Les images générées par IA doivent aussi être sourcées et identifiées.
  Pour en savoir plus: Bleeping Computer, Tech Times

• OpenAI au pays du soleil levant • OpenAI vient d'ouvrir un bureau à Tokyo, le troisième à l'international après Londres et Dublin (lire Qant du 18 septembre 2023). Tadao Nagasaki, ancien responsable d'AWS Japon, en prend la responsabilité. OpenAI a également annoncé un modèle GPT-4 optimisé pour le japonais, qui promet une expérience sur mesure pour les entreprises locales. Ce modèle, plus efficace et économique, sera prochainement disponible plus largement via l'API.
  Pour en savoir plus: Reuters

MONNAIES NUMÉRIQUES ET BLOCKCHAINS

• Garder des crypto-monnaies en Allemagne • Landesbank Baden-Württemberg (LBBW), la plus grande banque régionale d'Allemagne, s’apprête à lancer au second semestre des services de garde de crypto-monnaies en partenariat avec la plateforme autrichienne Bitpanda. Face à la demande croissante pour la gestion d’actifs numériques de la part de ses entreprises clientes, la banque veut pouvoir leur proposer des solutions sécurisées et réglementées.
  Pour en savoir plus: Bloomberg, Coindesk

• Hong Kong donne le feu vert aux ETF • Comme prévu, Hong Kong vient d'approuver ses premiers ETF spot pour bitcoin et ether (lire Qant du 12 avril). Harvest Fund Management, Bosera Asset Management et China Asset Management géreront les premiers fonds. Avec ces trois lancements, Hong Kong devient la première place financière d'Asie à emboîter le pas de New York, où seuls les ETF bitcoin spot sont autorisés.
  Pour en savoir plus: Reuters, Bloomberg

AR-VR-MR-XR

• Le Quest entre à l’école • Meta prévoit de lancer un nouveau hub pour les casques Quest destiné à l'éducation. Annoncé par Nick Clegg, président des affaires internationales chez Meta, ce hub offrira des applications et fonctionnalités spécifiques pour faciliter l'usage du casque Quest en milieu scolaire. Le but est de rendre l'apprentissage plus interactif grâce à la réalité virtuelle, pour des étudiants de 13 ans et plus.
  Pour en savoir plus: The Verge

QUANTUM

• L’intrication quantique pour sécuriser le réseau • Google, Amazon et IBM proposent déjà d’accéder à des serveurs quantiques dans leur cloud. La sécurité de la connexion, toutefois, ne bénéficie pas de la puissance quantique. Des chercheurs de l'université d'Oxford viennent de présenter sur Physical Review Letters une méthode basée notamment sur l’intrication quantique pour sécuriser le lien entre un serveur quantique à ions piégés et un système photonique dans un ordinateur classique, qui consulte le premier via une fibre optique. Baptisée "informatique quantique en aveugle", cette technologie se base sur des corrections en temps réel dans chaque calcul.
  Pour en savoir plus : P. Drmota, Verifiable Blind Quantum Computing with Trapped Ions and Single Photons, Physical Review Letters, Avril 2024

ÉDITION PREMIUM

En exclusivité pour les abonnés :

• Une nouvelle architecture apparaît pour les grands modèles d’IA : les SSM s’ajoutent aux LLM. L’israélienne AI21 vient de présenter un modèle hybride.

Jamba vise les étoiles

...