Deux petits Llama peuvent en cacher un gros

« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

Chaque jour, les journalistes de Qant illustrent les tendances de fond qui animent la tech. Ils s’appuient sur Kessel Média et utilisent l’IA générative depuis mars 2022.

L’ÉVÉNEMENT

Avec Llama 3, Meta se rapproche de la cour des grands

Les deux premiers modèles de Llama 3 montrent que Meta a de quoi rivaliser avec OpenAI, Google et Anthropic. Le plus grand des modèles, attendu pour cet été, pourrait devenir le plus puissant des LLM. Si GPT-5 ne s’en mêle pas.

“Le Llama vise les sommets” (Qant, M. de R. avec Midjourney)

C'est l'actu phare de cette fin de mois d'avril : en fin de semaine dernière, Meta a publié en avance de phase les deux premiers modèles de la suite Llama 3, dotés respectivement de 8 milliards et 70 milliards de paramètres. Le groupe a également annoncé l'intégration de son assistant Meta AI, désormais basé sur Llama 3, dans Instagram, WhatsApp et Facebook dans 13 nouveaux pays dont l'Australie et le Canada, mais pas l'Union européenne.

Le troisième modèle de Llama 3 devrait comprendre 400 milliards de paramètres, un montant sans précédent. Il est encore en cours d'entraînement et devrait être disponible d’ici à l’été. En attendant, les deux premiers membres de la famille Llama 3 semblent extrêmement prometteurs. Ils rivalisent avec leurs homologues dans la famille Gemini de Google Deepmind et jettent un voile sur Mistral, qui devra rapidement présenter un rival à la hauteur.

L’INTÉGRALITÉ DE CET ARTICLE EST DISPONIBLE EN FIN DE LETTRE

L’ESSENTIEL : Apple, BBC, CIO, Datakalab, Victory Securities

ROBOTS

Quand la pieuvre inspire le robot

Une nouvelle ventouse robotique, inspirée de la pieuvre, pourrait permettre aux robots de mieux manipuler des objets difficiles à saisir.

Des chercheurs de l'université de Bristol en Grande-Bretagne ont développé une nouvelle ventouse robotique, inspirée par les capacités d'adhésion adaptative des ventouses d’une pieuvre. Celles-ci sont réputées pour leur capacité à former des joints étanches sur des surfaces très inégales, comme les rochers, contrairement aux ventouses artificielles qui peinent avec de telles textures. Le nouveau dispositif utilise une combinaison de couches de silicone souple et un système fluidique unique pour reproduire le scellement du mucus dans les ventouses de pieuvre.

Les couches de silicone souple de la ventouse épousent étroitement les contours de la surface, permettant une adaptation mécanique initiale. Pour combler les petits écarts qui subsistent après le premier contact, de l'eau est injectée à travers un tube, remplissant un système fluidique qui entoure la base de la ventouse, similaire aux cellules de mucus autour d'une ventouse de pieuvre. Cette eau s'infiltre à travers de minuscules ouvertures dans le système, comblant les petits écarts et formant ainsi un joint parfait.

Une ventouse pour les attraper tous

L'équipe de chercheurs envisage de poursuivre le développement de cette technologie en intégrant des capteurs à la ventouse pour réguler son comportement et augmenter sa capacité à interagir de manière plus autonome et efficace avec son environnement. L’objectif est d’améliorer l'efficacité et la polyvalence des systèmes robotiques, notamment dans la manipulation d'objets aux surfaces rugueuses, courbes ou irrégulières. Ce mécanisme pourrait équiper une nouvelle génération de préhenseurs capables de saisir des objets irréguliers avec une efficacité énergétique accrue, car il ne nécessite pas de pompes à air, réduisant ainsi le bruit et le gaspillage d'énergie.

Pour en savoir plus :

• Tianqi Yue, Bioinspired multiscale adaptive suction on complex dry surfaces enhanced by regulated water secretion, Pnas, 2024

• New Atlas

INTELLIGENCE ARTIFICIELLE

• Une pépite française dans le giron d’Apple • Datakalab, start-up parisienne spécialisée dans l'analyse d'image par IA et dans la compression d'algorithmes, a été rachetée dans son intégralité par Apple. Selon les informations de Challenges, la transaction a eu lieu à la mi-décembre. Si le montant du rachat n'a pas été divulgué, la Commission européenne a été notifiée de l'opération. Plusieurs chercheurs ont rejoint les équipes d'IA d’Apple, mais non les deux fondateurs de la start-up.
  Pour en savoir plus : Challenges, MacGeneration 

• L’IA débarque aux JO • Le Comité International Olympique a créé un groupe de travail pour promouvoir l’adoption de l’IA dans le sport. Les cas d’usage envisagés vont de la personnalisation des méthodes d'entraînement à l’identification des athlètes les plus prometteurs, mais l'IA sera également utilisée pour protéger les athlètes du harcèlement en ligne et pour améliorer l'expérience des téléspectateurs. Les premières technologies seront déployées lors des Jeux de Paris cet été.
  Pour en savoir plus: Associated Press

• La BBC met l’IA au service de l’éducation • La BBC va investir 6 millions de livres (près de 7 millions d'euros) pour intégrer l'intelligence artificielle dans le service éducatif BBC Bitesize pour en faire une plateforme d'apprentissage plus personnalisée et interactive. Cette initiative veut adapter les contenus aux besoins individuels des utilisateurs, en fournissant des tests personnalisés et des suggestions de contenu supplémentaire pour approfondir la compréhension des sujets étudiés.
  Pour en savoir plus: The Guardian

• Les deepfakes troublent les élections indiennes • Les élections en Inde, qui ont débuté vendredi dernier, ont été troublées par des deepfakes contre le premier ministre au pouvoir, l’autoritaire Narendra Modi. Les vidéos truquées montraient deux stars de Bollywood, Aamir Khan et Ranveer Singh, portant des critiques contre le régime. Elles ont largement circulé sur les réseaux sociaux, notamment Facebook, atteignant les 500 000 visionnages. Dénoncées par les acteurs eux-mêmes, elles ont été supprimées par Meta.
  Pour en savoir plus: Reuters, Voice of America

MONNAIES NUMÉRIQUES ET BLOCKCHAINS

• Victory Securities crie victoire • La société d'investissement hongkongaise Victory Securities a dévoilé ses frais pour les ETF Bitcoin et Ethereum, avant même la publication officielle des émetteurs approuvés par la Commission des valeurs mobilières et des contrats à terme de Hong Kong (SFC). Pour les transactions sur le marché primaire, les frais seront de 0,5% à 1%, tandis que pour le marché secondaire, les frais varieront de 0,15% à 0,25% selon la méthode de transaction. Ces tarifs sont comparables à ceux des gestionnaires d'actifs américains pour les ETF similaires, comme Franklin Templeton dont les frais s’élèvent à 0,19%, tandis que les autres ETFs oscillent entre 0,2 et 0,9%.
  Pour en savoir plus: Cointelegraph

ÉDITION PREMIUM

En exclusivité pour les abonnés :

• Les deux plus petits modèles de la suite Llama 3 de Meta, sortis en fin de semaine dernière, font déjà réagir. En attendant qu’un troisième modèle, à 400 milliards de paramètres, porte enfin les LLM open source au niveau des modèles les plus avancés.

Llama 3 grimpe vers les sommets

Les premiers retours sur les deux modèles publiés par Meta montrent que Llama 3 a de quoi rivaliser avec ses concurrents. En attendant de voir si le troisième saura atteindre les sommets.

Comparaison des deux premiers LLM de Llama 3 avec ses concurrents (Source : Meta)

Il n’y a pas que les paramètres dans un LLM. Le jeu de données d’entraînement pour Llama 3 atteint les 15 000 milliards de tokens, des unités de sens qui correspondent à un mot ou une partie de mot, d’image, de code, de son… Cette taille considérable permet aux deux modèles présentés la semaine dernière de battre leurs concurrents directs sur de nombreux tests (cf. tableau ci-dessus). Le troisième modèle, qui devrait comprendre 400 milliards de paramètres, est toujours en cours d'entraînement mais il obtient déjà des résultats proches de GPT-4 Turbo, qui régnait en maître jusqu’à il y a quelques semaines (lire Qant du 15 avril).

Des modèles sous-entraînés jusqu’à présent

...