Tik-Tok, l'IA open source et la démocratisation de la menace

« Le progrès est devant nous, à condition de dépasser sa propagande » Paul Virilio

Chaque jour, les journalistes de Qant illustrent les tendances de fond qui animent la tech. Pour cela, ils s’appuient sur Kessel Média et utilisent l’IA générative depuis mars 2022. Merci, pour ce numéro, à Morgan Rouchy et, comme toujours, Anne-Violette Revel de Lambert.

CORN FAKES

L’IA, les jeunes, Tik-Tok et les marques

Fin juillet, une étude de Newsguard estimait que les vidéos enrichies par l’IA représentent la moitié des fake news sur Tik-Tok. Pendant qu’une génération invente une nouvelle écriture vidéo, la détection des contenus générés par l’IA devient de moins en moins aisée.

• Des objets satanistes incrustés dans un magasin de la chaîne religieuse américaine Hobby Lobby, sur une vidéo Tik-Tok

Sur 520 vidéos sur Tik-Tok analysées par le consultant new-yorkais NewsGuard pour son Misinformation Monitor de juillet 2023, 14% contenaient des contenus faux ou nuisibles à des grandes marques. Les 73 clips incriminés, présentés parmi les premiers résultats de recherche sur le nom de la marque, cumulaient 57 millions de vues. Près de la moitié utilisaient du contenu généré par l’IA, parfois de manière assez grossière, comme la vidéo ci-dessus, où apparaît la mention du modèle générateur d’images Midjourney. Aucune autre des vidéos examinées par Newsguard ne contenait de mention aussi explicite, malgré les conditions d’utilisation de Tik-Tok.

Les vidéos repérées par Newsguard reprennent souvent des fakes apparus sur Facebook ou Youtube. On repère ainsi des poncifs conspirationnistes, comme la thèse de QAnon sur l’utilisation des fûts de Heineken pour transporter de l’adrénochrome, un pigment biologique prélevé sur des enfants par des réseaux pédophiles pour permettre aux “élites” de rester jeunes et en bonne santé. Le groupe de bière hollandais a été choisi comme cible après que Bill Gates (dont l’aspect juvénile saute aux yeux de l’observateur) ait choisi, en février dernier, d’y investir près de 900 millions de dollars. Son rival américain Anheuser-Busch avait pour sa part dû essuyer, en mars, un boycott par les conservateurs américains car sa marque Bud Light s’était choisi pour égérie le transexuel Dylan Mulvaney.

Tik-Tok, plate-forme d’IA expérimentale

Les marques de bière ne sont bien sûr pas les seules à exciter ces fantaisies maladives. D’autres vidéos repérées par Newsguard s’étendent ainsi sur les penchants satanistes de “Baalenciaga” et des magasins Target, sur l’utilisation de farines d’insectes pour fabriquer les pâtes Barilla, et ainsi de suite. Elles semblent former la pointe d’un phénomène plus vaste, où l’on retrouve par exemple des autobiographies en vidéo, donnant la parole à Napoléon, Voltaire, Lady Di ou Elon Musk:

Sur Tik-Tok, @la.minute.culture.fr compose des biopics de synthèse

La chinoise Bytedance, qui a créé Tik-Tok, fait preuve d’un grand dynamisme pour intégrer l’IA générative à sa plate-forme, bien supérieur à son rival Meta. Mi-juillet, elle a intégré son éditeur de vidéos Capcut à ChatGPT, sous la forme d’un plugin qui génère des vidéos à partir d’une invite textuelle (prompt). En mars dernier, elle avait annoncé son intention de développer ses propres semiconducteurs pour l’IA (Reuters) et dès le mois d’août 2022, elle avait lancé une fonctionnalité text-to-video sur Tik-Tok, sous le nom d’AI Greenscreen. Celle-ci n’a pas connu le succès de ses filtres d’IA, mais l’ensemble fait de Tik-Tok la première plate-forme où le grand public expérimente avec la vidéo d’IA. Début 2023, Tik-Tok réunissait 1,7 milliards d’utilisateurs, principalement âgés de moins de 24 ans (Statista).

Détecter l’IA

Pour l’heure, les vidéos générées avec l’IA restent souvent assez facilement reconnaissables. C’est cependant de moins en moins le cas. Qu’on en juge par cette bande-annonce fictive, créée par le graphiste Nicolas Neubert :

De même, les images générées par Midjourney, Stable Diffusion et Dall-e ne cessent de gagner en “photoréalisme”. Quant aux textes, une étude de juin dernier rend un verdict sans appel. Parmi les 14 principaux outils de détection de ChatGPT, aucun outil n’atteint les 80% d’efficacité globale.

Classement global des outils de détection d'IA. Source : D. Weber-Wulff et al., Arxiv.com“Les outils de détection disponibles ne sont ni précis ni fiables et ils ont tendance à classer le résultat comme étant écrit par un humain plutôt qu'à détecter le texte généré par l'IA” concluent les chercheurs, issus de 7 universités européennes et une mexicaine. Les IA semblent en passe de remporter la partie.

Pour en savoir plus :

• Newsguard, How TikTok Became a Hotbed of Brand Misinformation, Misinformation Monitor: July 2023

• Debora Weber-Wulff (University of Applied Sciences HTW Berlin) et al., Testing of Detection Tools for AI-Generated Text, Arxiv.com, Juin 2023

  
  

L’ESSENTIEL : Apple, Google, Sequoia

IA GÉNÉRATIVE

• Ajax et l’Il.IA.de d’Apple : D’après Mark Gurman de Bloomberg, les travaux d’Apple sur un modèle d’IA générative et un chatbot (nom de code “Apple GPT”) se basent sur Google JAX, un framework d’apprentissage automatique réunissant une version spécifique d’Autograd et XLA de Tensorflow. Il a donc été baptisé Ajax, comme le héros grec, mais la marque semble appartenir à Ajax Security System, qui propose des produits de sécurité pour l’iPhone et Apple Watch. Finalement, Apple GPT a du bon.
  Pour en savoir plus: Bloomberg

• GPT-5 is coming : Après avoir proclamé, au lancement de GPT-4, que GPT-5 n’était pas en développement, OpenAI vient de déposer la marque au bureau américain des marques et brevets, l’USPTO. Si l’on accepte l’hypothèse que GPT-4 est composé de 8 LLM de 220 milliards de paramètres et d’un neuvième pour arbitrer entre les réponses, cette architecture ne semble pas pouvoir être menée beaucoup plus loin. GPT-5 impliquerait une innovation encore plus radicale que GPT-4.
  Pour en savoir plus: USPTO.com

BLOCKCHAINS

• Comme un Sequoia qu’on abat : Le VC emblématique de la Silicon Valley Sequoia Capital a réduit de presque deux tiers son fonds crypto, à 200 millions (contre 585 M$ à son lancement en février 2022). Le VC, qui semble vivre une crise de transmission entre générations, avait notamment investi 214 M$ dans FTX, entièrement perdus.
  Pour en savoir plus: Wall Street Journal, Financial Times

• Google persiste et signe : Dans un contexte de plus en plus morose pour le Web3, le Blockchain Node Engine et le programme d’accélération de start-up du Web 3 de Google Coud, lancés respectivement en octobre et en avril dernier, seront maintenus et renforcés, vient de déclarer James Tromans, qui en est responsable chez Google. Une attention particulière sera donnée au jeu vidéo, aux services financiers et généralement à l’intelligence artificielle. Les premières start-up intègrent le programme, comme Cosmic Wire, spécialisée dans l’interopérabilité des blockchains.
  Pour en savoir plus: Blockworks

  
  

GLOSSAIRE CRITIQUE :
Alignement, Constitution, Jailbreak, LLM, RLHF…

D’Alignement à Oligopole, l’alpha et l’oméga de l’IA

Comment empêcher une IA de tenir des propos racistes ou de faciliter la création d’armes et de virus ? Le jargon qui entoure le sujet masque d’importants enjeux de concurrence et de marché.

Llama 2 avait beaucoup d’ambition. Lancé le 18 juillet, ce modèle dernier cri de Meta – cette série de modèles, plus précisément – n’allait pas être un modèle de langage naturel (LLM) parmi d’autres, mais bien le modèle open source de référence. L’investissement dans son réentraînement (RLHF, pour les intimes) n’est pas connu avec précision, mais rien n’est bon marché dans la Silicon Valley, surtout pas le temps d’ingénieurs disposés à se réunir en “Red Team” pour poser des pièges à un LLM et proposer des retours qui lui permettent de se renforcer (précisément, Reinforcement learning from human feedback, RLHF). C’est en se faisant ainsi frotter le museau que GPT-4, qui s’empressait pendant son “redteaming” de proposer (par exemple) des manières de contourner les règles de parole sur Twitter pour y tenir des propos antisémites, a appris à se tenir.

Las, l’alignement de Llama 2 – ses bonnes manières – n’a duré que quelques jours. Quarante-huit heures plus tard selon certains, (quatre jours selon ce qu’il a été donné à Qant de vérifier), un Llama 2 libéré du cachot des bonnes manières (“jailbreaké”, dans l’inimitable jargon de l’IA) se mettait à gambader sinon dans les Andes, du moins sur les ondes d’Internet. En publiant le code, les poids, toute la machinerie intime de Llama 2, Meta a mis un LLM de haut niveau dans les mains du moindre nazillon complotiste, à condition qu’il puisse distinguer Python d’un serpent amazonien (en cas contraire, il lui reste Tik-Tok : lire ci-dessus). “En ce moment, Meta me fait plus peur que la Chine !” s’exclamait mercredi Zvi Mowshowitz, blogueur expertissime, dans le podcast The Cognitive Revolution.

L’alignement de l’intelligence artificielle constitue un domaine de recherche en soi depuis la parution en mai 1960 d’un article fondateur de Norbert Wiener sur la revue Science, au titre explicite de Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. (“Quelques conséquences morales et techniques de l'automatisation : Au fur et à mesure que les machines apprennent, elles peuvent développer des stratégies imprévues à des rythmes qui déconcertent leurs programmeurs”). L’inquiétude que suscitent les boîtes noires de l’IA n’a pas trouvé de solution satisfaisante depuis lors. Mais deux voies se sont ouvertes avec l’IA générative.

Les modèles InstructGPT d’OpenAI, présentés début 2022, ont représenté un progrès notable. Entraînés avec des humains, ils ont posé les bases de ce qui est, aujourd’hui, le Reinforcement learning from human feedback (RLHF) adopté un peu partout et notamment par GPT-4, comme le détaille son rapport technique. Créée par des transfuges d’OpenAI, Anthropic pour sa part a développé un modèle d’IA régi par une “constitution”. Ce document, rendu public, est traduit dans un moteur de règles que le modèle ne peut pas violer.

D’autres peuvent le faire pour lui : tous les modèles semblent avoir été “jailbreakés”. Mais quand il s’agit de Claude ou ChatGPT, le “jailbreak” se déroule sur les serveurs d’Anthropic ou OpenAI. Non seulement il est ainsi confiné, mais l’éditeur du service peut l’examiner pour se prémunir de futures attaques. Il en va de même pour Bard et Bing, les modèles de Google et Microsoft, les deux autres grands de l’IA générative réunis la semaine dernière dans le Frontier Model Forum, ainsi que pour les modèles chinois.

En revanche, un modèle open source “jailbreaké” continue de tourner sur les serveurs du pirate qui l’a fait “s’évader”. Il peut donc réaliser les pires cauchemars de l’IA : prêcher la bonne parole complotiste, aider à l’organisation de toutes sortes de mouvances subversives, organiser des piratages ou des sabotages… voire, par exemple, démocratiser la création autonome d’armes biologiques. S’il veut continuer à se faire le héraut de la concurrence et de l’open source dans l’IA générative, Meta devra répondre à ces inquiétudes de manière plus convaincante que Llama 2 n’a su le faire.

Les craintes que nourrit l’IA dans le grand public et chez les dirigeants politiques poussent donc pour l’heure vers les grands éditeurs de services – au risque que le Frontier Model Forum pose les bases d’un confortable oligopole, d’autant que Microsoft et Google sont les principaux investisseurs d’OpenAI et Anthropic, respectivement. Si le problème de la sécurité dans l’IA open source n’est pas réglé, leur seule concurrence sera chinoise. Et non européenne.