Comme tout le monde, j’ai joué avec les LLM. Comme tout le monde, j’ai appelé ça de l’IA.
Des NFT à “IA”
Depuis 2019, j’ai publié beaucoup d’articles sur les NFT. Je vous rassure, je n’ai pas “pivoté dans l’IA” comme de nombreuses personnes de l’écosystème. Je continue de timestamper mes création grâce aux NFT comme je le fais depuis des années. L’intelligence artificielle, j’en avait entendu parlé avec Robbie Barrat qui s’amusait avec des nus à l’époque. Même si on appelait pas ça de l’IA, mais du RAG. En 2022, tandis que je me reconvertissait en data analyst, la vague ChatGPT est arrivée et avec elle, son lot de marketing plus ou moins trompeur :
“Intelligence artificielle” à tout va, récupération du ✨ pour faire croire à de la magie, intégration massive dans nos outils du quotidien…
Ayant vécu plusieurs vagues d’emballement technologique similaire, j’étais un peu dubitatif, mais après tout ce n’était pas tout à fait la même chose donc je me suis dis que j’allais prendre un abonnement avec Claude car pour coder, cela semblait très pratique. Pour quoi faire ? Hé bien, deux choses :
- Réaliser un vieux rêve et créer mon propre jeu vidéo blockchain
- Créer localement des vidéos avec mon ordi
Autant vous dire tout de suite que tout ne s’est pas passé comme prévu… Mais que les expériences étaient néanmoins intéressantes
Ethernal : faire revivre un jeu blockchain
Quand j’avais joué à ce jeu il y a quelques années, je l’avais réellement apprécié. Un RPG dungeon crawler en pixel art. Chaque salle est un NFT qui peut être obtenu par le joueur qui découvre la salle. Pour chaque combat qui se déroule dans cette salle, le propriétaire du NFT récupère un % de l’or gagné par le joueur. Les combats sont au tour par tour avec un système aléatoire de choix d’attaque et de défense.
Sur le papier, l’idée de faire revivre ce jeu m’a paru géniale. Et avec Claude, j’allais pouvoir m’improviser développeur de jeu blockchain en un instant ! Presque. L’instant a duré 4 mois environ car on ne s’improvise pas game dev – dev blockchain – économiste. En effet, même si Claude est balèze, il fait des erreurs. Même s’il est fort, il faut quand même le guider. Et sans compétences de base, les directions données peuvent être erronées, ce qui double les erreurs…
Heureusement, Claude Code permet d’agir directement dans un dossier et les montées de version ont corrigé beaucoup de bugs. Maintenant que le jeu est jouable, vient ensuite l’étape suivante : la promotion du jeu. L’économie du jeu reposant sur les actions des joueurs, je ne pouvais pas jouer tout seul éternellement (cela me coûte 90$/mois d’envoyer des requêtes pour maintenir l’état de la chain à jour) . Et là, même si Claude pouvait me proposer un super plan de comm’, il y a une ressource qui est venue à me manquer : le temps. Poster tous les jours sur les réseaux en demande beaucoup.
J’ai donc mis le serveur en pause. Si cela vous intéresse de participer à la phase de test, n’hésitez pas à rejoindre mon canal Télégram prévu pour ça :)
ComfyUI : le gadget gourmand
Venant de l’univers des cryptos, je suis un partisan du “self-hosted”. Donc plutôt que passer par Firefly ou autre solution SaaS, pourquoi ne pas créer des vidéos venant d’un LLM directement sur ma tour ?
Un pote me conseille ComfyUI, un logiciel compatible Linux qui permet les rêves les plus fous. Après avoir trouvé un petit tuto, je télécharge les quelques modules nécessaires et lance un premier essai. Au bout de quelques essais et beaucoup de bruit de ventilation de ma carte graphique, j’ai enfin un rendu. Bon, on est loin de Midjourney, mais ça fait quand même un joli GIF animé !
Je serais bien allé plus loin, mais je garde ça pour plus tard. Actuellement ces modèles sont très énergivores et les cartes graphiques, comme la RAM, coûtent chères. Je comprends mieux pourquoi tout le monde passe par le cloud pour ces solutions…
Je garde donc mes workflows de côté en attendant que de nouvelles solutions se développent car cet outil est hyper intéressant artistiquement et techniquement.
Essais locaux plus réalistes
Au-delà de mes ambitions un peu folles, j’ai tout de même fait des tests plus réalistes. Tout d’abord, utiliser AnythingLLM pour avoir localement un agent à qui parler… Droit et législation pour un label musical. Avec plusieurs amis, nous avons décidé de nous lancer dans cette aventure mais il y a beaucoup de paramètres à prendre en compte dans cette industrie.
Le plus dur aura été de récupérer tous les textes de loi ainsi que les transformer en .MD lisibles par AnythingLLM. Mais une fois cela fait, la magie opère localement avec Qwen 2.6G.
Ensuite, une agréable surprise a été la facilité déconcertante avec laquelle Claude a réussi à créer un fichier Excel de comptabilité pour le calcul des droits et redevances liées aux artistes, album, track, etc. En deux prompts c’était plié.
Notre Obsidian de travail commun a aussi été créé quasiment uniquement via Claude.
Décevant pour la création, idéal pour du one-shot
Après tout ce temps passé à jouer avec les LLM, j’en tire plusieurs conclusions. La première, c’est qu’il vaut mieux avoir des compétences de base pour savoir quoi demander exactement à votre IA. Vous pouvez créer des “Skill” pour votre LLM. Mais ils seront vite obsolète à chaque mise à jour. Que cela soit pour le code, les écrits, les tableurs ou l’art, si vous n’avez pas les notions de base, ça sera synthétique et artificiel au mieux, raté et faux au pire.
Les LLM multimodales sont très pratiques pour faire des analyses d’images, vidéos ou textes qui existent déjà. Mais attention, chaque analyse sera différente à chaque fois. Lorsque je passais au crible les campagnes de publicité de Mamie Nova avec Gemini, les notes et les analyses de chaque critère étaient légèrement différentes à chaque fois. Pas de beaucoup, mais quand même.
De la même manière, demander de créer la même image résultera toujours par un rendu différent. Cela devient plus rapide de créer soi-même l’image voulu… Ou d’embaucher un artiste pour le faire.
L’illusion du solutionnisme technologique
À l’heure où Microsoft annule ses licences Claude, que Uber épuise ses crédits trop vite, il faut garder en tête que 90% des coûts des tokens utilisés sont financés par les investisseurs privés. Cela veut dire qu’un jour, les vannes vont se fermer… Et si votre workflow est trop dépendant d’un LLM, non seulement cela va vous emprisonner auprès d’un fournisseur mais en plus les prix d’exécution vont exploser.
Les accélérationnistes diront qu’avant que cela arrive, des solutions moins coûteuses et plus efficaces seront disponibles. À l’inverse, la construction de data center (et leur consommation électrique) se font au détriment de l’investissement humain et écologique pour l’avenir.
Si la planète n’était pas en train de brûler, peut-être que je serais plus optimiste sur l’avenir des LLM en SaaS. Tant que les tokens sont encore à bas prix, il peut être tentant de créer pleins de workflow. Mais au cas où… Je vais quand même continuer de m’entraîner à coder et commencer à apprendre l’architecture data et approfondir mes connaissances en machine learning.
Crédit photo sur Unsplash : Lukas Bachofner
Leave a comment