Dans mon dernier article, j’ai écrit comment l’utilisation des LLM m’avait rendu la curiosité que je ressentais en tant que stagiaire. La permission de ne pas savoir des choses. L’énergie qui vient du fait de comprendre réellement quelque chose.
Ce billet parlait principalement de la façon dont j’apprends (découvrez la compétence professorale que j’ai développée pour cela). Celui-ci parle de ce que j’ai lu et de la raison pour laquelle j’ai commencé à penser que lire est l’une des choses les plus utiles que je fais.
Je parle du trajet. De la pause déjeuner. Des dix minutes d’inactivité avant une réunion. Tout cela, ces derniers temps, a été rempli d’articles, de billets de blog et de rapports de recherche. Certains sont directement applicables à mon travail. Certains proviennent de domaines dans lesquels j’étais, dans une autre vie. Mais tout cela est vraiment intéressant.
Lorsque la science s’appuie sur elle-même en public
Ce qui a attiré mon attention récemment n’était pas un seul article. C’était une chaîne d’articles.
Cela a commencé avec l’autoresearch de Karpathy : une expérience dans laquelle un agent de codage a amélioré de manière autonome un script d’entraînement de réseau neuronal. Aucun humain n’était impliqué dans le processus entre les expériences. L’agent a réfléchi uniquement à partir du contexte du code, a exécuté les expériences, a vérifié les mesures et a conservé ou rejeté les résultats. N’est-ce pas génial ?
Puis est arrivé pi-autoresearch, qui a pris cette boucle et l’a généralisée. Tout projet disposant d’un benchmark et d’une suite de tests. Le PDG de Shopify, Tobi Lütke, l’a exécuté sur Liquid, le moteur de modèles Ruby qui traite un volume de marchandises annuel de 292 milliards de dollars. L’agent a effectué environ 120 expériences, produisant 93 commits qui ont réduit le temps de parsing et de rendu de 53 % et les allocations de 61 %, sans aucune régression sur 974 tests unitaires. Juste pour souligner UNE RÉDUCTION DU TEMPS DE RENDU DE PLUS DE 50 % ! 🤯
Et puis, cette semaine, j’ai lu l’article de SkyPilot sur les agents pilotés par la recherche, qui étend la boucle avec une étape qui, avec le recul, semble évidente : laisser l’agent lire d’abord.
Ils ont donc ajouté une phase de littérature. Avant de réaliser des expériences, l’agent lit des articles, étudie les forks concurrents et examine ce que font déjà d’autres backends. La même préparation qu’un ingénieur senior ferait avant de toucher un code inconnu. Dans la pratique, cela a révélé des choses intéressantes, mais pas évidentes. Je ne vais pas vous gâcher le plaisir ici, mais vous pouvez lire l’article vous-même.
Ce que je ne parviens pas à surmonter, c’est la filiation. Karpathy publie autoresearch → l’équipe pi-autoresearch le généralise → SkyPilot l’étend avec une phase de littérature → tout cela est public, lienable, reproductible. Suivez le fil, construisez dessus, explorez à votre guise. C’est la science qui fait ce qu’elle est censée faire, mais plus rapidement, et sans aucune des frictions habituelles liées à l’accès.
Le plaisir de lire des choses que l’on comprend à moitié
Je veux dire quelque chose qui peut sembler un peu embarrassant : j’ai vraiment apprécié lire à nouveau des articles et des billets de recherche, même lorsque je ne les comprenais pas entièrement (surtout lorsque je ne les comprenais pas entièrement).
L’article de Michael Chavinda sur ce que la théorie des catégories nous enseigne sur les DataFrames a eu cet effet sur moi. Le postulat est que pandas dispose de plus de 200 méthodes, et que la plupart des développeurs (moi y compris) n’en ont mémorisé qu’assez pour accomplir leurs tâches. Mais si vous examinez ce qu’elles font réellement au schéma d’un DataFrame, presque toutes se résument à trois opérations fondamentales — Delta, Sigma et Pi — qui s’avèrent être des concepts de la théorie des catégories, plus précisément du travail de Fong et Spivak sur les foncteurs de migration de bases de données.
select, exclude, rename : tout Delta. Vous remodélisez le schéma sans inventer de nouvelles données.
groupBy suivi d’une agrégation : Sigma. De nombreuses lignes se réduisent à une par clé.
join : Pi. Deux schémas se combinent le long d’une clé partagée.
Le reste — filter, sort, distinct — opère au sein d’un seul schéma et s’intègre dans une autre partie du tableau catégorique (les topos, si vous voulez le mot).
J’utilise pandas depuis des années. Et je n’avais jamais pensé à tout cela. Lire cet article ne m’a pas rendu meilleur utilisateur de pandas immédiatement. Mais cela m’a donné un cadre pour réfléchir aux transformations de données que je n’avais pas auparavant, et je me suis déjà surpris à l’appliquer au travail.
Qu’est-ce qui a été bien d’autre ?
L’article de Google sur TurboQuant porte sur la recherche de moyens plus intelligents de compresser les données que les modèles d’IA doivent conserver en mémoire pendant leur fonctionnement. Chaque fois que vous utilisez un chatbot ou un assistant IA, le modèle suit la conversation en stockant un enregistrement en cours dans la mémoire — et cette mémoire devient coûteuse rapidement. TurboQuant est une nouvelle technique pour comprimer ces données sans dégrader significativement la qualité. Leur résultat : vous pouvez les compresser jusqu’à environ un tiers de leur taille originale et à peine remarquer la différence.
L’implication est réelle : l’IA est coûteuse en partie à cause de la quantité de mémoire dont elle a besoin, et des articles comme celui-ci contribuent discrètement à résoudre ce problème.
Et puis il y a Eon Systems et l’article de Nature sur lequel ils s’appuient. Une équipe a émulé l’ensemble du cerveau central de Drosophila melanogaster en utilisant 139 255 neurones biologiques et 50 millions de connexions synaptiques, reconstruites à partir de scans du connectome. Le modèle informatique a reproduit les réponses neuronales de la mouche biologique avec une précision de 91 %, en utilisant uniquement des données de connectivité et l’identité des neurotransmetteurs. Aucun comportement codé à la main.
La mouche numérique marche. Elle navigue. Elle se toilette. Elle se nourrit. Une structure pure produisant une fonction.
Je trouve ce résultat assez surprenant. Le même article a montré que l’activation de neurones sensibles au sucre dans le modèle prédisait avec précision quels neurones biologiques répondraient au goût et déclencheraient l’initiation de l’alimentation (ce qu’ils ont ensuite validé expérimentalement). Nous nous rapprochons des jumeaux numériques et c’est vraiment passionnant.
Ce que je continue à tirer de cela
Chacun de ces articles provenait d’un endroit différent et traitait de sujets variés. Mais franchement, qui s’en soucie ? N’est-ce pas fascinant ? Peut-être parce que j’ai l’impression de voir le futur se construire sous mes yeux ou peut-être parce que des personnes intelligentes font des choses intelligentes, mais quoi qu’il en soit, j’adore ça.
À la prochaine ! Qui sait sur quoi je réfléchirai alors ?