En mi última publicación, escribí sobre cómo el uso de los LLM me había devuelto la curiosidad que sentía cuando era becario. El permiso para no saber cosas. La energía que surge cuando realmente logras entender algo.
Ese artículo trataba principalmente sobre cómo aprendo (mira la habilidad de profesor que desarrollé para ello). Este artículo trata sobre qué he estado leyendo y por qué he empezado a pensar que leer es una de las cosas más útiles que hago.
Me refiero al viaje al trabajo. A la pausa para el almuerzo. A los diez minutos de inactividad antes de una reunión. Todo ello, últimamente, ha estado lleno de artículos, entradas de blog y escritos de investigación. Algunos directamente aplicables a mi trabajo. Algunos de áreas en las que estuve en otra vida. Pero todo ello, realmente interesante.
Cuando la ciencia se construye a sí misma en público
Lo que me llamó la atención recientemente no fue un solo artículo. Fue una cadena de ellos.
Empezó con la autoresearch de Karpathy: un experimento en el que un agente de codificación mejoró de forma autónoma un script de entrenamiento de una red neuronal. Ningún humano participó en el proceso entre experimentos. El agente reflexionó únicamente a partir del contexto del código, ejecutó los experimentos, comprobó las métricas y conservó o descartó los resultados. ¿No es genial?
Luego llegó pi-autoresearch, que tomó ese bucle y lo generalizó. Cualquier proyecto con un punto de referencia y una suite de pruebas. El CEO de Shopify, Tobi Lütke, lo ejecutó en Liquid, el motor de plantillas Ruby que procesa un volumen de mercancías de 292.000 millones de dólares al año. El agente ejecutó unos 120 experimentos, produciendo 93 commits que redujeron el tiempo de análisis y renderizado en un 53 % y las asignaciones en un 61 %, sin ninguna regresión en 974 pruebas unitarias. Solo para enfatizar: REDUCCIÓN DEL TIEMPO DE RENDERIZADO EN MÁS DEL 50 %! 🤯
Y luego, esta semana, leí el artículo de SkyPilot sobre Agentes impulsados por la investigación, que amplía el bucle con un paso que, en retrospectiva, parece obvio: deja que el agente lea primero.
Así que añadieron una fase de literatura. Antes de ejecutar los experimentos, el agente lee artículos, estudia las bifurcaciones competidoras y observa lo que ya hacen otros backends. La misma preparación que haría un ingeniero senior antes de tocar código desconocido. En la práctica, esto reveló cosas interesantes, pero no obvias. No quiero estropearlo aquí, pero puedes leer el artículo tú mismo.
Lo que no puedo superar es la genealogía. Karpathy publica autoresearch → el equipo de pi-autoresearch lo generaliza → SkyPilot lo amplía con una fase de literatura → todo ello es público, enlazable y reproducible. Sigue el hilo, constrúyelo, explora a tu antojo. Eso es lo que la ciencia debería hacer, solo que más rápido y sin las fricciones habituales en torno al acceso.
El placer de leer cosas que solo entiendes a medias
Quiero decir algo que puede sonar un poco vergonzoso: he estado disfrutando realmente de leer artículos y publicaciones de investigación de nuevo, incluso cuando no los entiendo del todo (especialmente cuando no los entiendo del todo).
El artículo de Michael Chavinda sobre lo que la teoría de categorías nos enseña sobre los DataFrames me hizo sentir esto. La premisa es que pandas tiene más de 200 métodos, y la mayoría de los desarrolladores (yo incluido) solo hemos memorizado lo suficiente de ellos para hacer nuestro trabajo. Pero si observas lo que realmente hacen al esquema de un DataFrame, casi todos ellos se reducen a tres operaciones fundamentales: Delta, Sigma y Pi, que resultan ser conceptos de la teoría de categorías, específicamente del trabajo de Fong y Spivak sobre los funtores de migración de bases de datos.
select, exclude, rename: todo Delta. Estás modificando el esquema sin inventar nuevos datos.
groupBy seguido de una agregación: Sigma. Muchas filas se reducen a una por clave.
join: Pi. Dos esquemas se combinan a lo largo de una clave compartida.
El resto — filter, sort, distinct — opera dentro de un único esquema y encaja en una parte diferente del panorama categórico (topos, si quieres la palabra).
He utilizado pandas durante años. Y nunca había pensado en nada de esto. Leer ese artículo no me convirtió en un mejor usuario de pandas de inmediato. Pero me dio un marco para pensar sobre las transformaciones de datos que no tenía antes, y ya me he sorprendido a mí mismo aplicándolo en el trabajo.
Qué más ha sido bueno
El artículo de Google sobre TurboQuant trata sobre encontrar formas más inteligentes de comprimir los datos que los modelos de IA necesitan mantener en memoria mientras están en funcionamiento. Cada vez que utilizas un chatbot o un asistente de IA, el modelo hace un seguimiento de la conversación almacenando un registro en ejecución en la memoria, y esa memoria se vuelve cara rápidamente. TurboQuant es una nueva técnica para comprimir esos datos sin degradar significativamente la calidad. Su resultado: se puede comprimir hasta aproximadamente un tercio de su tamaño original y apenas se nota la diferencia.
La implicación es real: la IA es costosa en parte debido a la cantidad de memoria que necesita, y artículos como este están contribuyendo silenciosamente a resolver ese problema.
Y luego está Eon Systems y el artículo de Nature en el que se basan. Un equipo emuló todo el cerebro central de Drosophila melanogaster utilizando 139.255 neuronas biológicas y 50 millones de conexiones sinápticas, reconstruidas a partir de escaneos del conectoma. El modelo computacional coincidió con las respuestas neuronales de la mosca biológica con una precisión del 91 %, utilizando únicamente datos de conectividad e identidad de neurotransmisores. Sin comportamientos codificados manualmente.
La mosca digital camina. Navega. Se acicala. Se alimenta. Estructura pura que produce función.
Considero que este resultado es bastante sorprendente. El mismo artículo mostró que la activación de las neuronas sensibles al azúcar en el modelo predijo con precisión qué neuronas biológicas responderían al gusto y desencadenarían el inicio de la alimentación (lo que luego validaron experimentalmente). Nos estamos acercando a los gemelos digitales y eso es realmente emocionante.
Lo que sigo sacando de esto
Cada uno de estos artículos provenía de un lugar diferente y trataba sobre cosas distintas. Pero, sinceramente, ¿a quién le importa? ¿No es esto fascinante? Tal vez porque siento que estoy viendo cómo se construye el futuro ante mis ojos o tal vez porque gente inteligente está haciendo cosas inteligentes, pero sea lo que sea, me encanta.
¡Nos vemos en el próximo! ¿Quién sabe en qué estaré pensando entonces?