Asegurar la calidad en sistemas distribuidos, vivos y en constante evoluci\u00f3n es uno de los compromisos centrales de ingenier\u00eda en Nubank. En este entorno, donde Clojure es ampliamente adoptado y los equipos trabajan con c\u00f3digo que cambia continuamente, Ra\u00edssa Barreira, Desarrolladora de Software en Nubank, encontr\u00f3 el punto de partida para unir la pr\u00e1ctica y la investigaci\u00f3n: entender c\u00f3mo la inteligencia artificial puede apoyar la generaci\u00f3n de pruebas unitarias de manera responsable.<\/p>\n\n\n\n
El proyecto aborda una necesidad muy real en el desarrollo diario y empuja las fronteras de un l\u00edmite a\u00fan en gran parte inexplorado dentro de los lenguajes de programaci\u00f3n funcional. La investigaci\u00f3n se est\u00e1 llevando a cabo en LABES (Laboratorio de Ingenier\u00eda de Software) del ICMC\/USP, bajo la gu\u00eda del Prof. Jos\u00e9 Carlos Maldonado y en colaboraci\u00f3n con el Prof. Auri Vincenzi, actualmente investigador en la Universidad de Oporto, fortaleciendo a\u00fan m\u00e1s el puente entre la academia y la industria.<\/p>\n\n\n\n
Ra\u00edssa se uni\u00f3 a Nubank en 2023, y fue aqu\u00ed donde tuvo su primer contacto con Clojure. De esa experiencia surgi\u00f3 la curiosidad por entender c\u00f3mo mejorar la calidad de las pruebas en el lenguaje que impulsa gran parte de los sistemas de Nu.<\/p>\n\n\n\n
En los \u00faltimos a\u00f1os, ha habido un progreso significativo en el uso de modelos de lenguaje para generar pruebas autom\u00e1ticamente, pero Clojure rara vez aparece en esas investigaciones. Esta brecha inspir\u00f3 la pregunta que gu\u00eda su investigaci\u00f3n: c\u00f3mo integrar la IA en el proceso de creaci\u00f3n de pruebas unitarias en Clojure de una manera reflexiva, incremental y que pueda compararse directamente con el trabajo escrito por humanos.<\/p>\n\n\n\n
La idea central es construir pruebas de forma progresiva. En lugar de crear un \u00fanico conjunto de pruebas y analizarlo todo a la vez, el proceso evoluciona en peque\u00f1as capas. Cada capa ayuda a revelar brechas, refinar las pruebas existentes y preparar el entorno para evaluaciones m\u00e1s rigurosas. Este enfoque permite identificar puntos fr\u00e1giles antes de que se conviertan en problemas mayores.<\/p>\n\n\n\n
En Clojure, esta estrategia resulta especialmente \u00fatil, ya que el lenguaje favorece la expresividad y la composici\u00f3n, lo que aumenta la necesidad de una verificaci\u00f3n cuidadosa a trav\u00e9s de m\u00faltiples rutas de ejecuci\u00f3n..<\/p>\n\n\n\n
La prueba de cobertura mide qu\u00e9 cantidad del c\u00f3digo es realmente ejercitada por las pruebas. Ayuda a revelar caminos olvidados, ramificaciones raras y partes del sistema que nunca se ejecutan.<\/p>\n\n\n\n
Aunque no garantiza directamente la calidad l\u00f3gica de las pruebas, muestra r\u00e1pidamente d\u00f3nde est\u00e1n las brechas. En la estrategia incremental, esta m\u00e9trica funciona como un term\u00f3metro inicial para guiar lo que debe crearse o revisarse.<\/p>\n\n\n\n
Despu\u00e9s de alcanzar un nivel s\u00f3lido de cobertura, la estrategia pasa a una etapa m\u00e1s exigente: la prueba de mutaci\u00f3n (mutation testing). Esta crea versiones ligeramente alteradas del c\u00f3digo original y verifica si las pruebas pueden detectar que algo est\u00e1 mal. Cuando se identifica el problema, se dice que el ‘mutante’ ha sido ‘eliminado’ (killed). Cuando todo pasa silenciosamente, se\u00f1ala fragilidad. Esta t\u00e9cnica proporciona una visi\u00f3n m\u00e1s profunda de cu\u00e1n capaces son realmente las pruebas de capturar comportamientos incorrectos.<\/p>\n\n\n\n
El costo computacional es mucho m\u00e1s alto, pero la ganancia en confianza tambi\u00e9n lo es.<\/p>\n\n\n\n
Los modelos de lenguaje son especialmente \u00fatiles al comienzo de la construcci\u00f3n del conjunto de pruebas. Entienden instrucciones textuales, infieren el comportamiento a partir de funciones y producen c\u00f3digo de prueba en Clojure r\u00e1pidamente. Esto reduce el esfuerzo manual y acelera la creaci\u00f3n de una base de pruebas inicial.<\/p>\n\n\n\n
Al mismo tiempo, la IA presenta desaf\u00edos que no pueden ignorarse. Los modelos pueden ‘alucinar’ comportamientos inexistentes, producir pruebas superficiales y depender en gran medida de la claridad de la entrada. Tambi\u00e9n carecen de mecanismos formales para garantizar la correcci\u00f3n. Esto significa que las pruebas generadas deben ser analizadas, revisadas y comparadas continuamente.<\/p>\n\n\n\n
La estrategia incremental surge como una forma de equilibrar este escenario. En lugar de depender por completo de la IA, el proceso crea espacio para la validaci\u00f3n, la comparaci\u00f3n directa con pruebas escritas por humanos y las iteraciones sucesivas que elevan la calidad general del conjunto.<\/p>\n\n\n\n
El ciclo comienza con la creaci\u00f3n de dos conjuntos de pruebas: uno escrito por desarrolladores y otro generado por IA. Ambos se eval\u00faan mediante la cobertura. Si la cobertura est\u00e1 por debajo de las expectativas, se crean nuevas pruebas y el proceso contin\u00faa hasta alcanzar un nivel aceptable.<\/p>\n\n\n\n
Una vez que esa etapa madura, el ciclo pasa a la prueba de mutaci\u00f3n (mutation testing), donde ambos conjuntos se eval\u00faan y se expanden de nuevo. Con el tiempo, es posible observar c\u00f3mo evoluciona cada conjunto y comprender d\u00f3nde la IA se acerca o se diverge de la calidad humana.<\/p>\n\n\n\n
En los primeros escenarios, las pruebas generadas por IA lograron superar a las pruebas escritas manualmente, tanto en velocidad como en la eliminaci\u00f3n de mutantes (‘killing mutants’). La conclusi\u00f3n es prometedora, pero a\u00fan limitada, ya que este experimento inicial todav\u00eda no representa la complejidad real de los sistemas de producci\u00f3n.<\/p>\n\n\n\n
La siguiente etapa del estudio implica aplicar la estrategia a un conjunto m\u00e1s amplio y diverso de programas Clojure. El objetivo es evaluar el volumen de pruebas producidas, la cobertura alcanzada, el n\u00famero de mutantes eliminados, el esfuerzo computacional involucrado y el consumo de tokens de los modelos de IA. Estos indicadores ayudar\u00e1n a determinar el costo y beneficio reales de adoptar esta forma de automatizaci\u00f3n en entornos reales.<\/p>\n\n\n\n
La investigaci\u00f3n de Ra\u00edssa refuerza la importancia de acercar la academia y la industria. Nubank opera sistemas de gran escala, distribuidos y de misi\u00f3n cr\u00edtica. Por esta raz\u00f3n, cualquier avance que aumente la calidad y reduzca el riesgo es significativo.<\/p>\n\n\n\n
La estrategia incremental asistida por IA abre caminos para evolucionar bases de pruebas heredadas (legacy), reducir el esfuerzo en refactorizaciones importantes y fortalecer la confianza del equipo en cada cambio desplegado a producci\u00f3n.<\/p>\n\n\n\n
De manera m\u00e1s amplia, el estudio enriquece la conversaci\u00f3n sobre la adopci\u00f3n responsable de la IA en el ciclo de vida del desarrollo. No como un reemplazo, sino como parte de un sistema que permite la validaci\u00f3n, la comparaci\u00f3n y la mejora continua.<\/p>\n\n\n\n
La estrategia a\u00fan est\u00e1 en desarrollo, pero ya muestra potencial. Con m\u00e1s experimentos, una base de c\u00f3digo m\u00e1s amplia y ciclos de evaluaci\u00f3n adicionales, puede convertirse en una herramienta relevante para mejorar la calidad del software en Clojure.\\.<\/p>\n\n\n\n
<\/p>\n\n\n\n