Autor del archivo de: Jesus Avecilla

Abordamos en este post el cambio de modelo de aseguramiento de la calidad de software (QA) cuando entra en escena la disrupción que trae consigo la Inteligencia Artificial. Explicamos también cómo conseguir una IA de confianza. La transición del QA tradicional al QA aplicado en inteligencia artificial supone un cambio profundo en la forma de entender y abordar las soluciones tecnológicas. En esencia, los sistemas informáticos tradicionales son deterministas. A partir de unas entradas definidas y unas reglas explícitas, el sistema ejecuta una lógica programada y produce una salida única, esperable y verificable. Por ejemplo, un algoritmo de cálculo financiero devolverá siempre el mismo resultado ante los mismos datos de entrada. Del mismo modo, un sistema de ticketing validará solicitudes de forma binaria, entendido como correcto/incorrecto. En este contexto, probar consiste en verificar que el sistema hace exactamente lo que se espera. Sin embargo, la inteligencia artificial irrumpe como un elemento disruptivo, rompiendo este modelo desde su base. Pasando del determinismo al comportamiento probabilístico Los sistemas de IA se basan en modelos que aprenden patrones a partir de datos. Ante una misma entrada, especialmente en agentes conversacionales, pueden generar distintas respuestas, todas ellas verosímiles dentro de un rango de probabilidad. El problema deja de ser “¿El resultado es correcto?” y pasa a ser “¿El resultado es razonable, coherente y fiable?” Por ejemplo, en un sistema de detección de fraude, ya no se devuelve un “sí” o “no” absoluto, sino una probabilidad de riesgo basada en patrones históricos. Pequeñas variaciones en los datos pueden alterar el resultado, lo que introduce una dimensión de incertidumbre inexistente en sistemas deterministas. Caso Práctico Para entender cómo se evalúa realmente un sistema de IA, resulta útil aterrizarlo en un caso concreto. Imaginemos un modelo diseñado para resumir incidencias dentro de un sistema de ticketing: Con un enfoque tradicional, la validación consistía en una descripción clara del problema, comprobando que el resumen generado coincide con lo esperado. En entornos reales, las incidencias no llegan siempre bien redactadas ni completas. Los usuarios describen sus problemas de forma desigual, con falta de contexto, ambigüedad o contradicciones que rompen las máximas de la pragmática. Por ejemplo, para evaluar la calidad semántica, es necesario observar cómo se comporta el modelo cuando ese input deja de ser perfecto Si se introducen variaciones donde la información se simplifica o se vuelve ambigua, incluso pierde coherencia textual. Del mismo modo, pueden aparecer mensajes mal estructurados o con ruido propio de la interacción real. Lo relevante no es tanto si el modelo genera exactamente el mismo resumen, sirve para ver cómo reacciona ante lo inesperado. ¿Introduce información que no estaba presente, mediante sesgos? ¿Es capaz de detectar que falta contexto o lo completa, usando alucinaciones? ¿Sus respuestas varían sin criterio o se comporta de forma consistente entre inputs similares, con robustez? Este tipo de evaluación permite ir más allá de la precisión puntual y analizar aspectos como la coherencia, la estabilidad o la tendencia a generar información incorrecta. En definitiva, deja de medirse únicamente si el sistema acierta y pasa a evaluarse si el modelo se comporta de forma consistente y fiable cuando las condiciones no son ideales. Dimensiones de validación en sistemas IA La calidad en sistemas de IA no puede reducirse a una única métrica, debe analizarse desde lo multidimensional: La calidad funcional y semántica del modelo evalúa la precisión, y también la coherencia y veracidad de las respuestas. Un sistema puede parecer correcto, y sin embargo, contener errores sutiles. La confiabilidad se centra en la robustez del sistema y en su capacidad para responder de forma estable, incluyendo la calibración de la confianza. No se trata solo de responder, sino de hacerlo con un nivel adecuado de certeza. La dimensión de riesgo, ética y compliance incorpora los aspectos de sesgos socioopolíticos, ciberseguridad informática y privacidad del dato. Por último, la calidad técnica y operativa incluye el rendimiento, la eficiencia y la estabilidad en el tiempo con fenómenos como el drift, que pueden degradar el comportamiento del modelo de forma progresiva. La robustez actúa como un eje transversal que conecta todas estas dimensiones, permitiendo evaluar cómo se comporta el sistema cuando las condiciones no son las ideales. Integrando el determinismo en IA Uno de los aspectos clave es que muchos sistemas de IA siguen construyéndose sobre infraestructuras deterministas, como APIs, pipelines o flujos controlados. Sin embargo, el comportamiento global deja de serlo. Esta paradoja define el reto del QA moderno, con sistemas aparentemente predecibles en su arquitectura aunque no en su comportamiento. El determinismo sigue siendo la base del QA, conviviendo con la variabilidad y la incertidumbre como parte inherente del sistema. Asegurar sistemas de inteligencia artificial implica aceptar que la validación ya no puede basarse únicamente en resultados esperados. La calidad no se mide solo en la capacidad de acertar, sino en la capacidad de mantener un comportamiento coherente, seguro y fiable incluso cuando el entorno no es predecible. Como ocurre en la vida real, la madurez de un sistema no se define por evitar el error, sino por su capacidad de adaptarse ante la incertidumbre y el cambio. Contacta con MTP para más información sobre aseguramiento de sistemas de IA.

Acerca de Jesús Carlos Avecilla de la Herrán

Entradas de] Jesús Carlos Avecilla de la Herrán

Asegurar la IA no es probar ‘como siempre’: Cómo validar respuestas, comportamiento y fiabilidad en sistemas inteligentes