Cómo construir una base sólida para evaluar y gobernar la IA en las empresas
- 23 ene
- 6 Min. de lectura
A medida que más organizaciones adoptan agentes de inteligencia artificial (IA), deben definir adecuadamente sus roles e implementar medidas de protección y supervisión.
Investigaciones recientes describen cuatro pilares fundamentales para un enfoque estructurado para la evaluación y adopción de agentes de IA.
Este enfoque ayudará a las organizaciones a seguir guiando a los agentes de IA de manera responsable, incluso a medida que crecen sus capacidades.
Los agentes de inteligencia artificial (IA) han evolucionado rápidamente desde prototipos experimentales hasta colaboradores integrados en empresas, servicios públicos y la vida cotidiana. Estos sistemas impulsados por IA pueden construirse para interpretar información de forma independiente, tomar decisiones y ejecutar acciones para alcanzar objetivos específicos. En los próximos años seguirán surgiendo sistemas más capaces, con implicaciones para las personas, las empresas y la sociedad.
A medida que las organizaciones adoptan agentes de IA para complementar sus equipos o actuar en el mundo físico, deben abordar su incorporación con el mismo rigor que a un nuevo empleado. Esto incluye el desarrollo de roles bien definidos, medidas de seguridad y prácticas de supervisión estructuradas.
Un informe técnico, Agentes de IA en acción: Fundamentos para la evaluación y la gobernanza , desarrollado por el grupo de trabajo de Sistemas y Tecnologías Seguras del Foro Económico Mundial en colaboración con Capgemini, describe los fundamentos emergentes para la adopción responsable de agentes de IA. Introduce cuatro pilares que proporcionan un enfoque estructurado para la evaluación y adopción de agentes de IA:
1. Clasificación
Un enfoque estructurado para la clasificación de agentes ayuda a los responsables de la toma de decisiones a articular lo que hace un agente, cómo se comporta y bajo qué condiciones debe operar. Una tarjeta de agente , o un "currículum" para el agente de IA, puede proporcionar información crítica sobre las capacidades del agente antes de que se "incorpore" e integre en una organización
Siete dimensiones fundamentales deben definir el perfil de un agente:
Función: ¿Qué tarea está diseñado para realizar el agente?
Rol: ¿Es altamente especializado o generalista?
Predictibilidad: ¿Es determinista o no determinista?
Autonomía: ¿Hasta qué punto puede planificar, decidir y actuar de forma independiente?
Autoridad: ¿Qué permisos o acceso al sistema se le concede?
Caso de uso: ¿En qué dominio o flujo de trabajo se implementa?
Entorno: ¿Qué tan simple o complejo es el contexto operativo?
Al combinarse, estas dimensiones generan una comprensión conductual y operativa del agente, que es fundamental para evaluar riesgos, establecer niveles de supervisión y comunicar expectativas entre proveedores, adoptantes y usuarios finales.
El concepto de autonomía es muy diferente de las formas anteriores de automatización. La distinción clave radica en que la autonomía implica flexibilidad en la toma de decisiones, es decir, la elección de qué hacer, mientras que la automatización se centra en la fiabilidad de la ejecución, es decir, en hacer lo que el sistema está programado para hacer. La autonomía y la autoridad no deben considerarse propiedades inherentes del sistema, sino decisiones de diseño que pueden tomarse en función de las funciones previstas de los agentes, las consideraciones de riesgo y los requisitos de supervisión.
Por ejemplo, una aspiradora robot tiene poca autoridad, una autonomía media y opera en un entorno relativamente simple, mientras que un asistente digital personal podría abarcar múltiples sistemas, acceder a datos confidenciales en distintas plataformas y realizar acciones en nombre de los usuarios. Por lo tanto, un asistente personal requiere un escrutinio mucho más riguroso:
Consideraciones sobre la gobernanza del agente de IA para un asistente personal frente a una aspiradora robot. Imagen: Agentes de IA en acción: Fundamentos para la evaluación y la gobernanza (Foro Económico Mundial, 2025)
2. Evaluación
A medida que las organizaciones comienzan a implementar agentes con diferentes roles funcionales, la evaluación estructurada cobra mayor importancia. La evaluación tradicional de IA se basa en gran medida en benchmarks centrados en modelos , que evalúan la precisión o el razonamiento en escenarios controlados. Sin embargo, los agentes no son modelos estáticos. Son sistemas compuestos por uno o más modelos, además de herramientas, memoria, bucles de retroalimentación e interacciones de usuario, todo ello en entornos variables.
Por lo tanto, evaluar un agente de IA significa examinar dimensiones como las tasas de éxito de las tareas, la confiabilidad en el uso de las herramientas, el rendimiento, el comportamiento a lo largo del tiempo, la confianza del usuario y los patrones de interacción, y la solidez operativa en flujos de trabajo del mundo real.
Las pruebas de referencia emergentes, como AgentBench o SWE-bench, ofrecen señales tempranas, pero la verdadera garantía reside en la evaluación contextual. Esto implica probar los agentes en entornos que reflejan las condiciones reales de implementación. Por ello, los desarrolladores (que conocen el sistema) y los usuarios (que disponen de datos y experiencia en el contexto operativo) suelen necesitar colaborar estrechamente para garantizar una evaluación contextual precisa y fiable.
3. Evaluación de riesgos
Si bien la evaluación proporciona evidencia, la evaluación de riesgos determina su impacto en la seguridad y la idoneidad. Generalmente, un ciclo de evaluación de riesgos de cinco pasos abarca la definición del contexto, la identificación, el análisis, la evaluación y la gestión de los riesgos asociados.
Este enfoque conecta la clasificación y la evaluación directamente con la gobernanza. Por ejemplo, los agentes con alta autoridad y autonomía en entornos complejos requieren mayores protecciones. El comportamiento no determinista también debe ir acompañado de una monitorización más estricta. Y los agentes que interactúan con sistemas externos deben operar bajo supuestos de seguridad de confianza cero, ya que sus integraciones amplían la superficie de ataque.
Este enfoque estructurado es esencial a medida que los agentes operan cada vez más a través de límites organizacionales, invocan herramientas externas y colaboran con otros agentes a través de protocolos de interoperabilidad.
4. Gobernanza progresista
La evaluación y el análisis de riesgos proporcionan información crucial sobre las capacidades, el rendimiento, la fiabilidad, la seguridad y la alineación de un agente. Por otro lado, la gobernanza determina si dicha información se traduce en una supervisión eficaz y una adopción responsable.
El libro blanco describe un enfoque progresivo para la supervisión de agentes, comenzando con una línea de base para todos los agentes que incluye registro y trazabilidad, etiquetado de identidad claro para cada acción del agente y monitoreo en tiempo real (dependiendo cada vez más de los agentes para monitorear a los agentes).
Un enfoque progresivo de la gobernanza garantiza que los agentes más capaces reciban una supervisión proporcional, al tiempo que permite la innovación y la flexibilidad para escalar a lo largo del tiempo.
Creación de ecosistemas de IA multiagente
La próxima frontera para los agentes de IA va mucho más allá de la integración de agentes individuales dentro de las organizaciones. Implica ecosistemas emergentes de agentes que interactúan entre redes, plataformas y organizaciones. Esto significa que las organizaciones que empiezan a adoptar e implementar agentes hoy en día deben considerar cuestiones como:
Deriva de orquestación: cuando los agentes están conectados a otros agentes sin un contexto compartido o una lógica de coordinación, los flujos de trabajo pueden volverse frágiles o impredecibles.
Desalineación semántica: cuando dos agentes interpretan la misma instrucción de manera diferente, puede generar acciones conflictivas o esfuerzos duplicados, con implicaciones para la seguridad, la confiabilidad y la coordinación.
Brechas de seguridad y confianza: sin marcos de confianza compartidos, los agentes pueden exponer inadvertidamente datos confidenciales o interactuar con actores maliciosos, explotando vulnerabilidades en el sistema.
Interconexión y efectos en cascada: las fallas en agentes o sistemas estrechamente vinculados pueden propagarse a través de redes y crear una cadena de interrupciones.
Complejidad sistémica: a medida que crece el número y la diversidad de agentes que interactúan, aumenta la probabilidad de que se produzcan comportamientos emergentes y fallas en cascada, lo que hace que sean más difíciles de anticipar, rastrear o diagnosticar.
Estos problemas emergentes hacen que la supervisión prospectiva y la gobernanza progresiva sean esenciales. Nuevos enfoques, como el uso de agentes auditores, pueden ayudar a monitorear, validar y regular los ecosistemas de agentes a gran escala. Sin embargo, también generan nuevas vulnerabilidades, como el riesgo de depender de agentes para monitorear a otros agentes.
Un plan responsable para implementar agentes de IA
Los agentes de IA ya aportan valor en diversos sectores, desde acelerar la I+D y la atención al cliente hasta ayudar a las organizaciones a gestionar operaciones complejas. Pero a medida que sus capacidades crecen, también debería crecer la capacidad de las organizaciones para guiarlos responsablemente.
Los fundamentos presentados en el libro blanco, relacionados con la clasificación, la evaluación, la valoración de riesgos y la gobernanza progresiva, ofrecen un plan estructurado para las organizaciones que se preparan hoy para un futuro con agentes. Con un diseño cuidadoso, medidas de seguridad proporcionadas y colaboración interfuncional, los agentes de IA pueden potenciar la capacidad humana, impulsar la productividad y respaldar ecosistemas digitales de alta confianza y alto impacto.
Sin embargo, el éxito a largo plazo de la adopción y el uso de agentes de IA depende de la creación de sistemas que sigan siendo comprensibles, fiables y responsables. Estos sistemas deben construirse como herramientas compartidas para la creación de valor a largo plazo.
Fuente: WORLD ECONOMIC FORUM
Comentarios