Blog
Ángulo de sprinto a la derecha
Gobernanza de IA
Ángulo de sprinto a la derecha
3 razones por las que su conjunto de herramientas de gobernanza de IA debe estar siempre activo.

3 razones por las que su conjunto de herramientas de gobernanza de IA debe estar siempre activo.

Usted ha creado el programa de gobernanza. Ha seleccionado y personalizado un marco, establecido los controles y asignado responsables. La mayoría de los equipos de GRC y TPRM lo han hecho. De hecho, el 25 % de las organizaciones describen su gobernanza de IA como avanzada, y la mayoría cuenta con presupuestos específicos para la gobernanza de IA.

Si esto te suena familiar, has avanzado bastante. Pero aún hay margen para desarrollar una gobernanza de IA continua y siempre activa, y las cifras lo demuestran: 

Más del 30 % de las organizaciones ya han reportado un incidente de seguridad importante relacionado con la IA. Es evidente que no existe una gobernanza continua de la IA, ya que dos de cada tres organizaciones tardan más de una semana en actuar una vez que se identifica un riesgo de IA. Esto probablemente se deba a que el 30 % de los equipos carecen de un sistema formal de detección de desviaciones. Y a juzgar por estas dos estadísticas, no sorprende que el volumen de filtraciones y compromisos de datos haya aumentado drásticamente, con un incremento del 23 % en los registros comprometidos.

Esto se debe a que la mayoría de las organizaciones aún abordan la gobernanza de la IA de la misma manera que las auditorías: cumplir con los requisitos, satisfacer a las partes interesadas y seguir adelante hasta la próxima revisión programada. Este ritmo tenía sentido para los programas de cumplimiento, que regulaban aspectos estáticos. La IA no es estática. Evoluciona —junto con la exposición al riesgo— cada vez que un proveedor actualiza un modelo o lanza una nueva función. Y eso no es todo. Cada sesión de usuario puede modificar el perfil de riesgo de la herramienta, según cómo la utilice el equipo. Nuestro estudio , que abarcó 201 proveedores en 16 categorías populares, reveló que una parte significativa ahora obtiene una alta puntuación en dependencia del control en tiempo de ejecución.

En otras palabras, existen dos deficiencias distintas: la gobernanza periódica implica que los problemas surgen mucho más tarde de lo debido, e incluso cuando lo hacen, la acción se demora hasta que una auditoría o una parte interesada lo solicite. Esto genera un amplio margen de tiempo para la exposición a riesgos acumulados.

Los marcos normativos ya reconocen estas deficiencias y buscan contrarrestarlas con recomendaciones que establecen una gobernanza de la IA permanente. La cláusula 9 de la norma ISO 42001, que exige la monitorización continua, requiere la medición constante de los sistemas de IA, no solo auditorías programadas. El artículo 9 de la Ley de IA de la UE exige que la gestión de riesgos se ejecute como un proceso iterativo a lo largo de todo el ciclo de vida de la IA, con documentación que refleje el estado actual, no el estado inicial. 

Como afirmó Lauren Kornutick, analista principal de Gartner, en un comunicado de prensa: «La monitorización continua y la aplicación de políticas en tiempo real son fundamentales, ya que los sistemas de IA toman cada vez más decisiones autónomas e interactúan con datos confidenciales, lo que aumenta la importancia de un uso ético y responsable. Las auditorías puntuales simplemente no son suficientes».

En este blog, analizamos tres razones por las que su programa de gobernanza de IA debe estar siempre activo. También abordaremos las expectativas asociadas a los equipos de GRC y TPRM y sus implicaciones para el día a día. 

TL; DR
  • Tener un programa de gobernanza y tener uno que funcione son dos cosas distintas.
  • La aplicación de la ley se debilita, la superficie de proveedores se expande y los modelos varían entre revisiones, todo según el cronograma de la IA, no el tuyo. Y ni siquiera te darás cuenta.
  • La solución no es un mejor ciclo de revisión. Es una gobernanza que detecta, rastrea y aplica continuamente si alguien lo programó o no.
Infografía que resume el blog: estadísticas, 3 razones por las que necesita una gobernanza de IA siempre activa + detalles relacionados con ISO 42001 y la Ley de IA de la UE.

Razón 1: Las comprobaciones continuas son la única forma de detectar el deterioro de la aplicación de las normas.

El deterioro del cumplimiento es la brecha entre lo que dice su política y lo que su organización realmente hace, y se amplía cada día que nadie la verifica activamente. Por ejemplo, una política puede prohibir la carga de datos de clientes a plataformas públicas de IA, y el control puede configurarse al momento de la implementación. Pero seis meses después, un equipo de ventas podría estar pegando rutinariamente resúmenes de contratos en ChatGPT para agilizar las respuestas, porque una herramienta CASB o DLP no está señalando la acción. De manera similar, un contrato con un proveedor puede incluir una cláusula de no entrenamiento que le prohíba usar los datos de la empresa para entrenar sus modelos, e incluso podría tener derechos de auditoría por escrito. Pero si nunca se establecen cadencias de certificación y nadie ha preguntado al respecto desde la firma, ¿cómo saber si están cumpliendo con lo acordado?

La estructura de gobernanza de la IA está mejorando, según la mayoría de los indicadores. Aproximadamente el 53 % de las organizaciones ahora consideran la IA como una categoría de riesgo específica. Esto representa un cambio significativo con respecto a tratar la IA como un subconjunto del riesgo general de TI o seguridad. Sin embargo, este aspecto, es decir, la aplicación de las políticas de uso de la IA , no ha avanzado al mismo ritmo. El 39 % de las organizaciones no aplican sistemáticamente las políticas de uso de la IA, y solo el 21 % cuenta con controles para evitar que se carguen datos confidenciales en plataformas públicas de IA.

Ahí radica la clave: un programa de gobernanza puede parecer sólido en una presentación, con un responsable designado, una política documentada y una categoría de riesgo definida. Sin embargo, la única forma de saber si la política se aplica realmente a diario, en condiciones de uso reales, por empleados reales y en plataformas reales, es mediante una verificación continua. La gobernanza con IA permanente le ayuda a lograrlo.

Fórmula que muestra cómo la cláusula 9 de la norma ISO 42001, es decir, su cláusula de monitoreo continuo, más las expectativas del artículo 72 de la Ley de IA de la UE, dan como resultado la necesidad de una validación de control continua en lugar de una validación de control basada en auditorías.

Lo que esto significa en la práctica

Debes poder demostrar que los controles están previniendo activamente el comportamiento que prohíbe tu política, o puede resultar difícil ganarte la confianza de los clientes, la junta directiva y los reguladores.


¿Qué está bloqueando a los equipos GRC?

Los controles se verifican durante las revisiones, no entre ellas. La evidencia se recopila retrospectivamente, lo que significa que la diferencia entre "la política existe" y "la política funciona" solo se hace evidente a posteriori, después de un incidente o después de que un cliente haga una pregunta que no se pueda responder con seguridad.

El problema estructural más profundo radica en la propiedad fragmentada. El departamento de TI configura los controles. Seguridad supervisa los registros. GRC es responsable de la política. Nadie es responsable de si los tres están alineados en un día cualquiera, y la aplicación de la política de uso de IA en funciones que no comparten una única fuente de información es estructuralmente más difícil que redactar la política en sí.

Razón 2: Su superficie de riesgo de IA se expande continuamente entre las revisiones de proveedores.

El riesgo de la IA se hereda cada vez más, en lugar de ser inherente a ella. Las herramientas de productividad y colaboración, las plataformas de recursos humanos y finanzas, los sistemas de ciberseguridad y la infraestructura en la nube están adquiriendo riesgos de ejecución relacionados con la IA a través de integraciones y funciones de IA que se activan sin una revisión formal. Estas herramientas que usted ya aprobó están realizando funciones que no realizaban cuando las aprobó. 

Una revisión de proveedores realizada durante la incorporación no puede detectar una función habilitada 18 meses después, un cambio de modelo, una modificación en la ubicación del centro de datos, un cambio de subprocesadores, una actualización de las políticas de retención de datos o nuevas prácticas de obtención de datos de entrenamiento que un proveedor implemente discretamente en una actualización de producto. Si no se realiza un seguimiento posterior a esa revisión inicial, el perfil de riesgo puede cambiar por completo, aunque los registros sigan describiendo al proveedor como el primer día. El monitoreo continuo de riesgos mediante IA puede ayudar a solucionar este problema. 

Fórmula que muestra cómo la cláusula 9 de la norma ISO 42001 y las expectativas del artículo 72 de la Ley de IA de la UE se combinan para requerir revisiones de proveedores más profundas y continuas.

Lo que esto significa en la práctica

El inventario de proveedores de IA y la superficie de riesgo de la IA son dos cosas distintas. Una lista de proveedores no muestra cómo un solo proveedor puede gestionar múltiples casos de uso en diferentes funciones, ni cómo un solo caso de uso puede depender de varios proveedores o modelos. Necesitas una matriz que muestre qué casos de uso dependen de qué proveedores, modelos y fuentes de datos. Categorías que nunca has clasificado como "proveedores de IA" aparecerán en esa matriz, al igual que la exposición que suponías controlada.

¿Qué está bloqueando a los equipos GRC?

Los programas TPRM se diseñaron en torno a una lista de proveedores, en lugar de un análisis de riesgos. El proceso de admisión, el cuestionario y la frecuencia de las revisiones periódicas presuponen que se sabe qué proveedores evaluar y cuándo. Gartner descubrió que el 62 % de las organizaciones aún depositan una confianza excesiva en los cuestionarios de diligencia debida para fundamentar las decisiones sobre riesgos. Este es un riesgo inherente a la IA, y no se refleja en el cuestionario que se les envió durante la incorporación.

Razón 3: Las revisiones programadas no pueden seguir el ritmo de la velocidad de actualización de la IA.

El 27 % de las organizaciones gestionan el riesgo de la IA principalmente de forma manual. Los procesos manuales comparten una característica estructural, independientemente de la diligencia del equipo que los ejecuta: dependen de que alguien recuerde revisarlos, en un cronograma que alguien debe mantener, con un tiempo disponible que compite con todas las demás tareas de esa persona. Imaginemos al responsable de GRC que gestiona el calendario de revisión de proveedores de IA. Es una hoja de cálculo. Las revisiones se realizan trimestralmente. En el segundo trimestre, están concentrados en la renovación de la certificación SOC 2, además de la cuota mensual habitual de cuestionarios de seguridad de 200 páginas. La revisión del proveedor de IA se pospone al tercer trimestre. En ese lapso, un proveedor actualiza discretamente su modelo y cambia su política de retención de datos. Nadie lo detectó. Nadie tuvo tiempo de revisarlo.

Otro ejemplo muy plausible: Un nuevo empleado se incorpora a un equipo de finanzas y empieza a usar una herramienta de resumen con IA que ya utilizaba en su anterior empresa. Nadie le informó de que no estaba autorizada. Nadie se enteró porque el único mecanismo para detectar herramientas de IA no autorizadas es la encuesta trimestral de autoevaluación, que aún no ha completado.

Como ilustran estos ejemplos, los métodos manuales generan un problema de ritmo. Los sistemas de IA se actualizan según los plazos del proveedor, no los de la empresa. Los modelos se reentrenan, se implementan nuevas funcionalidades, las integraciones cambian, los empleados adoptan nuevas herramientas, todo a un ritmo que ningún ciclo de revisión manual puede igualar. El hallazgo que mencionamos anteriormente, de que dos de cada tres organizaciones tardan más de una semana en actuar ante los riesgos de IA identificados, es la consecuencia directa de una gobernanza que se ejecuta en ciclos programados en lugar de forma continua. 

Fórmula que muestra cómo las expectativas de la cláusula 9 de la norma ISO 42001 y los artículos 9 y 72 de la Ley de IA de la UE se combinan para requerir detección continua.

Lo que esto significa en la práctica

Si la única forma en que su organización detecta una brecha en la gobernanza de la IA es mediante una revisión o auditoría programada, no está utilizando un sistema de gobernanza de la IA siempre activo, sino uno periódico con un lenguaje que suena a continuo. Necesita un sistema de detección que se ejecute independientemente de si alguien lo programó o no, y que sea capaz de detectar desviaciones en los modelos, la adopción no autorizada de herramientas y cambios de proveedores en el momento en que se produzcan. 

¿Qué está bloqueando a los equipos GRC? 

Solo el 26 % de las organizaciones cuenta con una cadena de herramientas de desarrollo de IA altamente unificada. Las cadenas de herramientas fragmentadas generan una visibilidad fragmentada, lo que hace que la supervisión continua sea estructuralmente imposible. Se tiene una hoja de cálculo para el inventario, una plataforma separada para los cuestionarios de proveedores, cadenas de correos electrónicos para las pruebas y paneles que, en realidad, nadie tiene tiempo de revisar constantemente. Cada punto de contacto requiere que una persona recuerde revisarlo.

Además, es difícil realizar una detección formal de la deriva cuando no hay nada que supervise y no hay un ser humano disponible para hacerlo. 

Implementar una gobernanza de IA siempre activa sin sobrecargar a los equipos. 

A estas alturas, la necesidad de una gobernanza continua de la IA es evidente. La cuestión más compleja es cómo implementarla sin sobrecargar a un equipo que ya está sobrecargado. Incluso una infraestructura de gobernanza de la IA bien financiada, con un conjunto de automatizaciones, puede no ofrecer la visión integral ni los requisitos de flujo de trabajo necesarios. Entonces, ¿qué la proporciona? 

Lauren Kornutick, analista principal de Gartner, cuyo consejo mencionamos al inicio de este blog, también ofrece una sugerencia para implementar la gobernanza de IA permanente: «Las plataformas de gobernanza de IA ayudan a las organizaciones a cumplir con las normativas al permitir la aplicación automatizada de políticas en tiempo de ejecución, supervisar los sistemas de IA para verificar su cumplimiento, detectar anomalías y prevenir el uso indebido». La clave está en « tiempo de ejecución » . No en tiempo de revisión, ni en tiempo de auditoría. En tiempo de ejecución.

Los obstáculos que identificamos en los tres puntos que analizamos en este blog comparten una raíz común: la gobernanza que depende de que los humanos recuerden realizar comprobaciones no puede ser continua por diseño . La solución a este problema no reside en más políticas ni en más personal, sino en una arquitectura donde la evidencia se genera automáticamente, los controles se verifican de forma permanente y el riesgo de los proveedores se monitoriza a medida que cambia, no en función de cuándo el equipo tuvo la última oportunidad de comprobarlo.

Sprinto desbloquea tu capacidad para ejecutar una gobernanza de IA siempre activa: 

Sprinto está diseñado para abordar precisamente los obstáculos estructurales que dificultan la puesta en práctica de una gobernanza de IA siempre activa:

  • Para visibilidad de la aplicación de la leySprinto conecta los controles, las verificaciones y las políticas relacionadas con la IA a un sistema de cumplimiento continuo, de modo que la evidencia de si los controles están funcionando se genera como un subproducto del propio proceso de gobernanza, y no se recopila cuando un cliente o auditor lo solicita.
  • Para el proveedor y cobertura de la superficie de riesgoLa herramienta de Sprinto, que integra análisis de cuestionarios de seguridad y mapeo de riesgos y controles, permite a los equipos de gestión de riesgos de terceros evaluar la exposición a la IA de terceros más allá de lo que captura un cuestionario estático. Además, permite detectar señales de riesgo en la documentación de los proveedores de forma continua, en lugar de periódica.
  • Para paz (y escalabilidad), el mapeo de controles a verificaciones de Sprinto vincula las verificaciones del sistema en tiempo real con los controles, reemplazando la verificación humana programada con una detección que se ejecuta entre revisiones. El análisis de brechas de evidencia señala la evidencia faltante o desactualizada en el momento en que aparece, no cuando un auditor la solicita.

El resultado es que la gobernanza permanente se convierte en la configuración predeterminada, en lugar de algo que el equipo tenga que esforzarse al máximo para lograr. 

Conclusión: Siempre activo = Siempre confiable 

Las organizaciones que logran cerrar la brecha entre las políticas y su aplicación son aquellas que consideran la gobernanza de la IA como algo que debe mantenerse de forma continua, independientemente de si alguien la supervisa activamente o no. Y lo cierto es que sus clientes, tanto nuevos como potenciales, sí la supervisarán activamente. Así es como evalúan si pueden confiar en usted como proveedor y socio. Generar y mantener la confianza implica demostrar una visibilidad y un control totales sobre la IA dentro de su organización. 

Además, es bastante sencillo lograrlo con una plataforma como Sprinto, que supervisa continuamente los controles en lugar de revisarlos periódicamente, realiza un seguimiento del riesgo de los proveedores a medida que cambia en lugar de basarse en la evaluación inicial, y genera evidencia lista para auditorías como resultado de la gestión de la gobernanza. Esta es la infraestructura que hace posible la disponibilidad continua. Implemente esta solución en su organización.

¿Preparado para implementar una gobernanza de IA siempre activa y generar confianza con clientes, junta directiva y reguladores? Averiguar como Aprenda de un experto de Sprinto o conozca los fundamentos de la arquitectura de una plataforma de gobernanza de IA siempre activa.  


Preguntas Frecuentes

¿En qué se diferencia la gobernanza continua de la IA de una auditoría anual de la IA?

Una auditoría anual indica si los controles estaban implementados en un momento dado. La gobernanza continua de la IA indica si están funcionando correctamente en la actualidad. Esta distinción es importante porque los sistemas de IA no permanecen estáticos entre revisiones. Los modelos evolucionan, los proveedores se actualizan, los empleados adoptan nuevas herramientas y las integraciones cambian. Una auditoría captura una instantánea de un objetivo en constante movimiento. La gobernanza continua realiza un seguimiento del objetivo a medida que evoluciona. La auditoría sigue siendo útil, pero debe confirmar lo que el monitoreo continuo ya ha detectado, no descubrir problemas por primera vez.

¿Qué proveedores de IA se tienen en cuenta para mi superficie de riesgo de IA si no están etiquetados como "proveedores de IA"?

Cualquier herramienta que utilice IA para procesar, enrutar, resumir, calificar o actuar sobre datos que su organización posee o de los que es responsable. En la práctica, esto incluye sus plataformas de productividad y colaboración, sistemas de recursos humanos y finanzas, herramientas de ciberseguridad e infraestructura en la nube, la mayoría de las cuales han incorporado funciones de IA sin requerir una revisión formal por su parte. La clave no reside en cómo se clasifica el proveedor, sino en si la IA influye en alguna decisión, resultado o flujo de datos que afecte a su organización. Si es así, debe considerarse como un riesgo, independientemente de su clasificación inicial.

¿Quién es el responsable de la gobernanza de la IA siempre activa? ¿GRC, seguridad o el equipo de IA?

En la mayoría de las organizaciones actuales, la respuesta honesta es nadie, y ese es precisamente el problema. GRC se encarga de la política, seguridad de las herramientas, el equipo de IA de los modelos, y el comportamiento en tiempo de ejecución queda en el espacio entre los tres. La gobernanza de IA permanente requiere un responsable designado que forme parte de GRC o de una función de riesgo de IA específica, con autoridad para establecer estándares y exigir pruebas a otras áreas. Seguridad, ingeniería y el equipo de IA se convierten en partes interesadas con responsabilidades definidas, no en copropietarios que pueden asumir que alguien más está supervisando.

¿Cómo podemos convencer a un equipo directivo de la necesidad de una gobernanza de IA siempre activa, dado que la percibe como un coste de cumplimiento normativo?

Replantéalo en función del coste de la alternativa. Más del 30 % de las organizaciones ya han reportado un incidente de seguridad importante relacionado con la IA en los últimos doce meses, y dos de cada tres tardan más de una semana en actuar una vez identificado un riesgo. Esto no es una brecha de cumplimiento, sino operativa, y tiene un precio: respuesta a incidentes, confianza del cliente, escrutinio regulatorio y el daño a la reputación que sigue a una brecha que la monitorización continua habría detectado antes. La conversación con la dirección no gira en torno a marcos u obligaciones, sino a cuáles de nuestros sistemas de IA podrían causarnos un daño material si fallan, y si contamos con algún mecanismo para detectarlo en este momento. La gobernanza permanente es la infraestructura que permite responder a esta pregunta.

¿Cuál es la pila mínima viable de gobernanza de IA siempre activa si no podemos construir todo a la vez?

Comience con el descubrimiento y la monitorización antes de perfeccionar todo lo demás. No se puede gobernar lo que no se ha descubierto, ni detectar desviaciones sin un sistema que las supervise continuamente. Una infraestructura parcial en funcionamiento es más sólida que una infraestructura completa de gobernanza de IA que solo existe en teoría. En la práctica, esto significa: un inventario actualizado de casos de uso de IA y los proveedores que los impulsan, líneas base de rendimiento definidas para los sistemas de mayor riesgo y la asignación de la responsabilidad de la monitorización con rutas de escalamiento claras. Desarrolle progresivamente la validación de modelos, la gobernanza de la integración y la recopilación de evidencia junto con las operaciones en vivo. El objetivo no es un programa perfecto desde el primer día, sino un programa donde los problemas surjan a través de los controles, en lugar de a través de incidentes.

¿Cómo se manifiesta realmente la "deriva" en la práctica y cómo sabemos cuándo se produce?


La desviación rara vez se manifiesta de forma evidente. Se presenta como resultados del modelo que se desvían gradualmente de los parámetros de rendimiento establecidos en la implementación, distribuciones de entrada que cambian a medida que evoluciona el comportamiento del usuario, configuraciones de proveedores que se actualizan silenciosamente o controles que se verificaron durante la incorporación pero que no se han revisado desde entonces. En la práctica, las primeras señales suelen ser sutiles: una herramienta de IA orientada al cliente que produce respuestas fuera de su tono o alcance previstos, un modelo de detección de fraude cuya tasa de falsos positivos ha aumentado silenciosamente, un empleado que consulta un modelo de maneras que el caso de uso original nunca anticipó. La única forma de detectar estas señales antes de que se conviertan en incidentes es tener umbrales definidos que activen automáticamente una revisión, no una persona que note que algo no está bien.

Raynah
Autor

Raynah

Raynah es estratega de contenido en Sprinto, donde crea historias que simplifican el cumplimiento normativo para las empresas modernas. En los últimos dos años, ha trabajado en diversos formatos y funciones para que la seguridad y el cumplimiento resulten menos complicados y estén más alineados con las necesidades del negocio.
¿Cansado del contenido superfluo sobre GRC y ciberseguridad? Suscríbete a nuestro boletín y obtén información detallada.
Investigaciones y análisis seleccionados para ayudarte a ganarte un lugar en la mesa.
imagen de pie de página de blog único