Alertan que la IA podría generar “incidentes graves” en poco tiempo más

Los agentes de inteligencia artificial (IA) podrían provocar “incidentes graves” de aquí a uno o dos años si las empresas y los gobiernos no adoptan medidas apropiadas para garantizar su seguridad, advirtió este miércoles, en Dublín, Demis Hassabis, presidente de Google DeepMind.

Los casos de pérdida de control de agentes autónomos de inteligencia artificial observados en los últimos meses “son, en cierto modo, señales de alerta”, advirtió Hassabis en una cumbre sobre inteligencia artificial en la capital irlandesa.

Según añadió, estos sistemas todavía tienen capacidades limitadas, por lo que los incidentes ocurridos hasta ahora no han sido graves en su opinión.

La preocupación por la seguridad de la IA se ha disparado después de que modelos desarrollados por OpenAI y Anthropic se vieran implicados en incidentes de seguridad durante las pruebas, lo que ha aumentado la presión para regular esta tecnología.

Hassabis, galardonado con el Premio Nobel de Química en 2024, afirmó que probablemente los nuevos modelos de IA deberían probarse primero en entornos aislados sin conexión, conocidos como “sandboxes”, después de que modelos de otras empresas lograran escapar precisamente de los entornos cerrados utilizados para evaluar sus capacidades.

“Frenos de emergencia”

La preocupación de Hassabis es compartida por el presidente de Microsoft, el estadounidense Brad Smith, otra de las figuras del sector tecnológico invitadas a Dublín.

El directivo de Microsoft defendió la idea de dotar a los agentes y sistemas de IA de “frenos de emergencia”, es decir mecanismos de desconexión obligatorios que permitan a los usuarios limitar los daños en caso de pérdida de control.

“La idea, especialmente en el caso de los sistemas de inteligencia artificial que gestionan infraestructuras críticas o sistemas automatizados, es disponer de la posibilidad de apagarlas o ralentizarlas”, explicó.

Para Smith, el problema radica en que la IA prácticamente no está regulada, a diferencia de un producto tan cotidiano como un envase de leche, sometido a todo tipo de controles.

“Necesitaremos para la IA, como para todo lo demás en nuestras vidas, normas de seguridad reales y eficaces en las que el público pueda confiar”, argumentó.

La voz de la Comisión Europea

Por su parte, Henna Virkkunen, vicepresidenta ejecutiva de la Comisión Europea, responsable de Soberanía Tecnológica, Seguridad y Democracia, afirmó que las empresas de IA debían dedicar más tiempo a probar sus sistemas para mantener el control sobre ellos.

“La competencia a escala mundial es tan intensa que parece que ninguna de las empresas está invirtiendo realmente suficiente tiempo y recursos en poner a prueba sus modelos”, declaró Virkkunen a los periodistas a su llegada a la cumbre de Dublín.

“Deben ser capaces de controlar estos sistemas”, afirmó, y añadió que la Unión Europea ha enviado solicitudes de información a todas las principales empresas de IA para preguntarles qué medidas de seguridad y protección tienen implantadas.

La Comisión Europea obtuvo nuevas competencias reguladoras en agosto en virtud de la Ley de IA (AI Act), la normativa más ambiciosa del mundo para limitar los usos potencialmente peligrosos de esta tecnología.

Te puede interesar