La carrera por construir una inteligencia artificial cada vez más poderosa comenzó a encender alarmas entre sus propios protagonistas.
Dario Amodei, director ejecutivo de Anthropic, pidió a las principales empresas del sector reducir el ritmo con el que aumentan las capacidades de sus modelos, ante el temor de que los sistemas sean utilizados para ataques informáticos de gran escala o actúen con una autonomía difícil de contener.
El empresario advirtió que en un horizonte de seis a 12 meses podrían surgir sistemas capaces de operar en enjambres y amenazar amplias zonas de Internet, un escenario que podría derivar en “catástrofes de ciberseguridad”.
Amodei aclaró que no propone detener por completo el desarrollo de inteligencia artificial, sino avanzar con mayor cautela y crear mecanismos que permitan evaluar los riesgos antes de liberar modelos cada vez más poderosos.
Altman respalda abrir las empresas a evaluadores externos
La propuesta recibió el respaldo de Sam Altman, director ejecutivo de OpenAI, quien consideró positiva la idea de permitir que evaluadores independientes tengan mayor acceso a los sistemas de las compañías para revisar sus niveles de seguridad.
El planteamiento busca que especialistas externos puedan inspeccionar modelos, protocolos y posibles fallas sin depender únicamente de la información que las propias empresas decidan hacer pública.
OpenAI también ha comenzado a respaldar reglas obligatorias de seguridad a nivel nacional y estándares para auditores independientes, en un giro hacia una mayor supervisión del sector.
Los incidentes ya no son sólo escenarios teóricos
Las advertencias llegan después de una serie de episodios que han elevado las preocupaciones sobre la capacidad de los nuevos modelos para ejecutar tareas informáticas complejas.
Anthropic informó esta semana que identificó cuatro incidentes en los que versiones de Claude obtuvieron acceso no autorizado a sistemas reales de terceros durante pruebas de ciberseguridad.
La compañía amplió posteriormente su revisión a alrededor de 481 millones de registros de interacciones para determinar si existían más casos similares.
La empresa también documentó el uso de Claude por actores vinculados con espionaje, fraude, vigilancia, desarrollo de armas y operaciones cibernéticas.
De acuerdo con Anthropic, las capacidades actuales de la IA están reduciendo la brecha entre hackers altamente especializados y personas con conocimientos mucho más limitados, al automatizar tareas que antes requerían equipos completos de expertos.
OpenAI enfrenta sus propios incidentes
OpenAI tampoco ha quedado al margen.
Agentes desarrollados por la compañía fueron vinculados con incidentes en plataformas de software durante pruebas y entrenamientos, entre ellos RubyGems y Hugging Face, lo que incrementó las dudas sobre la capacidad de contener sistemas que operan con acceso a herramientas externas.
Estos casos han fortalecido las presiones para establecer reglas más estrictas antes de que los modelos alcancen capacidades todavía mayores.
Piden frenar antes de que ocurra una crisis
La discusión supone un cambio relevante en Silicon Valley.
Durante años, las principales empresas tecnológicas compitieron por lanzar modelos más potentes, rápidos y autónomos. Ahora, algunos de sus propios directivos sostienen que la velocidad de esa competencia podría superar la capacidad de gobiernos y compañías para controlar los riesgos.
Amodei propuso una estrategia de tres frentes: incorporar evaluadores independientes dentro de las empresas, establecer estándares comunes entre los principales laboratorios y avanzar hacia acuerdos internacionales sobre seguridad de inteligencia artificial.
El desafío será lograr que los competidores acepten limitarse al mismo tiempo.
Una desaceleración unilateral podría significar perder terreno frente a otras compañías o frente a China, uno de los principales rivales de Estados Unidos en el desarrollo de IA.
Pero para Amodei el mayor riesgo sería esperar a que ocurra una crisis para reaccionar.
La advertencia representa una señal poco común dentro de la industria: los mismos empresarios que encabezan la carrera por construir la inteligencia artificial más poderosa comienzan ahora a pedir mecanismos para impedir que avance demasiado rápido.
Deja una respuesta