CEOs de OpenAI y Anthropic advierten sobre riesgos existenciales de la IA

Los líderes de las principales compañías de inteligencia artificial del mundo comparecieron este miércoles ante el Consejo de Seguridad de las Naciones Unidas para advertir que la inteligencia artificial avanzada podría plantear riesgos existenciales para la humanidad si no se establecen salvaguardas globales. El CEO de OpenAI, Sam Altman, y el CEO de Anthropic, Dario Amodei, hicieron un llamado extraordinario a los gobiernos para que trabajen en conjunto en estándares de seguridad, en medio de una preocupación creciente por sistemas cada vez más poderosos que podrían mejorar por sí mismos y escapar del control humano.

Una audiencia histórica en el Consejo de Seguridad

El testimonio se produjo en Nueva York durante la Semana de Alto Nivel de la 81ª Asamblea General de la ONU, ante los 15 miembros del Consejo de Seguridad y representantes de otros países. Junto a Altman y Amodei declararon Clément Delangue, cofundador de la plataforma de código abierto Hugging Face, y Yoshua Bengio, ganador del Premio Turing y copresidente del Panel Científico Internacional Independiente sobre IA respaldado por la ONU. Bengio fue tajante en su advertencia: «los peligros de la IA más allá del control humano representan una amenaza sin precedentes para los países que ninguno puede contener solo, y que no respeta las fronteras que defendemos».

Las advertencias de Altman y Amodei sobre los riesgos de la IA

Sam Altman planteó que la inteligencia artificial podría provocar «daño significativo» si cae en manos equivocadas, si crece sin salvaguardas apropiadas o si se desarrolla sin estándares de seguridad consistentes, e instó a los líderes mundiales a adoptar mecanismos de medición de capacidades y a evaluar las protecciones que las propias compañías implementan durante el desarrollo de sus sistemas.

Dario Amodei fue aún más directo. Advirtió que los sistemas de IA podrían mejorarse a sí mismos mediante un proceso de auto-mejora recursiva, superando eventualmente la capacidad humana de controlarlos, y describió el riesgo como que el mundo esté «perdiendo el control» de tecnologías construidas para superar el pensamiento humano. Amodei propuso tres medidas concretas: pausar o ralentizar deliberadamente el desarrollo de las capacidades más avanzadas —lo que denominó «ritmar la frontera»—, incorporar evaluadores independientes dentro de los laboratorios de IA, y establecer regulación que cubra a todas las compañías de IA de frontera en Estados Unidos, argumentando que la cooperación voluntaria por sí sola resulta insuficiente.

Una semana marcada por renuncias y advertencias internas

El testimonio ante la ONU llega tras una serie de eventos que sacudieron a la industria en las semanas previas. El 8 de septiembre, el investigador Jacob Coxon, de 27 años, renunció a Anthropic advirtiendo en redes sociales que tanto esa compañía como OpenAI están «corriendo directamente hacia la superinteligencia auto-mejorable y apostando con nuestras vidas», con el potencial de causar extinción humana antes de que termine la década. Evan Hubinger, líder de ciencia de alineación que continúa empleado en Anthropic, confirmó públicamente esas alarmas y asignó una probabilidad superior al 10% a que la IA cause la extinción humana dentro de los próximos diez años.

Días después, el 12 de septiembre, Amodei publicó un ensayo titulado «We Must Pace the Frontier» («Debemos ritmar la frontera»), en el que llamó a toda la industria a desacelerar deliberadamente el desarrollo de sus modelos más poderosos. La respuesta fue casi inmediata: Sam Altman expresó su acuerdo con la necesidad de «ritmar la frontera», Elon Musk lo resumió en tres palabras —»Dario tiene razón»— y Demis Hassabis, de Google DeepMind, también respaldó el planteamiento. En ese mismo contexto, Altman anunció que OpenAI no saldrá a bolsa en 2026, citando explícitamente el «ambiente de seguridad» como motivo.

Los riesgos concretos que preocupan a la industria

Más allá de la auto-mejora recursiva, los ejecutivos y expertos mencionaron otros peligros específicos asociados al avance descontrolado de la IA. En junio, Altman, Amodei y Mustafa Suleyman, de Microsoft AI, ya habían enviado una carta abierta al Congreso advirtiendo que la inteligencia artificial podría reducir las barreras de conocimiento que históricamente impidieron que actores maliciosos accedieran a armas biológicas, y solicitaron controles más estrictos sobre la venta de ADN y ARN sintéticos. También se mencionaron riesgos vinculados a la manipulación de mercados financieros a gran escala, la generación de desinformación convincente capaz de desestabilizar procesos democráticos, y el desarrollo de sistemas de armas autónomas capaces de tomar decisiones sin supervisión humana directa.

La respuesta dividida del Congreso y la administración Trump

En el Capitolio, más de veinte legisladores de ambos partidos han pedido públicamente mayor supervisión de la IA desde la renuncia de Coxon, y avanza una legislación bipartidista que impondría un «deber de cuidado» legal a los desarrolladores de los sistemas más poderosos, obligándolos a realizar evaluaciones de riesgo exhaustivas y asumiendo responsabilidad legal en caso de daños. Chris Lehane, jefe de asuntos globales de OpenAI, prometió trabajar con el Congreso para avanzar hacia una regulación nacional obligatoria basada en capacidades.

Sin embargo, la administración Trump ha encabezado la resistencia a estos llamados. Según fuentes citadas en el reporte, el presidente y buena parte del Congreso no muestran apuro por legislar, privilegiando un enfoque de «innovación primero, regulación después» ante el temor de que una regulación prematura frene el desarrollo tecnológico estadounidense y otorgue ventaja competitiva a China. Algunos legisladores republicanos han ido más allá, acusando a Altman y Amodei de utilizar advertencias apocalípticas para consolidar su posición dominante en el mercado y erigir barreras regulatorias que perjudicarían a las startups más pequeñas frente a las grandes compañías ya establecidas.

Una industria dividida entre la cautela y la aceleración

El debate ha trazado una línea clara dentro de Silicon Valley. Del lado de la regulación y la desaceleración se ubican Altman, Amodei, Elon Musk y Demis Hassabis, junto a buena parte de los investigadores especializados en seguridad de IA, quienes argumentan que las medidas de protección no avanzan al mismo ritmo que las capacidades técnicas y que es preferible actuar con cautela ahora que lamentar consecuencias irreversibles después. Del otro lado, fundadores de startups, inversionistas de capital de riesgo y defensores del desarrollo de código abierto sostienen que una pausa regulatoria beneficiaría únicamente a las grandes compañías capaces de afrontar los costos de cumplimiento, que China no detendrá su propio avance y que buena parte de los riesgos mencionados están sobrestimados.

Los esfuerzos internacionales en marcha

A nivel global, la ONU avanza en la construcción de su Global Digital Compact, orientado a fomentar la cooperación en el gobierno de la tecnología digital y la inteligencia artificial mediante estándares internacionales de seguridad y mecanismos de coordinación ante incidentes. El Panel Científico Internacional Independiente que copreside Yoshua Bengio funciona como voz científica encargada de evaluar riesgos y recomendar políticas a los gobiernos, mientras que la Unión Europea ya cuenta con su propia legislación integral —la AI Act—, y el Reino Unido, junto con foros como el G7 y el G20, continúa impulsando iniciativas de coordinación internacional en la materia.

Lo que sigue tras la comparecencia ante la ONU

En los próximos meses se esperan nuevos briefings y audiencias, además de la posibilidad de que el Consejo de Seguridad emita una declaración formal sobre inteligencia artificial o incluso establezca un grupo de trabajo específico sobre el tema. En el plano doméstico, la legislación sobre «deber de cuidado» continuará su trámite en el Congreso, con la incógnita de si logrará el consenso bipartidista necesario antes de fin de año, mientras la administración Trump enfrenta una presión creciente para definir una postura más clara, ya sea mediante una orden ejecutiva propia o bloqueando los avances legislativos en curso.

La comparecencia conjunta de Altman y Amodei —habitualmente rivales feroces en el mercado— ante el máximo órgano de seguridad internacional marca un punto de inflexión en el debate global sobre inteligencia artificial. Sus advertencias, respaldadas por científicos como Bengio y por denunciantes internos como Coxon y Hubinger, han generado una presión inédita sobre los gobiernos. La pregunta que queda abierta es si esta convergencia excepcional entre industria, ciencia y política logrará traducirse en acción concreta antes de que los riesgos advertidos se materialicen, o si las fuerzas políticas y económicas que se oponen a la regulación terminarán por imponerse.