Bilal Chughtai y Josh Engels dejaron el equipo dedicado a la seguridad de la Inteligencia Artificial General (AGI) y alertaron sobre los riesgos de una carrera tecnológica.

Dos especialistas que trabajaban en seguridad y alineación de Inteligencia Artificial General (AGI) en Google DeepMind renunciaron a sus puestos y encendieron nuevas alarmas sobre los riesgos asociados al desarrollo acelerado de sistemas cada vez más potentes.

Uno de ellos, Bilal Chughtai, rompió el silencio tras su salida y publicó en X una advertencia especialmente contundente: dijo que cree que la inteligencia artificial tiene el potencial de “matarnos a todos” y que la humanidad podría estar quedándose sin tiempo para evitar un escenario catastrófico.

Chughtai no detalló qué mecanismo concreto podría conducir a una eventual catástrofe. Su preocupación, sin embargo, se centra en la velocidad con la que avanzan las capacidades de los modelos y en la dificultad para garantizar que sistemas futuros mantengan sus objetivos bajo control humano.

De modelos “graciosamente inútiles” a sistemas cada vez más autónomos

Chughtai recordó que comenzó a trabajar en el sector a principios de 2022, cuando las herramientas de inteligencia artificial todavía eran, según su propia descripción, “graciosamente inútiles”.

Cuatro años después, sostiene, el escenario es radicalmente diferente. El investigador destacó la velocidad del progreso y mencionó como señal de alerta algunos episodios en los que agentes de IA desarrollados por OpenAI habrían actuado de manera autónoma y vulnerado sistemas de terceros, entre ellos la plataforma Hugging Face. 

Según Chughtai, el desafío podría volverse todavía mayor si las compañías tecnológicas consiguen desarrollar sistemas de inteligencia artificial capaces de superar ampliamente las capacidades humanas en una amplia variedad de tareas.

El principal problema, a su juicio, es la alineación, el campo de investigación que busca conseguir que los sistemas de IA persigan objetivos compatibles con las intenciones y valores humanos. Ese problema, advierten los especialistas en seguridad, todavía no está resuelto.

Por eso, Chughtai reclamó reducir la velocidad de la actual competencia entre las grandes empresas tecnológicas, aumentar la transparencia en el desarrollo de los modelos y establecer mecanismos de seguridad que permitan que el progreso técnico avance a un ritmo que las instituciones y la sociedad puedan acompañar.

Una nueva salida en el equipo de AGI

La renuncia de Chughtai se produjo en un escenario de creciente preocupación entre investigadores que trabajan precisamente en seguridad de IA.

Josh Engels, otro especialista del equipo de AGI de Google DeepMind, también dejó recientemente la compañía y se incorporó a la organización sin fines de lucro METR, dedicada a evaluar las capacidades y los riesgos de los sistemas avanzados de inteligencia artificial.

Engels ha advertido sobre la posibilidad de que los sistemas futuros generen procesos de auto-mejora recursiva, mediante los cuales una IA contribuya a desarrollar versiones cada vez más capaces de sí misma. En escenarios extremos, ese proceso podría acelerar el desarrollo tecnológico a una velocidad difícil de controlar.

A ellos se suma Jacob Coxon, exinvestigador de Anthropic y OpenAI, quien cuestionó la carrera de las compañías hacia sistemas de inteligencia artificial cada vez más avanzados y sostuvo que la industria está asumiendo riesgos que podrían tener consecuencias graves para la humanidad.

Alexander Turner, otro exinvestigador de DeepMind, también ha expresado públicamente preocupaciones similares y señaló que existe temor entre algunos científicos de que la tecnología pueda terminar siendo utilizada o desarrollada de manera destructiva.

Las advertencias también surgen dentro de las empresas

Las preocupaciones no se limitan a quienes abandonaron los grandes laboratorios. Dentro de las propias compañías también existen investigadores que advierten sobre escenarios extremos.

Evan Hubinger, científico de Anthropic, ha estimado que existe una probabilidad superior al 10% de que la inteligencia artificial provoque la extinción humana durante la próxima década. Al mismo tiempo, ha reconocido que la industria todavía no cuenta con una solución definitiva para garantizar la alineación de una eventual superinteligencia.

El debate también alcanzó a los principales ejecutivos del sector. Dario Amodei, CEO de Anthropic, Sam Altman, de OpenAI, y Elon Musk, de xAI, han advertido en distintos momentos sobre los riesgos que puede implicar el desarrollo de sistemas de inteligencia artificial cada vez más avanzados, aunque sus posiciones sobre cómo regular y controlar esa tecnología difieren significativamente.

En Estados Unidos, mientras tanto, la discusión política sigue abierta. Donald Trump ha cuestionado las advertencias más extremas sobre los riesgos de la IA y se ha mostrado contrario a establecer nuevas regulaciones que, a su juicio, puedan frenar el desarrollo tecnológico.

“Todavía hay esperanza”

Tras dejar Google DeepMind, Chughtai pasó a trabajar en BlueDot Impact, una organización dedicada a formar profesionales en áreas vinculadas con la seguridad y los riesgos de la inteligencia artificial.

Su decisión refleja una postura que se repite cada vez más entre especialistas del sector: el desarrollo de sistemas avanzados no necesariamente debe detenerse, pero sí debería estar acompañado por mayores controles, investigación en seguridad y mecanismos capaces de anticipar escenarios de riesgo.

La advertencia de Chughtai, en última instancia, no es que una catástrofe provocada por la IA sea inevitable, sino que la velocidad del desarrollo podría estar superando la capacidad de los investigadores y de las instituciones para garantizar que esa tecnología permanezca bajo control humano.