inteligencia artificial<\/a> tiene el potencial de \u201cmatarnos a todos\u201d y que la humanidad podr\u00eda estar qued\u00e1ndose sin tiempo para evitar un escenario catastr\u00f3fico.<\/p>\n\n\n\nChughtai no detall\u00f3 qu\u00e9 mecanismo concreto podr\u00eda conducir a una eventual cat\u00e1strofe. Su preocupaci\u00f3n, sin embargo, se centra en la velocidad con la que avanzan las capacidades de los modelos y en la dificultad para garantizar que sistemas futuros mantengan sus objetivos bajo control humano.<\/p>\n\n\n\n
De modelos \u201cgraciosamente in\u00fatiles\u201d a sistemas cada vez m\u00e1s aut\u00f3nomos<\/h2>\n\n\n\n
Chughtai record\u00f3 que comenz\u00f3 a trabajar en el sector a principios de 2022, cuando las herramientas de inteligencia artificial todav\u00eda eran, seg\u00fan su propia descripci\u00f3n, \u201cgraciosamente in\u00fatiles\u201d.<\/p>\n\n\n\n
<\/h1>\n\n\n\n
Cuatro a\u00f1os despu\u00e9s, sostiene, el escenario es radicalmente diferente. El investigador destac\u00f3 la velocidad del progreso y mencion\u00f3 como se\u00f1al de alerta algunos episodios en los que agentes de IA desarrollados por OpenAI habr\u00edan actuado de manera aut\u00f3noma y vulnerado sistemas de terceros, entre ellos la plataforma Hugging Face. <\/p>\n\n\n\n
Seg\u00fan Chughtai, el desaf\u00edo podr\u00eda volverse todav\u00eda mayor si las compa\u00f1\u00edas tecnol\u00f3gicas consiguen desarrollar sistemas de inteligencia artificial capaces de superar ampliamente las capacidades humanas en una amplia variedad de tareas.<\/p>\n\n\n\n
El principal problema, a su juicio, es la alineaci\u00f3n, el campo de investigaci\u00f3n que busca conseguir que los sistemas de IA persigan objetivos compatibles con las intenciones y valores humanos. Ese problema, advierten los especialistas en seguridad, todav\u00eda no est\u00e1 resuelto.<\/p>\n\n\n\n
Por eso, Chughtai reclam\u00f3 reducir la velocidad de la actual competencia entre las grandes empresas tecnol\u00f3gicas, aumentar la transparencia en el desarrollo de los modelos y establecer mecanismos de seguridad que permitan que el progreso t\u00e9cnico avance a un ritmo que las instituciones y la sociedad puedan acompa\u00f1ar.<\/p>\n\n\n\n
Una nueva salida en el equipo de AGI<\/h2>\n\n\n\n
La renuncia de Chughtai se produjo en un escenario de creciente preocupaci\u00f3n entre investigadores que trabajan precisamente en seguridad de IA.<\/p>\n\n\n\n
Josh Engels<\/strong>, otro especialista del equipo de AGI de Google DeepMind, tambi\u00e9n dej\u00f3 recientemente la compa\u00f1\u00eda y se incorpor\u00f3 a la organizaci\u00f3n sin fines de lucro METR, dedicada a evaluar las capacidades y los riesgos de los sistemas avanzados de inteligencia artificial.<\/p>\n\n\n\nEngels ha advertido sobre la posibilidad de que los sistemas futuros generen procesos de auto-mejora recursiva, mediante los cuales una IA contribuya a desarrollar versiones cada vez m\u00e1s capaces de s\u00ed misma. En escenarios extremos, ese proceso podr\u00eda acelerar el desarrollo tecnol\u00f3gico a una velocidad dif\u00edcil de controlar.<\/p>\n\n\n\n
A ellos se suma Jacob Coxon<\/strong>, exinvestigador de Anthropic y OpenAI, quien cuestion\u00f3 la carrera de las compa\u00f1\u00edas hacia sistemas de inteligencia artificial cada vez m\u00e1s avanzados y sostuvo que la industria est\u00e1 asumiendo riesgos que podr\u00edan tener consecuencias graves para la humanidad.<\/p>\n\n\n\nAlexander Turner<\/strong>, otro exinvestigador de DeepMind, tambi\u00e9n ha expresado p\u00fablicamente preocupaciones similares y se\u00f1al\u00f3 que existe temor entre algunos cient\u00edficos de que la tecnolog\u00eda pueda terminar siendo utilizada o desarrollada de manera destructiva.<\/p>\n\n\n\nLas advertencias tambi\u00e9n surgen dentro de las empresas<\/h2>\n\n\n\n
Las preocupaciones no se limitan a quienes abandonaron los grandes laboratorios. Dentro de las propias compa\u00f1\u00edas tambi\u00e9n existen investigadores que advierten sobre escenarios extremos.<\/p>\n\n\n\n
Evan Hubinger<\/strong>, cient\u00edfico de Anthropic, ha estimado que existe una probabilidad superior al 10% de que la inteligencia artificial provoque la extinci\u00f3n humana durante la pr\u00f3xima d\u00e9cada. Al mismo tiempo, ha reconocido que la industria todav\u00eda no cuenta con una soluci\u00f3n definitiva para garantizar la alineaci\u00f3n de una eventual superinteligencia.<\/p>\n\n\n\nEl debate tambi\u00e9n alcanz\u00f3 a los principales ejecutivos del sector. Dario Amodei<\/strong>, CEO de Anthropic, Sam Altman, de OpenAI, y Elon Musk<\/strong>, de xAI, han advertido en distintos momentos sobre los riesgos que puede implicar el desarrollo de sistemas de inteligencia artificial cada vez m\u00e1s avanzados, aunque sus posiciones sobre c\u00f3mo regular y controlar esa tecnolog\u00eda difieren significativamente.<\/p>\n\n\n\nEn Estados Unidos, mientras tanto, la discusi\u00f3n pol\u00edtica sigue abierta. Donald Trump ha cuestionado las advertencias m\u00e1s extremas sobre los riesgos de la IA y se ha mostrado contrario a establecer nuevas regulaciones que, a su juicio, puedan frenar el desarrollo tecnol\u00f3gico.<\/p>\n\n\n\n
\u201cTodav\u00eda hay esperanza\u201d<\/h2>\n\n\n\n
Tras dejar Google DeepMind, Chughtai pas\u00f3 a trabajar en BlueDot Impact, una organizaci\u00f3n dedicada a formar profesionales en \u00e1reas vinculadas con la seguridad y los riesgos de la inteligencia artificial.<\/p>\n\n\n\n
Su decisi\u00f3n refleja una postura que se repite cada vez m\u00e1s entre especialistas del sector: el desarrollo de sistemas avanzados no necesariamente debe detenerse, pero s\u00ed deber\u00eda estar acompa\u00f1ado por mayores controles, investigaci\u00f3n en seguridad y mecanismos capaces de anticipar escenarios de riesgo.<\/p>\n\n\n\n
La advertencia de Chughtai, en \u00faltima instancia, no es que una cat\u00e1strofe provocada por la IA sea inevitable, sino que la velocidad del desarrollo podr\u00eda estar superando la capacidad de los investigadores y de las instituciones para garantizar que esa tecnolog\u00eda permanezca bajo control humano.<\/p>\n","protected":false},"excerpt":{"rendered":"
Bilal Chughtai y Josh Engels dejaron el equipo dedicado a la seguridad de la Inteligencia Artificial General (AGI) y alertaron sobre los riesgos de una carrera tecnol\u00f3gica. Dos especialistas que trabajaban en seguridad y alineaci\u00f3n de\u00a0Inteligencia Artificial General\u00a0(AGI) en Google DeepMind renunciaron a sus puestos y encendieron nuevas alarmas sobre los riesgos asociados al desarrollo […]<\/p>\n","protected":false},"author":1,"featured_media":471,"comment_status":"closed","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-470","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-internacionales"],"_links":{"self":[{"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/posts\/470","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/comments?post=470"}],"version-history":[{"count":1,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/posts\/470\/revisions"}],"predecessor-version":[{"id":472,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/posts\/470\/revisions\/472"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/media\/471"}],"wp:attachment":[{"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/media?parent=470"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/categories?post=470"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasvillacastelli.com.ar\/news\/wp-json\/wp\/v2\/tags?post=470"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}