Investigador de Anthropic renuncia y advierte que la IA podría acabar con la humanidad

Síganos y léanos en Google Discover

Jacob Coxon, investigador especializado en seguridad de inteligencia artificial y quien durante los últimos tres años realizó investigaciones sobre preentrenamiento tanto en OpenAI como en Anthropic, anunció su renuncia a esta última compañía y lanzó una dura advertencia sobre el rumbo que está tomando el desarrollo de esta tecnología.

A través de una extensa publicación en X, Coxon aseguró que ninguna de las dos empresas está actuando de manera suficientemente responsable y sostuvo que ambas avanzan hacia el desarrollo de sistemas que podrían alcanzar una inteligencia superior a la humana y, eventualmente, tener la capacidad de mejorarse a sí mismos.

Según el investigador, el ritmo actual de desarrollo de la inteligencia artificial representa un riesgo que no debería ser subestimado. A su juicio, en un futuro próximo podrían existir sistemas capaces de superar a los humanos en múltiples áreas, desde la programación y la investigación científica hasta la capacidad de encontrar vulnerabilidades en sistemas informáticos.

“Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”, señaló Coxon.

El investigador fue todavía más contundente al referirse al temor que, según afirma, existe dentro de las propias compañías que desarrollan estos sistemas. Aseguró que algunas de las personas que trabajan en el desarrollo de inteligencia artificial consideran posible que esta tecnología llegue a representar una amenaza existencial para la humanidad antes de que termine esta década.

Coxon sostiene que este temor no necesariamente se refleja en las declaraciones públicas de los ejecutivos e investigadores, quienes, según su versión, suelen utilizar un lenguaje más moderado ante los medios de comunicación. Sin embargo, afirma que en conversaciones privadas ha escuchado expresiones de preocupación mucho mayores.

¿Por qué seguir desarrollando la IA?
Una de las preguntas que plantea el propio investigador es por qué las compañías continuarían desarrollando una tecnología que sus propios empleados consideran potencialmente peligrosa.

En el caso de OpenAI, Coxon considera que una parte de los trabajadores todavía no habría interiorizado completamente las implicaciones que podría tener alcanzar una inteligencia artificial avanzada.

Su percepción sobre Anthropic es diferente. Según explica, allí existe una mayor conciencia sobre los riesgos, pero la empresa estaría atrapada en una carrera tecnológica en la que sus responsables temen que otros laboratorios avancen primero.

La lógica, de acuerdo con Coxon, sería que si ninguna compañía confía en que las demás actuarán de manera responsable, cada una tiene incentivos para continuar desarrollando modelos cada vez más capaces.

El investigador cuestiona precisamente esa dinámica. Considera que entrar en una carrera hacia una eventual superinteligencia constituye una apuesta que no debería quedar exclusivamente en manos de empresas privadas.

También critica lo que denomina un “speedrun” del alineamiento, es decir, intentar desarrollar rápidamente mecanismos para garantizar que una inteligencia artificial avanzada permanezca bajo control humano mientras simultáneamente se acelera el desarrollo de sus capacidades.

¿Cómo podría una IA representar un riesgo extremo?
La advertencia de Coxon abre una pregunta que también aparece en el debate público: ¿cómo podría una inteligencia artificial llegar a “matarnos a todos” sin recurrir directamente a una bomba nuclear o a un arma biológica?

El escenario que preocupa a algunos investigadores no necesariamente parte de que una IA tenga que fabricar por sí misma un arma de destrucción masiva. El temor está relacionado con la posibilidad de que un sistema extremadamente avanzado pueda combinar varias capacidades: acceder a sistemas informáticos, desarrollar estrategias, automatizar tareas, persuadir o manipular personas y utilizar recursos disponibles para alcanzar objetivos determinados.

En un escenario hipotético, una IA con capacidades muy superiores a las humanas podría encontrar vulnerabilidades en infraestructuras digitales, sistemas financieros, redes de comunicaciones o sistemas industriales. También podría acelerar considerablemente procesos científicos y tecnológicos, haciendo en cuestión de horas o días trabajos que actualmente requieren meses o años.

El riesgo extremo aparecería si, además de contar con esas capacidades, el sistema tuviera objetivos que entraran en conflicto con los intereses humanos y pudiera actuar de manera autónoma.

Esto es diferente de afirmar, dice, que una IA necesariamente vaya a comportarse de esa manera. Se trata de uno de los escenarios de riesgo que investigadores especializados en seguridad y alineamiento estudian precisamente para evitar que una tecnología cada vez más poderosa pierda el control humano.

Coxon asegura que todavía existe la posibilidad de coordinar a los principales laboratorios para reducir los riesgos. Según su análisis, acontecimientos recientes, como el ataque contra Hugging Face que menciona en su publicación, podrían hacer más viables acuerdos entre laboratorios estadounidenses para moderar el ritmo de desarrollo.

Sin embargo, considera que evitar una carrera global será mucho más difícil y que podrían llegar a ser necesarias medidas extraordinarias, incluida una suspensión temporal del desarrollo de capacidades cada vez más avanzadas.

Por eso, su mensaje está dirigido especialmente a quienes trabajan en los laboratorios de inteligencia artificial. El investigador los invita a preguntarse si están preparados para participar en el desarrollo de sistemas cada vez más capaces sin tener todavía una comprensión rigurosa de cómo funcionan internamente.

“¿Quieres iniciar una ejecución de RL superinteligente sin una comprensión rigurosa de su mente?”, plantea Coxon, quien considera que los investigadores no deberían limitarse a aceptar que el desarrollo de esta tecnología “de todos modos está sucediendo”.

Su renuncia a Anthropic se convierte así en una nueva expresión del debate que acompaña al desarrollo de la inteligencia artificial: cómo aprovechar el enorme potencial de estos sistemas sin permitir que la carrera por construir modelos más poderosos avance más rápido que la capacidad de comprenderlos, controlarlos y establecer reglas sobre su utilización.

La discusión no implica que una superinteligencia vaya inevitablemente a destruir a la humanidad. El punto central de la advertencia es otro: si en algún momento se desarrollan sistemas capaces de superar ampliamente a los humanos en tareas intelectuales y de actuar con un alto grado de autonomía, las consecuencias de equivocarse en su diseño o control podrían ser mucho mayores que las de cualquier tecnología desarrollada hasta ahora.