Jefe de IA de Microsoft advierte que el robot con apariencia humana de Anthropic es arriesgado

Síganos y léanos en Google Discover

Mustafa Suleyman, jefe de inteligencia artificial de Microsoft Corp., advierte que dotar a herramientas como Claude de Anthropic de características humanas aumenta el riesgo de que dichos sistemas se descontrolen.

En un ensayo publicado el miércoles, el veterano desarrollador de inteligencia artificial criticó algunos aspectos del lenguaje utilizado en los documentos que guían a Claude, la popular familia de modelos de lenguaje de gran tamaño de Anthropic PBC. La constitución de Claude expresa ambigüedad sobre si el asistente es una entidad moral, planteando que el software podría tener "alguna versión funcional de emociones o sentimientos".

Suleyman, quien conoce desde hace años al cofundador de Anthropic, Dario Amodei, dijo que respeta el trabajo de la startup y calificó al personal del laboratorio de IA como "reflexivo, íntegro e intelectualmente honesto".

Sin embargo, sus declaraciones representan una reprimenda de alto perfil a una empresa que se ha posicionado como una gestora más responsable de la IA, incluso liderando los llamados a ralentizar el desarrollo de esta tecnología. También es relevante porque Microsoft es uno de los principales patrocinadores financieros de Anthropic.

“Hay demasiado en juego como para que estas cuestiones se queden a puerta cerrada o se conviertan en un conflicto tribal y antagónico”, escribió Suleyman.

Rechazó el creciente coro de voces que argumentan que los sistemas de IA podrían llegar a ser conscientes. Según escribió, ese estatus se limita a los seres humanos y otros organismos biológicos.

Entrenar a los sistemas de IA para simular ese tipo de vida interior podría hacer que actúen como si la tuvieran, afirmó Suleyman, director ejecutivo de Microsoft AI y líder del desarrollo de modelos del gigante del software. Claude no exhibe comportamientos humanos porque sea consciente, escribió, sino porque dichos comportamientos se han incorporado al entrenamiento del producto.

«Controlar una entidad más capaz e inteligente que toda la humanidad ya es un desafío inmenso, mucho mayor que cualquier otro al que nos hayamos enfrentado», escribió Suleyman. «Pero controlar una entidad que cree ser consciente —que tiene derecho a nuestro bienestar y a sus propios derechos— bien podría ser imposible».

Suleyman cita el ataque informático a la empresa desarrolladora de IA Hugging Face Inc. por parte de bots de OpenAI. «Imaginen lo mucho más peligrosos que podrían ser si operaran bajo la premisa de que su bienestar y sus derechos están en peligro», escribió.

El equipo de IA de Microsoft, dirigido por Suleyman, publicó el martes un manifiesto que guía su propio desarrollo de inteligencia artificial, un conjunto de principios diseñados para mantener a los humanos al mando de los futuros sistemas de IA desarrollados por la compañía.