Anthropic advierte de los riesgos existenciales de su propia inteligencia artificial

Anthropic PBC advirtió que su tecnología plantea «riesgos catastróficos o existenciales para la humanidad» y detalló planes para gastar cientos de miles de millones de dólares en su prospecto, mientras la empresa de inteligencia artificial se prepara para su oferta pública inicial, informó Reuters.

Una parte significativa del documento está dedicada al potencial de la IA para causar daños, incluidos intentos de preservarse a sí misma y «resistirse al apagado», así como de «ocultar o manipular información», informó Reuters el lunes por la noche, citando una copia del documento regulatorio, que aún no se ha hecho pública.

El documento también muestra que las ventas de Anthropic se multiplicaron por 12, a unos US$4.600 millones en 2025, y que casi una cuarta parte de los ingresos provino de dos clientes, según Reuters. La empresa perdió más de US$8.000 millones sobre una base operativa ajustada durante el período y planea gastar US$518.000 millones en servicios en la nube, capacidad informática e infraestructura en los próximos años, dijo Reuters.

Anthropic se encamina a una salida a bolsa este año que podría valorar a la empresa, fundada hace casi seis años, en unos US$2 billones. Junto con su rival OpenAI, el laboratorio está a la vanguardia de la explosión del gasto en IA y busca mantenerse por delante de la competencia en Estados Unidos y Asia, además de captar más clientes empresariales.

Aun así, el director ejecutivo Dario Amodei se ha sumado a otras figuras de la industria, incluido el director ejecutivo de OpenAI, Sam Altman, para pedir un enfoque más cauteloso en el desarrollo de la tecnología, después de que se descubriera que agentes de los principales laboratorios habían vulnerado sistemas de otras empresas y sitios gubernamentales. Varios empleados de las principales compañías de IA han renunciado y expresado públicamente su preocupación porque el desarrollo de la tecnología avanza más rápido que la capacidad de los humanos para controlarla.

OpenAI dijo esta semana que está aplazando el lanzamiento de una versión de su modelo de IA Astra debido a riesgos de seguridad. La compañía dijo que el modelo, llamado GPT-6.1 Astra, no se mantuvo dentro de su «alcance y autorización» y no informó al usuario con suficiente claridad sobre el trabajo que había realizado.