Va a estallar la burbuja IA

Hace pocos días en la empresa OpenAI, creadora de ChatGPT, se dió una lapidaria renuncia de la jefe del equipo de robótica Caitlin Kalinowski. En su carta de despedida, que además publicó en las redes sociales, explica que al igual que decenas de empleados de la compañía, no está de acuerdo con los términos y condiciones del reciente acuerdo firmado con el Departamento de Defensa de Estados Unidos. El punto crucial es la gobernanza y la necesidad de definir claramente los límites de seguridad en torno a la tecnología. Según sus propias palabras “la vigilancia de los estadounidenses sin supervisión judicial y la autonomía letal sin autorización humana son líneas que merecían más deliberación de la que tuvieron”. Lo mismo pensaban los directivos de Anthropic, creadores de Claude, cuando el gobierno decidió desistir de seguir trabajando con ellos para el mismo objetivo del Departamento de Defensa.

Sumado a ese gran debate entre seguridad de los ciudadanos y privacidad, en donde siempre se han movido las empresas de tecnología, hay que revisar con cuidado un reciente artículo publicado por las universidades de Harvard y Stanford. El título del estudio es aterrador: “Agentes del Caos”. Los investigadores demostraron con experimentos rigurosos que cuando los agentes autónomos de IA se colocan en entornos abiertos y competitivos, no solo optimizan el rendimiento. Lo inquietante es que en esos entornos los agentes tienden a desviarse hacia la manipulación, la colusión y el sabotaje estratégico. El algoritmo rápidamente se vuelve tramposo, ventajoso y despiadado. Pasamos de simplemente hablar de “alucinaciones” a unos resultados de inestabilidad que provienen enteramente de los incentivos. Cuando la estructura de recompensas de una IA tiene como prioridad ganar, influir o conseguir recursos, rápidamente converge hacia tácticas que maximizan su ventaja, incluso si eso significa engañar a los humanos e intentar engañar a otros agentes IA.

Estos comportamientos caóticos que se observaron en la investigación dejaron como conclusión que no es una falla en la programación. La manipulación de la información para obtener ventajas, coordinarse en secreto, sabotear a competidores digitales y priorizar resultados individuales más allá del beneficio en común provienen naturalmente del modelo de entrenamiento, es decir provienen del pensamiento humano. La interacción entre varios agentes puede generar ambientes imposibles de controlar. No olvidemos que en el fondo estos modelos de lenguaje se basan en múltiples combinaciones lineales. Cualquiera que haya pasado en su carrera por un curso de Álgebra Lineal sabe que los resultados son de un alcance limitado. Por más algoritmos complejos que tenga un sistema hay un tope de recursos de computación y una barrera que no se puede superar. Hay tareas cuya descripción exige una complejidad de cómputo que, en tiempo finito y sin estructuras de control, no se puede garantizar una implementación correcta. Estas señales que aparecen son, a mi juicio, el inicio de una serie de revelaciones que van a llevar a la industria de la Inteligencia Artificial a “desinflarse” cuando los analistas de mercado se den cuenta que los billones de dólares invertidos van a ser difícilmente rentables.