OpenAI prohíbe cuentas que parecen trabajar en una herramienta de vigilancia

OpenAI recientemente prohibió varias cuentas que habían estado usando ChatGPT para escribir argumentos de venta y depurar códigos para una supuesta herramienta de vigilancia de redes sociales que probablemente se originó en China, dijo la compañía, como parte de un esfuerzo más amplio de la startup de inteligencia artificial para vigilar los usos maliciosos de sus poderosos modelos de inteligencia artificial.

Según un informe publicado el viernes por la startup de San Francisco, las cuentas estaban usando ChatGPT para publicitar y mejorar lo que afirmaban que era un asistente de inteligencia artificial capaz de recopilar datos e informes en tiempo real sobre las protestas contra China en Estados Unidos, el Reino Unido y otros países occidentales. Esa información luego se transmitiría a las autoridades chinas, según el informe.

Los hallazgos llegan en un momento de creciente preocupación en Estados Unidos por el uso que hace China de la tecnología estadounidense para promover sus propios intereses. “Se trata de una visión bastante preocupante de la forma en que un actor no democrático intentó utilizar una inteligencia artificial democrática o con sede en Estados Unidos para fines no democráticos, según los materiales que ellos mismos estaban generando”, dijo Ben Nimmo, investigador principal de OpenAI en el equipo de inteligencia e investigaciones de la empresa, durante una conferencia de prensa el jueves.

Nimmo dijo que al publicar estos casos, OpenAI pretende arrojar luz sobre cómo “los regímenes autoritarios pueden intentar utilizar la IA construida en Estados Unidos, la IA democrática, contra Estados Unidos y sus países aliados, así como contra su propio pueblo”.

OpenAI afirmó que las cuentas de la red hacían referencia al uso de otras herramientas de IA para desarrollar su código, incluida una versión de Llama, el modelo de código abierto desarrollado por Meta Platforms Inc. En una declaración, Meta afirmó que, si su servicio estaba involucrado, probablemente se trataba de una de las muchas herramientas de este tipo disponibles para los usuarios, incluidos los modelos de IA fabricados en China. OpenAI señaló que no tiene visibilidad sobre si se implementó este código.

OpenAI no pudo verificar de forma independiente el software, llamado “Qianyue Overseas Public Opinion AI Assistant”, aunque la startup tuvo acceso al texto de los materiales de marketing. El texto de marketing detallaba que el propósito del software de “escucha social” era enviar informes de vigilancia a las autoridades chinas, a los agentes de inteligencia y al personal de las embajadas chinas. El software parecía estar específicamente enfocado en identificar conversaciones en línea en países occidentales sobre manifestaciones relacionadas con los derechos humanos en China. Las descripciones del software decían que extraía información de conversaciones en redes sociales en plataformas como X, Facebook e Instagram.

Según el informe de amenazas de la empresa, va contra las políticas de OpenAI utilizar su IA para vigilar las comunicaciones o realizar un seguimiento no autorizado de personas, incluso “en nombre de gobiernos y regímenes autoritarios que buscan suprimir las libertades y los derechos personales”.

En los últimos meses, OpenAI ha estado advirtiendo a los políticos de los EE. UU. sobre lo que ve como una creciente amenaza económica y de seguridad nacional por parte de la IA construida en China, en particular a raíz de los modelos de IA sorprendentemente competitivos de la startup china DeepSeek. Algunos halcones de China en los EE. UU. han criticado a Meta por publicar sus herramientas de IA en código abierto , diciendo que está empoderando a las empresas de IA chinas para hacer avances. Si bien los modelos de OpenAI actualmente se mantienen privados, la empresa ha estado considerando recientemente publicar modelos en código abierto en línea con la creciente competencia de DeepSeek y otros.

En un comunicado, Meta destacó la creciente disponibilidad de modelos de IA a nivel mundial y dijo que la disponibilidad limitada de algunas tecnologías occidentales puede no tener mucha importancia cuando se trata de actores maliciosos. “China ya está invirtiendo más de un billón de dólares para superar a Estados Unidos tecnológicamente, y las empresas tecnológicas chinas están lanzando sus propios modelos abiertos de IA tan rápido como las empresas de Estados Unidos”, dijo un representante de la empresa.

En su informe, OpenAI también compartió varios otros ejemplos de cuentas que prohibió por hacer un mal uso de sus herramientas, incluidas algunas vinculadas a operaciones de influencia iraníes que usaban ChatGPT para generar publicaciones y artículos en las redes sociales; otra que parecía representar un plan de empleo engañoso que imitaba estafas vinculadas a Corea del Norte; y otro conjunto de cuentas probablemente vinculadas a China que generaban artículos en español críticos del gobierno de Estados Unidos.