ChatGPT, el chatbot impulsado por algoritmos de inteligencia artificial, obtuvo un MBA

En diciembre, Christian Terwiesch, profesor de la Escuela Wharton de la Universidad de Pensilvania, decidió poner a prueba la última versión de ChatGPT, un chatbot impulsado por algoritmos de inteligencia artificial, con un examen de su curso de gestión de operaciones.

El bot lo hizo mejor que el promedio, obtuvo una B- y rápidamente se volvió omnipresente. Hoy es la cara pixelada de la promesa de la IA y sus peligros, incluidos los existenciales.

Decidimos hablar con Terwiesch, quien preside el departamento de operaciones, información y decisiones de Wharton y codirige el Instituto Mack para la Gestión de la Innovación de Penn. Estaba ansioso por hablar sobre su trabajo de investigación sobre ChatGPT, las formas de usar la tecnología en el futuro y lo que toda la charla sobre el bot tiene para enseñarnos.

Así que su experimento ha creado un poco de pánico. ¿Debemos tener miedo al chatbot con el MBA?

Bueno, si el pánico incluye emoción, eso es bueno. Pero si es miedo, eso es un problema. Tengo la culpa de parte de este miedo, dado el título: ¿ChatGPT3 obtendría un MBA de Wharton? Una predicción basada en su desempeño en el curso de Dirección de Operaciones. Un buen título importa, y le di a mi trabajo uno al que la gente probablemente respondería.

¿Cuándo hizo el experimento?

Empecé durante las recientes vacaciones de invierno. Mis hijos, uno es diseñador: había usado Midjourney, un programa informático basado en IA. Y el otro es un desarrollador de software, está en el último año de la universidad y usó ChatGPT. En un momento surgió la pregunta: "Oye papá, ¿puede esta cosa aprobar tu examen?" Así que pensé en probarlo.

Corté y pegué las preguntas del examen en la línea de indicaciones. El resultado fue asombroso. No tenía idea de cómo lo haría. En su primera pregunta, con media página de texto, se le pidió que hiciera un análisis de caso. No solo tenía la respuesta correcta, sino que estaba bien articulada, estaba muy bien escrita. Realmente no tenía idea de que esto sucedería.

Ya sabes, vamos a Google y escribimos preguntas y, a menudo, nos sorprendemos con lo que nos envía. Con esto, no esperaba que la respuesta fuera tan bien hecha. La confianza de ChatGPT: "¡aquí está la respuesta!" — eso es lo que quieres como usuario. La primera reacción fue: “Aww, esto es genial”.

Cuéntenos sobre el ejercicio y sus reacciones más allá de la primera

La primera pregunta del examen fue sobre encontrar un cuello de botella en un proceso. Luego se preguntó cuánto capital de trabajo necesita un minorista para sostener un negocio. Lo mismo sucedió, lo hizo bien. Luego tomé una pregunta más difícil, y allí luchó y obtuvo la respuesta incorrecta.

Le di pistas de una manera muy humana, como le darías a un estudiante, y captó las pistas. Eso me sorprendió, y fue divertido de ver. Estaba ajustando su razonamiento y respuesta a la pista, y la respuesta mejoró. Empezó a sentirse como un trabajo en equipo, como una coproducción entre ChatGPT y yo.

Realmente disfruté eso. Una tercera área de prueba que le di, he hablado sobre esto, es realmente malo en matemáticas. Cometió una serie de errores matemáticos realmente estúpidos que un estudiante de sexto grado no cometería, eso es una verdadera ironía. Habla bien, aplica buena lógica y razonamiento y tiene una buena comprensión conceptual, pero no puede hacer matemáticas. ¡Vamos, eres una computadora, amigo!

¿Qué nos dice esto sobre las pruebas, sobre las personas frente a los robots, sobre las oportunidades?

En el mundo en este momento, un gran tema de discusión es qué políticas de prueba tenemos. En primer lugar, debe preguntarse, en primer lugar, ¿por qué está probando? Hay tres tipos de preguntas de prueba que nosotros, como educadores, proporcionamos a nuestros estudiantes. La certificación de habilidades es una. Por ejemplo, lo que se necesita para convertirse en un CPA o un abogado o algo así. Que no quede ninguna duda, aquí tenemos que evaluar al estudiante y no al bot. No puede haber ayuda de ninguna IA en esas configuraciones de prueba.

Luego hago muchas pruebas pequeñas en mi curso, para tener una idea de dónde se encuentran los estudiantes en su viaje de aprendizaje. ¿Necesito acelerar o reducir la velocidad? Aquí, también, ChatGPT da una imagen equivocada de lo que están experimentando los estudiantes. Así que mi trabajo como educador es crear un entorno de aprendizaje psicológicamente seguro donde el GPT no tenga cabida.

Un tercer tipo de prueba es donde está la acción. Realmente, desde el bachillerato hasta el posgrado, toda la acción está en el proceso de aprendizaje. Un estudiante se comprometerá con algún material y saldrá de él como una persona más inteligente, esperamos. Si estabas estudiando filosofía, digamos, Sartre versus Camus, y te pido que escribas un ensayo de cinco páginas, serás una mejor versión de ti mismo habiendo estudiado e investigado. Usamos exámenes o pruebas para que los estudiantes se comprometan con algún material. Pero, ¿qué pasa si vas a la biblioteca y te dices a ti mismo: "Tomaré el atajo aquí y usaré ChatGPT". Eso sería una lástima. La idea es ser creativo y pensar en formas de usar la tecnología para producir y mejorar el compromiso. Creo que eso es súper posible.

¿Cómo, específicamente, lo usaría?

Podría hacer que el bot simule ser un filósofo francés y conozca al estudiante y tenga una conversación, en francés, donde el estudiante entreviste al filósofo durante una hora. Hay todo tipo de cosas que puedes hacer ahora, dada esta tecnología, para crear experiencias de aprendizaje. Para eso estamos los maestros y profesores. Tenemos que crear experiencias de aprendizaje.

Creo que va a ser una herramienta increíble, y eso es especialmente cierto en el mundo de las escuelas de negocios. Quiero agregar que soy muy sensible a los desafíos que enfrentan otros educadores. Hay entornos en los que los maestros luchan con muchas otras cosas, y el maestro está tan presionado que no tiene tiempo para imaginar nuevas experiencias de aprendizaje.