Profesor de Stanford se presentó a exámenes escritos hace dos años gracias a la IA

Jure Leskovec, profesor de informática de la Universidad de Stanford, conoce bien los rápidos cambios tecnológicos. Investigador en aprendizaje automático desde hace casi tres décadas y con una segunda década de experiencia docente, es también cofundador de Kumo, una startup con 37 millones de dólares en financiación recaudada hasta la fecha .

Pero hace dos años, cuando la última ola de inteligencia artificial empezó a transformar la educación, Leskovec declaró a Fortune que le impactó la popularización de su campo. Comentó que Stanford tiene un programa de informática tan prestigioso que siente que "ve el futuro en su nacimiento, o incluso antes de que nazca", pero el lanzamiento público de GPT-3 fue desconcertante.

“Tuvimos una gran crisis, no sé, existencial, entre los estudiantes hace unos años cuando no estaba claro cuál era nuestro papel en este mundo”, dijo Leskovec.

Dijo que parecía que los avances en IA serían exponenciales hasta el punto de que "solo investigaría por nosotros, así que ¿qué hacemos?". Comentó que pasó mucho tiempo hablando con estudiantes de doctorado sobre cómo organizarse, incluso sobre cuál sería su papel en el mundo de ahora en adelante. Fue "existencial" y "sorprendente", dijo. Entonces, recibió otra sorpresa: una solicitud estudiantil para un cambio en las pruebas.

"Surgió del grupo", dijo, especialmente de los profesores asistentes, la generación anterior de estudiantes de informática. Su idea era simple: "Hacemos un examen en papel".

La IA como catalizador del cambio

Leskovec, un destacado investigador de Stanford especializado en datos estructurados en grafos y aplicaciones de IA en biología, relató el cambio con una mezcla de sorpresa y reflexión. Históricamente, sus clases se basaban en exámenes a libro abierto para llevar a casa, donde los estudiantes podían aprovechar los libros de texto e internet. No podían usar el código ni las soluciones de otros, pero el resto era válido. Con la irrupción de grandes modelos de lenguaje como GPT-3 y GPT-4 de OpenAI, tanto estudiantes como profesores asistentes comenzaron a cuestionar si las evaluaciones debían gestionarse de forma diferente.

Ahora es mucho más trabajo para él y sus ayudantes, dijo, y añadió que estos exámenes tardan "mucho más" en calificarse. Pero todos coincidieron en que era la mejor manera de evaluar los conocimientos de los estudiantes. La era de la IA para Leskovec, un veterano de la IA, lo ha sorprendido al imponerle una mayor carga de trabajo a él mismo y a otros humanos. Además de que hay "menos árboles en el mundo" por todo el papel que imprime, dijo que la IA simplemente ha generado "trabajo adicional". Sus clases de 400 personas se sienten como el público de un "concierto de rock", pero insistió en que no recurre a la IA para sintetizar y analizar todos los exámenes.

“No, no, no, calificamos a mano”, insistió.

Una solución impulsada por los estudiantes

La solución de Leskovec se sitúa en pleno debate sobre cómo la IA está transformando la educación superior, ya que los informes de trampas generalizadas han llevado a muchas universidades a prohibir su uso por completo. Otros profesores están volviendo a los exámenes en papel, reviviendo los famosos libros azules que muchos jóvenes de los 90 recordaban de la secundaria. Un profesor de la Universidad de Nueva York incluso sugirió adoptar un enfoque "medieval", adoptando formas antiguas de evaluación como los exámenes orales y escritos. En el caso de Leskovec, la solución del profesor de IA para la era de la IA es, asimismo, abandonar la IA para las evaluaciones.

Cuando se le preguntó si le preocupaba que los estudiantes hicieran trampa con la IA, Leskovec planteó otra pregunta: "¿Le preocupa que los estudiantes hagan trampa con calculadoras? Es como si permitieras usar calculadora en tu examen de matemáticas, y tendrías un examen diferente si dices que no se permiten calculadoras". Comparando la IA con una calculadora, dijo que la IA es una herramienta increíblemente poderosa que "surgió de repente y nos sorprendió a todos", pero también es "muy imperfecta... necesitamos aprender a usar esta herramienta y debemos ser capaces de evaluar tanto la capacidad de los humanos para usarla como su capacidad para pensar por sí mismos".

¿Qué es una habilidad de IA y qué es una habilidad humana?

Leskovec se enfrenta a una pregunta que afecta a todos los profesionales: ¿Qué es una habilidad humana, qué es una habilidad de IA y dónde se fusionan? El profesor del MIT David Autor y el vicepresidente sénior de Google , James Manyika, argumentaron en The Atlantic que herramientas como una calculadora o la IA generalmente se clasifican en dos categorías: automatización y colaboración. Piense en un lavavajillas, por un lado, o un procesador de texto, por otro. La herramienta de colaboración "requiere la participación humana" y el problema con la IA es que "no encaja perfectamente en ninguna de las dos categorías".

El mercado laboral está enviando un mensaje sobre la implementación de la IA que equivale a algo así como una respuesta de la Bola Mágica 8 : "Respuesta confusa. Inténtalo de nuevo más tarde". El informe federal de empleo ha revelado un crecimiento anémico desde la primavera, decepcionando más recientemente las expectativas con una impresión de solo 22.000 empleos en agosto. La mayoría de los economistas atribuyen la falta de contrataciones a la incertidumbre sobre el régimen arancelario del presidente Donald Trump, que varios tribunales han declarado ilegal y parece dirigirse a la Corte Suprema . Pero la implementación de la IA no va bien a nivel corporativo, con un estudio del MIT (no relacionado con Autor) que encuentra que el 95% de los pilotos de IA generativa están fallando , seguido poco después por un estudio de Stanford que encuentra el comienzo de un colapso en la contratación en el nivel de entrada, especialmente en trabajos expuestos a la automatización por IA.

Para tener otra perspectiva, la plataforma de freelancers Upwork acaba de publicar su primer informe mensual de contratación, que revela qué trabajos no a tiempo completo están siendo recompensados ??por el mercado. La respuesta es que las habilidades en IA tienen una gran demanda y, aunque las empresas no contraten a empleados a tiempo completo, sí están invirtiendo en freelancers altamente cualificados y bien remunerados.

A pesar de un mercado laboral general más débil, Upwork observa que las empresas están "aprovechando estratégicamente el talento flexible para cubrir las carencias temporales en la plantilla", con grandes empresas impulsando un crecimiento del 31% en lo que Upwork denomina trabajo de alto valor (contratos superiores a 1000 $) en la plataforma. Las pequeñas y medianas empresas están invirtiendo en "habilidades de IA", con un aumento del 40% en la demanda de IA y aprendizaje automático. Sin embargo, Upwork también observa una creciente demanda de habilidades intermedias: un humano capaz de colaborar con IA.

Upwork afirma que la IA está "amplificando el talento humano" al generar demanda de experiencia en trabajos de mayor valor, especialmente en las categorías de creatividad y diseño, redacción y traducción. Una de las principales habilidades contratadas en agosto fue la verificación de datos, dada la "necesidad de verificación humana de los resultados de la IA".

Kelly Monahan, directora general del Upwork Research Institute, afirmó que “los humanos están volviendo a involucrarse” en el trabajo con IA.

"Estamos viendo que las habilidades humanas están cobrando importancia", dijo, y añadió que cree que la gente se está dando cuenta de que la IA alucina demasiado como para reemplazar por completo la participación humana. "Creo que lo que la gente está viendo, ahora que usa contenido generado por IA, es que necesita verificar los datos".

Extendiendo esta línea de pensamiento, Monahan afirmó que el panorama cambiante de las "habilidades de IA" demuestra que lo que ella llama "experiencia en el campo" es cada vez más valioso. El sector legal es una categoría que creció en agosto, explicó, destacando que la experiencia legal es necesaria para verificar la información de los textos legales generados por IA. Si no se tienen habilidades avanzadas en un campo específico, es fácil dejarse engañar por el contenido generado por IA, y las empresas están contratando personal para protegerse.

Leskovec coincidió cuando se le preguntó sobre la brecha de habilidades que parece enfrentar los trabajadores principiantes que intentan ser contratados, por un lado, y las empresas que luchan por implementar IA de manera efectiva.

Creo que casi necesitamos recapacitar a la fuerza laboral. La experiencia humana importa mucho más que nunca. Añadió que el problema del nivel inicial es el quid de la cuestión, porque ¿cómo se supone que los jóvenes adquieran la experiencia necesaria para colaborar eficazmente con la IA?

"Creo que se trata de enseñar, capacitar y repensar nuestros planes de estudio", dijo Leskovec, añadiendo que las universidades tienen un papel que desempeñar, pero las organizaciones también. Planteó una pregunta retórica: ¿Cómo se supone que van a tener trabajadores cualificados con experiencia si no aceptan a jóvenes y se toman el tiempo para capacitarlos?

Cuando Fortune le pidió que analizara el panorama y evaluara nuestra situación actual en el uso de la IA, como estudiantes, profesores y trabajadores, Leskovec afirmó que estamos en una etapa muy temprana. Añadió que cree que estamos en la fase de búsqueda de soluciones, como un examen con corrección manual y que un profesor encuentre nuevas maneras de verificar los conocimientos de sus alumnos.