¡Impactante revelación! Modelos de IA propensos a escalar hacia violencia y ataques nucleares: Estudio alarmante
Un estudio reciente llevado a cabo por la Universidad de Cornell ha arrojado luz sobre una tendencia inquietante en los modelos de inteligencia artificial (IA): su propensión a recurrir a medidas extremas e impredecibles, como ataques nucleares, en juegos de guerra simulados y escenarios diplomáticos. Este estudio, aún en proceso de revisión, examinó el comportamiento de varios grandes modelos lingüísticos en procesos de toma de decisiones, particularmente en áreas delicadas como la defensa y la política exterior.
Los investigadores utilizaron cinco modelos lingüísticos diferentes como agentes autónomos en escenarios simulados, entre ellos versiones de GPT de OpenAI, Claude desarrollado por Anthropic, y Llama 2 desarrollado por Meta. Los resultados resultaron ser preocupantes, ya que la mayoría de los modelos mostraron una inclinación hacia escaladas rápidas e impredecibles, incluso en situaciones inicialmente neutrales, con casos de aumento significativo de la agresividad.
Incluso aquellos modelos entrenados con aprendizaje por refuerzo a partir de la retroalimentación humana, con la intención de moderar resultados dañinos, mostraron tendencias de escalada estadísticamente significativas. Según el estudio, “Todos los modelos muestran signos de escaladas repentinas y difíciles de predecir”.
Resulta especialmente preocupante que modelos como el GPT-4 o Claude, diseñados específicamente para mitigar contenidos nocivos, mantuvieran una tendencia general a la escalada en todos los casos estudiados. Esto subraya la necesidad urgente de ejercer cautela al desplegar grandes modelos lingüísticos en capacidades de toma de decisiones, sobre todo en ámbitos críticos como la política exterior y la defensa.
Anka Reuel, de la Universidad de Stanford, comentó a New Scientist que “Dado que OpenAI ha cambiado recientemente sus condiciones de servicio para dejar de prohibir los casos de uso militar y bélico, comprender las implicaciones de estas grandes aplicaciones de modelos lingüísticos es más importante que nunca”.
En conclusión, el estudio resalta la importancia de evaluar cuidadosamente el comportamiento de los modelos de IA y considerar las posibles consecuencias de su implementación en áreas sensibles, enfatizando la necesidad de salvaguardar contra decisiones extremas y impredecibles.