La diferencia entre este enfoque y sus predecesores es que DeepMind espera «utilizar el diálogo para la seguridad a largo plazo», dice Geoffrey Irving, investigador de seguridad de DeepMind.

«Dicho esto, no esperamos que los problemas que enfrentamos en estos modelos, ya sea información errónea, estereotipos o lo que sea, sean obvios a primera vista, y queremos discutirlos en detalle». Y eso también significa entre máquinas y personas”, dice.

La idea de DeepMind de usar las preferencias humanas para modificar cómo aprende un modelo de IA no es nueva, dice Sara Hooker, quien dirige Cohere for AI, un laboratorio de investigación de IA sin fines de lucro.

«Pero las mejoras son convincentes y muestran claros beneficios para la optimización dirigida por humanos de los agentes de diálogo en un entorno con grandes modelos de lenguaje», dice Hooker.

Douwe Kiela, investigador de la startup de IA Hugging Face, dice que Sparrow es «un buen próximo paso que sigue una tendencia general en IA en la que estamos tratando más seriamente de mejorar los aspectos de seguridad de la implementación de modelos de lenguaje grande».

Pero aún queda trabajo por hacer antes de que estos modelos de IA conversacionales puedan usarse en la naturaleza.

Sparrow todavía comete errores. El modelo a veces se desvía del tema o inventa respuestas aleatorias. Determinados participantes también pudieron cumplir con el modelo rompiendo las reglas el 8% de las veces. (Esto sigue siendo una mejora con respecto a los modelos anteriores: los modelos anteriores de DeepMind tenían tres veces más probabilidades de romper las reglas que Sparrow).

«En áreas donde el daño humano puede ser alto cuando un agente responde, como Asesoramiento médico y financiero, para muchos, esto todavía puede parecer una tasa de fracaso inaceptablemente alta”, dice Hooker. El trabajo también se basa en un modelo de idioma inglés, «mientras vivimos en un mundo donde la tecnología necesita servir de manera segura y responsable a muchos idiomas diferentes», agrega.

Y Kiela señala otro problema: «Confiar en Google para buscar información introduce sesgos desconocidos que son difíciles de detectar porque todo es de código cerrado».

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí