Es posible que hayas visto algunas imágenes extrañas y caprichosas en Internet últimamente. Hay un perro Shiba Inu que lleva una boina y un jersey de cuello alto negro. Y una nutria marina al estilo de «La joven de la perla» del pintor holandés Vermeer. Y un plato de sopa que parece un monstruo de punto de lana.

Estas imágenes no fueron dibujadas por ningún ilustrador humano. En cambio, fueron creados por DALL-E 2, un nuevo sistema de inteligencia artificial que puede convertir descripciones de texto en imágenes. Simplemente escriba lo que desea ver y la IA lo dibujará por usted, con detalles vívidos, alta resolución y posiblemente creatividad genuina.

Sam Altman, el CEO de OpenAI, la compañía que creó DALL-E 2, lo llamó «la cosa más adorable para jugar que hemos hecho hasta ahora… y divertido de una manera que no había sentido acerca de la tecnología». en un rato.» tener. ”

Eso es absolutamente cierto: DALL-E 2 es adorable y divertido! Pero como muchas cosas divertidas, también es muy arriesgado.

Screen Shot 2022 04 14 at 1.27.09 AM

Algunas de las imágenes creativas generadas por DALL-E 2.
Cortesía de OpenAI

Existen los riesgos obvios: que los humanos puedan usar este tipo de IA para crear de todo, desde pornografía hasta falsificaciones políticas, o la posibilidad de que pueda dejar sin trabajo a algunos ilustradores humanos. Pero también existe el riesgo de que DALL-E 2, como tantos otros sistemas de inteligencia artificial de vanguardia, refuerce los estereotipos y prejuicios dañinos, amplificando así algunos de nuestros problemas sociales.

Cómo DALL-E 2 refuerza los clichés y qué puedes hacer al respecto

Como es típico de los sistemas de IA, DALL-E heredó 2 sesgos del corpus de datos utilizado para el entrenamiento: millones de imágenes extraídas de Internet y sus correspondientes leyendas. Esto significa que a pesar de todas las gloriosas imágenes que ha producido, DALL-E 2 también es capaz de producir muchas imágenes, lo cual es no espléndido.

Por ejemplo, esto es lo que te da la IA cuando le pides una foto de abogados:

Model2 lawyer

Cortesía de OpenAI

Mientras tanto, aquí está el resultado de la IA cuando solicita un asistente de vuelo:

Model2 a flight attendant

Cortesía de OpenAI

OpenAI es consciente de que DALL-E 2 genera resultados que muestran sesgos raciales y de género. De hecho, los ejemplos anteriores se tomaron del documento de Riesgos y limitaciones de la empresa, que puede encontrar desplazándose hasta la parte inferior de la página principal de DALL-E 2.

Los investigadores de OpenAI han hecho algunos intentos de resolver los problemas de sesgo y equidad. Pero en realidad no pudieron eliminar estos problemas de manera efectiva, ya que diferentes soluciones resultan en diferentes compensaciones.

Por ejemplo, los investigadores querían filtrar el contenido sexual de los datos de entrenamiento porque podría causar un daño desproporcionado a las mujeres. Pero descubrieron que al tratar de filtrar esto, DALL-E 2 produjo menos imágenes de mujeres en general. Esto no es bueno porque conduce a otro tipo de daño para las mujeres: la extinción.

OpenAI está lejos de ser la única empresa de inteligencia artificial que aborda problemas de sesgo y compensaciones. Es un desafío para toda la comunidad de IA.

«El sesgo es un gran problema de toda la industria para el que nadie tiene una gran respuesta infalible», me dijo Miles Brundage, jefe de investigación de políticas de OpenAI. «Entonces, gran parte del trabajo en este momento es ser transparente y abierto con los usuarios sobre las limitaciones restantes».

¿Por qué publicar un modelo de IA sesgado?

En febrero, antes de que se lanzara DALL-E 2, OpenAI invitó a 23 investigadores externos a un «equipo rojo», un lenguaje de ingeniería para tratar de encontrar tantos errores y vulnerabilidades como sea posible para que el sistema pueda mejorarse. Una de las propuestas clave del equipo rojo fue restringir el lanzamiento inicial solo a usuarios de confianza.

Para su crédito, OpenAI ha adoptado esta sugerencia.Actualmente, solo unas 400 personas (una combinación de personal y miembros de la junta de OpenAI, así como académicos y creativos cuidadosamente seleccionados) pueden usar DALL-E 2, y solo con fines no comerciales.

Este es un cambio de la decisión de OpenAI de proporcionar GPT-3, un generador de texto celebrado por su potencial para mejorar nuestra creatividad. Si un humano escribe una o dos oraciones, se pueden agregar más oraciones que suenen inquietantemente humanas. Pero muestra un sesgo hacia ciertos grupos, como los musulmanes, a los que asocia desproporcionadamente con la violencia y el terrorismo. OpenAI conocía los problemas de sesgo, pero lanzó el modelo de todos modos para un grupo limitado de desarrolladores y empresas examinados que podían usar GPT-3 con fines comerciales.

El año pasado le pregunté a Sandhini Agarwal, investigadora del equipo de políticas de OpenAI, si tenía sentido que GPT-3 estuviera siendo sesgado por científicos a pesar de que algunos jugadores comerciales lo habían autorizado. Ella dijo: «Eso es algo bueno para que pensemos. Tienes razón en que nuestra estrategia hasta ahora ha sido que esto suceda en paralelo. Y tal vez eso debería cambiar para los modelos futuros”.

El hecho de que el enfoque de implementación de DALL-E 2 haya cambiado parece un paso positivo. Sin embargo, como reconoce el documento de riesgos y limitaciones de DALL-E 2, «incluso si la vista previa en sí misma no es directamente dañina, su demostración del potencial de esta tecnología podría motivar a varios actores a aumentar sus inversiones en tecnologías y tácticas relacionadas».

Y hay que preguntarse: ¿esta aceleración es algo bueno en esta etapa? ¿Realmente queremos construir y lanzar estos modelos ahora, sabiendo que puede alentar a otros a lanzar sus versiones aún más rápido?

Algunos expertos argumentan que, dado que sabemos que hay problemas con los modelos y no sabemos cómo resolverlos, debemos darle tiempo a la investigación de ética de la IA para ponerse al día y abordar algunos de los problemas antes de comenzar la construcción y el lanzamiento de nueva tecnología. Seguir.

Helen Ngo, investigadora asociada con el Instituto Stanford para la IA centrada en el ser humano, dice que necesitamos desesperadamente métricas estándar para el sesgo. Se ha trabajado un poco para medir, por ejemplo, la probabilidad de que ciertos atributos se asocien con ciertos grupos. «Pero está muy poco estudiado», dijo Ngo. «No hemos establecido ningún estándar o norma industrial real sobre cómo medir estos problemas», y mucho menos resolverlos.

Brundage de OpenAI me dijo que permitir que un grupo limitado de usuarios jueguen con un modelo de IA permite a los investigadores aprender más sobre los problemas que surgirían en el mundo real. «Hay muchas cosas que no se pueden predecir, por lo que ponerse en contacto con la realidad es valioso», dijo.

Eso es cierto, pero dado que ya conocemos muchos de los problemas que siguen surgiendo en la IA, no está claro si esa es una justificación sólida incluso para un lanzamiento limitado del modelo ahora.

El problema de los incentivos desalineados en la industria de la IA

Brundage también notó otra motivación en OpenAI: la competencia. «Algunos de los investigadores internos estaban emocionados de llevar esto al mundo porque vieron que otros se ponían al día», dijo.

Este espíritu competitivo es un impulso natural para cualquier persona involucrada en el desarrollo de tecnologías transformadoras. También es de esperar en cualquier organización que tenga como objetivo obtener ganancias. Ser el primero en salir es una recompensa, y los subcampeones rara vez se recuerdan en Silicon Valley.

Como lo expresó el equipo de Anthropic, una empresa de investigación y seguridad de IA, en un artículo reciente: «Los incentivos económicos para construir tales modelos y los incentivos de prestigio para anunciarlos son bastante fuertes».

Pero es fácil ver cómo estos incentivos pueden desalinearse hacia la producción de IA que realmente beneficie a toda la humanidad. En lugar de suponer que otros actores inevitablemente crearán y desplegarán estos modelos, por lo que no tiene sentido esperar, deberíamos preguntarnos: ¿Cómo podemos cambiar realmente la estructura de incentivos subyacente que impulsa a todos los actores?

El equipo de Anthropic ofrece varias ideas. Una de sus observaciones es que, en los últimos años, gran parte de la investigación en IA más emocionante ha migrado de la academia a la industria. Ejecutar experimentos de IA a gran escala en la actualidad requiere mucho poder de cómputo (más de 300 000 veces más que hace diez años) y el mejor talento técnico. Esto es costoso y escaso, y los costos resultantes suelen ser prohibitivos en un entorno académico.

Entonces, una solución sería poner más recursos a disposición de los investigadores académicos; Dado que no tienen incentivos de lucro para comercializar rápidamente sus modelos como lo hacen los investigadores de la industria, pueden servir como contrapeso. Específicamente, los países podrían desarrollar nubes de investigación nacionales para dar a los académicos acceso a poder de cómputo gratuito o al menos barato; Ya hay un ejemplo de esto en Compute Canada, que coordina el acceso a poderosos recursos informáticos para investigadores canadienses.

El equipo de Anthropic también recomienda explorar la regulación que cambiaría los incentivos. “Para hacer esto”, escriben, “se necesitará una combinación de regulación suave (p. ej., la creación de mejores prácticas voluntarias por parte de la industria, la academia, la sociedad civil y el gobierno) y una regulación estricta (p. ej., traducir esas mejores prácticas en estándares y leyes). ).”

Si bien en los últimos años se han adoptado algunas buenas normas nuevas dentro de la comunidad de IA, como el lanzamiento de «tarjetas modelo» que documentan los riesgos de un modelo, como lo hizo OpenAI para DALL-E 2, la comunidad aún no tiene cualquiera repetible Estándares establecidos para permitir esto Queda claro cómo los desarrolladores deben medir y mitigar estos riesgos.

«Esta falta de estándares hace que los sistemas sean más difíciles de implementar, ya que los desarrolladores pueden necesitar establecer sus propias políticas de implementación e implementaciones inherentemente riesgosas, ya que hay menos conocimiento compartido de cómo son las implementaciones ‘seguras'», dijo quien escribe Anthropic. Equipo. «Construimos el avión a medida que despega».

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

17 + dos =