Stability.AI, la empresa que desarrolló Stable Diffusion, lanzó una nueva versión del modelo de IA a finales de noviembre. Un portavoz dice que el modelo original se lanzó con un filtro de seguridad, que aparentemente Lensa no usó, ya que eliminaría esas salidas. Stable Diffusion 2.0 filtra el contenido eliminando imágenes que se repiten con frecuencia, entre otras cosas. Cuanto más a menudo se repite algo, como mujeres asiáticas en escenas sexualmente gráficas, más fuerte es la asociación en el modelo de IA.

Caliskan estudió CLIP (Contrastive Language Image Pretraining), un sistema que apoya la difusión estable en la generación de imágenes. CLIP aprende a relacionar imágenes en un conjunto de datos con indicaciones de texto descriptivo. Caliskan señaló que estaba plagado de prejuicios raciales y de género problemáticos.

«Las mujeres están asociadas con contenido sexual, mientras que los hombres están asociados con contenido profesional relacionado con la carrera en todos los campos principales como medicina, ciencia, negocios, etc.», dice Caliskan.

Curiosamente, cuando mis imágenes pasaban por filtros de contenido masculino, mis avatares de Lensa eran más realistas. Tengo avatares de mí mismo con ropa (!) y en poses neutrales. En varias fotos llevaba una bata blanca que parecía pertenecer a un chef o un médico.

Pero no solo los datos de entrenamiento tienen la culpa. Las empresas que construyen estos modelos y aplicaciones toman decisiones activas sobre cómo usan los datos, dice Ryan Steed, un estudiante graduado de la Universidad Carnegie Mellon que ha estudiado el sesgo en los algoritmos de generación de imágenes.

“Alguien tiene que elegir los datos de entrenamiento, decidir construir el modelo, tomar ciertos pasos para mitigar esos sesgos o no”, dice.

Los desarrolladores de la aplicación han optado por que los avatares masculinos aparezcan en trajes espaciales, mientras que los avatares femeninos recibirán tangas cósmicas y alas de hadas.

Un portavoz de Prisma Labs dice que la «sexualización esporádica» de las fotos afecta a personas de todos los géneros, pero de diferentes maneras.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí