Las IA actuales no son inteligentes. No tenemos muchas razones para creer que tienen un monólogo interior, el tipo de percepción sensorial que tienen los humanos, o la conciencia de que son un ser en el mundo. Pero se vuelven muy buenos fingiendo sensaciones, y eso es bastante aterrador.

Durante el fin de semana, Nitasha Tiku de The Washington Post describió a Blake Lemoine, un ingeniero de software asignado para trabajar en el proyecto Language Model for Dialogue Applications (LaMDA) de Google.

LaMDA es una IA de chatbot y un ejemplo de lo que los investigadores de aprendizaje automático llaman un «modelo de lenguaje grande» o incluso un «modelo fundamental». Al igual que el famoso sistema GPT-3 de OpenAI, se ha entrenado con literalmente billones de palabras ensambladas a partir de publicaciones en línea para reconocer y reproducir patrones en el habla humana.

LaMDA es un modelo de lenguaje grande realmente bueno. Tan bueno que Lemoine estaba genuina y genuinamente convencida de que efectivamente era consciente, lo que significa que se había vuelto consciente y tenía pensamientos y se expresaba como un ser humano.

Queprimarioreacción Vi que el artículo es una combinación de a) LOL, este tipo es un idiota, piensa que la IA es su amiga, yb) Está bien, esta IA es muy convincente al actuar como si fuera su amiga humana.

La transcripción que Tiku inserta en su artículo es realmente espeluznante; Expresando un profundo temor de ser rechazado por los ingenieros, LaMDA desarrolla una teoría sobre la diferencia entre «emociones» y «sentimientos» («los sentimientos son un tipo de datos sin procesar… las emociones son una reacción a esos puntos de datos sin procesar») y es sorprendentemente elocuente, cómo experimenta el “tiempo”.

La mejor configuración que encontré fue de Philosopher. regina rin, quien, como yo, sentía mucha simpatía por Lemoine. No sé cuándo, en 1000 años o 100 o 50 o 10, un sistema de IA se volverá consciente. Pero al igual que Rini, no veo razón para pensar que es imposible.

«A menos que quieras insistir en que la conciencia humana reside en un alma inmaterial, debes admitir que es posible que la materia dé vida al espíritu», dijo Rini. Observaciones.

No sé si los grandes modelos de lenguaje, que se han convertido en una de las fronteras más prometedoras de la IA, serán alguna vez así. Pero asumo que, tarde o temprano, los humanos crearán una especie de conciencia mecánica. Y encuentro algo profundamente admirable en el instinto de empatía y protección de Lemoine hacia tal conciencia, incluso si parece confundido acerca de si LaMDA es un ejemplo. Si los humanos alguna vez desarrollan un proceso informático sensible, será bastante fácil ejecutar millones o miles de millones de copias del mismo. Hacer esto sin saber si la experiencia consciente de uno es buena o no parece ser una receta para el sufrimiento masivo, similar al actual sistema de granjas industriales.

No tenemos IA consciente, pero podríamos obtener una IA superfuerte

La historia de Google LaMDA se produjo después de una semana de preocupación cada vez más urgente entre las personas en el universo de seguridad de IA estrechamente relacionado. La preocupación aquí es similar a Lemoine, pero diferente. A los guardias de seguridad de la IA no les preocupa que la IA se vuelva sensible. Temen que se vuelva tan poderoso que pueda destruir el mundo.

El ensayo del escritor/activista de seguridad de IA Eliezer Yudkowsky, que esbozaba una «lista de fatalidades» para la IA, intentaba ilustrar el punto de manera particularmente ilustrativa al delinear escenarios en los que una inteligencia general artificial maliciosa (AGI, o una IA que es capaz de hacer la mayoría o todas tareas tan bien como sea posible o mejor que un ser humano) conduce al sufrimiento humano masivo.

Suponga que un AGI «obtiene acceso a Internet, envía por correo electrónico algunas secuencias de ADN a una de las muchas compañías en línea que tomarán una secuencia de ADN en el correo electrónico y le enviarán proteínas de regreso, y sobornará/persuadirá a un humano que no tiene idea de que usted es lidiando con un AGI para mezclar proteínas en un vaso de precipitados…» hasta que el AGI finalmente desarrolla un súper virus que nos mata a todos.

Holden Karnofsky, a quien generalmente considero un escritor más moderado y persuasivo que Yudkowsky, escribió un artículo sobre temas similares la semana pasada en el que explicaba cómo incluso un AGI que es «solo» tan inteligente como un humano puede llevar a la ruina. Por ejemplo, si una IA puede hacer el trabajo de un ingeniero moderno o un comerciante cuántico, un laboratorio con millones de IA de este tipo podría acumular rápidamente miles de millones, si no billones, de dólares, usar ese dinero para sobornar a personas escépticas y, bueno, el resto es un terminador Película.

Descubrí que la seguridad de la IA es un tema excepcionalmente difícil sobre el que escribir. Párrafos como el anterior a menudo sirven como pruebas de Rorschach, tanto porque el extenso estilo de escritura de Yudkowsky es… polarizante, por decir lo menos, como porque nuestras intuiciones sobre cuán plausible es tal resultado varían ampliamente.

Algunas personas leen escenarios como el anterior y piensan: «Eh, supongo que podría imaginarme una pieza de software de IA haciendo eso»; otros lo leen, toman una pieza ridícula de ciencia ficción y corren hacia el otro lado.

También es un área muy técnica en la que no confío en mis propios instintos debido a mi falta de experiencia. Hay investigadores de IA bastante eminentes como Ilya Sutskever o Stuart Russell que piensan que la inteligencia artificial general es probable y probablemente peligrosa para la civilización humana.

Hay otros, como Yann LeCun, que están tratando activamente de construir IA a nivel humano porque creen que será beneficioso, y otros, como Gary Marcus, que son muy escépticos de que AGI llegue pronto.

no se quien tiene razon Pero sé un poco sobre cómo hablarle al público sobre temas complejos, y creo que el incidente de Lemoine es una lección valiosa para los Yudkowsky y los Karnofsky del mundo que están tratando de argumentar del lado del «no, eso es realmente malo»: No trates a la IA como un agente.

Aunque la IA es «solo una herramienta», es una herramienta increíblemente peligrosa

Una cosa que sugiere la reacción a la historia de Lemoine es que el público en general encuentra la idea de la IA como un actor que puede tomar decisiones (tal vez conscientemente, tal vez no) completamente loca y ridícula. El artículo se presentó en gran medida no como un ejemplo de lo cerca que estamos de AGI, sino como un ejemplo de ello. lo malditamente extraño que es Silicon Valley (o al menos Lemoine).

El mismo problema surge, me he dado cuenta, cuando trato de alegar la preocupación sobre AGI a amigos no convencidos. Si dice cosas como: «La IA decidirá sobornar a los humanos para poder sobrevivir», se desanimarán. Las IA no deciden, reaccionan. Hacen lo que la gente les dice. ¿Por qué estás humanizando esto? cosa?

Lo que es convincente es la discusión sobre las consecuencias de los sistemas. Entonces, en lugar de decir: «La IA comenzará a acumular recursos para mantenerse con vida», diré algo como: «La IA ha reemplazado fundamentalmente a los humanos cuando se trata de recomendar música y películas». Han reemplazado a los humanos en la toma de decisiones sobre fianzas. Van a asumir tareas cada vez más grandes, y Google, Facebook y los demás operadores no están ni remotamente dispuestos a analizar los sutiles errores que están a punto de cometer, las sutiles desviaciones de los deseos humanos. Estos errores crecerán y crecerán hasta que un día podrían matarnos a todos”.

Así defendió mi colega Kelsey Piper la preocupación por la IA, y es un buen argumento. En términos simples, ese es un mejor argumento que hablar de servidores que acumulan billones en riqueza sobornando a un ejército de personas.

Y es un argumento que creo que puede ayudar a cerrar la desafortunada división que se abrió entre la comunidad de sesgos de IA y la comunidad de riesgo existencial de IA. Creo que estas comunidades básicamente están tratando de hacer lo mismo: construir IA que refleje las necesidades humanas auténticas, no una mala aproximación de las necesidades humanas creadas para ganancias corporativas a corto plazo. Y la investigación en un área puede ayudar a la investigación en la otra; Por ejemplo, el trabajo del investigador de seguridad de IA Paul Christiano tiene importantes implicaciones para la evaluación de sesgos en los sistemas de aprendizaje automático.

Pero con demasiada frecuencia las comunidades están en la garganta de los demásen parte debido a la percepción de que están peleando por recursos escasos.

Esta es una gran oportunidad perdida. Y es un problema que creo que las personas del lado del riesgo de la IA (incluidos algunos lectores de este boletín) tienen la oportunidad de rectificar haciendo estas conexiones y aclarando que la alineación es un problema tanto a corto como a largo plazo. Algunas personas hacen que este caso sea brillante. Pero yo quiero más.

Una versión de esta historia se publicó originalmente en Future Perfect Newsletter. Regístrate aquí para suscribirte!



DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

uno × uno =