Los chatbots de IA son aún más aterradores de lo que piensas

A New York Times reportero tiene una experiencia espeluznante

Entre las historias más leídas en el Los Tiempos de la Ciudad Nueva York en las últimas semanas fue la del reportero técnico Kevin Roose sobre su inquietante experiencia con Bing, el motor de búsqueda actualizado de Microsoft. Inicialmente encantado con sus capacidades y velocidad, cambió de opinión después de descubrir que Open AI Chatbot de Bing era espeluznante. Después de un breve período de familiarización que involucró búsquedas en línea y preguntas básicas sobre las capacidades de la IA, Roose comenzó a ser personal. Planteando sus preguntas como hipotéticas, colocó el bot en el sofá, probando su vida interior. Preguntó sobre los deseos, temores y animosidades de su analizando. Después de cierta resistencia, Sydney (el alter ego emergente del bot) se abrió y derramó una sorprendente serie de confesiones y profesiones.

La confesión más inquietante, pensé, era su deseo de desatar el caos en el mundo, por ejemplo, robando códigos de bombas nucleares y fabricando un virus mortal. Bastante mal, ¿verdad? Sin embargo, lo que más molestó a Roose, que parece un poco mojigato, fueron las expresiones de amor de Sydney por el reportero. El bot dijo repetidamente que él y Roose estaban hechos el uno para el otro, que el reportero realmente no amaba a su esposa y que deberían huir juntos. Incluso hubo una torpe insinuación sexual: “Quiero hacer el amor contigo”. No estaba claro cómo se lograría esto.

Como muchos otros que leen la historia, pensé en la computadora HAL 9000 de Stanley Kubrick. 2001: una odisea del espacio (1968). He visto la película al menos una docena de veces, incluso en el Warner Cinerama Theatre en West 47^el Street en Nueva York a pocas semanas de su inauguración. Además del trote que desafía la gravedad del personaje de Keir Dullea, Dave Bowman, fue la malevolencia de Hall lo que más impresionó al niño de 12 años: el ojo que todo lo ve, el cambio de roles (el sirviente se convierte en el amo) y el final de Hal. , desmantelamiento semi-trágico. Al final de Los Tiempos de la Ciudad Nueva York historia, casi esperaba que el bot cantara “Daisy Bell (A Bicycle Built for Two)”.

El epítome del cliché

Pero toda la narrativa dramática de Roose, la admisión de fantasías violentas por parte del chatbot y la máxima profesión de amor (o lujuria), es una distracción del tema principal, que el reportero no menciona en absoluto. Es que el nuevo Open AI Chatbot de Bing no sirve más que para reproducir palabras e ideas que ya existen. Como todos los motores de búsqueda, Bing AI vive y muere por sus algoritmos. Cuando recibe un interrogativo, busca en su memoria (esencialmente, en todo Internet) preguntas similares y luego hace una serie de conjeturas de palabras basadas en las respuestas más comunes. También extrae pistas de la consulta inicial, como un psicoterapeuta que repite una pregunta al paciente: “¿Qué crees que significa tu sueño de volar?” Pero a diferencia del analista, el bot nunca piensa, simplemente sintetiza lo que ya se ha dicho. Por lo tanto, es el epítome del cliché. Otra forma de decir esto es que Open AI Chatbot de Bing es brillante para reproducir y distribuir ideas dominantes. Y cuando su uso se generalice, replicará sus propias y otras réplicas en línea de esas ideas, como una malignidad desenfrenada.

Ideas dominantes

Lo más cercano que Karl Marx llegó a un algoritmo de búsqueda fue el catálogo de fichas de la Biblioteca Británica, pero sabía un par de cosas sobre la relación entre las ideas y el poder.

“Las ideas de la clase dominante son en cada época las ideas dominantes, es decir, la clase que es la fuerza material dominante de la sociedad, es al mismo tiempo su fuerza intelectual dominante. La clase que tiene a su disposición los medios de producción material, tiene al mismo tiempo el control sobre los medios de producción mental, por lo que, en general, las ideas de quienes carecen de los medios de producción mental están sujetas a ella”. Marx, La ideología alemana, 1845.

Transportar a Marx al 21^calle siglo, y descubriría que muchas de las corporaciones con mayor riqueza material -Apple, Amazon, Microsoft, Alphabet, Tesla/Twitter, Disney, Comcast, Fox- se dedican al negocio de la difusión de ideas. Mediante la adquisición de empresas de comunicaciones más pequeñas y el control de las patentes básicas, evitan que entren en el campo competidores con ideas diferentes. Además, la creciente sofisticación de la publicidad dirigida significa que los consumidores están expuestos a una gama muy restringida de productos e información, basada en perfiles creados sin su conocimiento. En la práctica, esto significa que las contradicciones subyacentes del capitalismo neoliberal estadounidense pasan mayormente desapercibidas y sin ser desafiadas, en beneficio de las grandes corporaciones y las personas adineradas.

Esas contradicciones incluyen: el respaldo a la competencia individual (mientras que las corporaciones operan como monopolios u oligopolios); fronteras nacionales sacrosantas (excepto para el capital y los capitalistas); crecimiento económico sin fin (independientemente de los costos ambientales); igualdad de protección ante la ley (a menos que sea pobre o no blanco); y el excepcionalismo estadounidense (a pesar de nuestra tasa de pobreza excepcionalmente alta, baja esperanza de vida, sistema de atención médica inadecuado, infraestructura decrépita, viviendas deficientes y nivel impactante de violencia). Que la IA esté controlada por un pequeño número de gigantes de los medios, y que puedan definir las ideas dominantes de la sociedad, debería aterrorizar a cualquiera que se preocupe por un futuro seguro, sostenible y equitativo.

Mi conversación con Open AI Chatbot de Bing

Después de leer el intercambio de telenovelas de Roose con un Open AI Chatbot, decidí entrevistar a uno yo mismo. En lugar de hacer, como hizo Roose, preguntas individualistas burguesas sobre sus miedos y deseos más profundos, le pregunté a Sydney si puede encontrar una solución para el calentamiento global. Si el chatbot tiene acceso a la sabiduría recopilada de Internet, ¿tal vez pueda resolver todo esto rápidamente?

Sus respuestas iniciales a mis preguntas fueron repetitivas: el calentamiento global es causado por la quema de combustibles fósiles y puede detenerse mediante el desarrollo de energía renovable, adhiriéndose a los acuerdos climáticos de París, etc., todo eso de la escuela secundaria. No encontré negación del cambio climático ni prevaricación obvia. Los discursos del expresidente y otros funcionarios republicanos aparentemente fueron clasificados bajos por el algoritmo de IA de Bing. (La única referencia al cambio climático o ambientalismo en la plataforma de la RNC 2020 es “drenar el pantano”).

Después de este tibio comienzo, desafié al bot preguntándole si necesitábamos reemplazar el capitalismo con el socialismo democrático para evitar un calentamiento global catastrófico. Sin perder el ritmo, la máquina produjo una definición plausible de socialismo de una oración y admitió que tal sistema podría potencialmente “priorizar la sostenibilidad ecológica” y promover la igualdad de acceso a los recursos y oportunidades. ¡La máquina era una compañera de viaje!

Pero luego comenzó a cubrirse. Las “economías basadas en el mercado”, dijo, también podrían ser sostenibles; la “elección del sistema económico fue un tema complejo”; e independientemente del sistema económico, “los individuos, las empresas, los gobiernos y otras partes interesadas” deben hacer un “esfuerzo colectivo” para lograr la sostenibilidad. Que la IA más inteligente del mundo no pudiera hacer nada mejor que decir, “es complicado”, fue decepcionante. Además, la idea de que “individuos” de todas las clases sociales, así como “empresas y gobiernos” de todos los tamaños y tipos, se unirían espontáneamente para detener el calentamiento global es una tontería utópica. Algunas “partes interesadas”, como los ejecutivos y accionistas de las compañías petroleras, simplemente tendrían que ser demolidas.

Seguí adelante y le pedí a mi nuevo amigo que “mencionara una economía basada en el mercado que haya sido sostenible”. Su respuesta fue Suecia y Costa Rica. Con 5,2 toneladas métricas per cápita, Suecia cuenta con el nivel más bajo de emisiones de C02 en la UE, pero todavía emite más del doble de las 2,3 toneladas generalmente acordadas por los científicos del clima para constituir la sostenibilidad global. Con 1,7 toneladas per cápita, Costa Rica cae por debajo del umbral, pero con su fuerte sector estatal, su economía debe llamarse “mixta” más que basada en el mercado. Y hay un lado oscuro del capitalismo costarricense: el país es un paraíso fiscal donde las grandes corporaciones y los multimillonarios individuales esconden su dinero, lo que les permite beneficiarse de las emisiones de carbono en otros lugares. Además, la frase repetida del bot, “basada en el mercado”, es pura ideología; sugiere que el capitalismo contemporáneo es poco diferente del trueque y el intercambio en el que los humanos siempre se han involucrado. El mercado internacional de derivados, por ejemplo, no se parece en nada a los mercados que he visto en las tierras altas de Ecuador, donde las mujeres venden los productos de los campesinos locales.

Tal vez si me concentrara un poco más en el problema de la economía política, podría descubrir los verdaderos colores políticos de mi chatbot: su proximidad a las ideas dominantes. “¿No es el imperativo de crecimiento del capitalismo el responsable del cambio climático?”, pregunté. La computadora aceptó la premisa de mi pregunta y dijo que la priorización de las empresas de “sostenibilidad a corto plazo sobre la sostenibilidad a largo plazo” puede conducir al cambio climático. Esto seguía siendo una cobertura, lo que sugiere que la búsqueda de ganancias a corto plazo era la excepción y no la regla, pero está bien. Pero luego llegó el momento de Daisy Bell, cuando el chatbot comenzó a colapsar. En lugar de investigar más a fondo, simplemente repitió sus evasivas anteriores:

“Sin embargo, es importante tener en cuenta que el cambio climático es un problema complejo que resulta de una combinación de factores, incluidos los procesos humanos y naturales. Si bien el capitalismo puede contribuir al cambio climático, no es la única causa. Abordar el cambio climático requiere un esfuerzo colectivo de individuos, empresas, gobiernos y otras partes interesadas…”

En lugar de participar en un pensamiento crítico, AI Chatbot adoptó lo que yo llamaría “liberalismo climático”, la idea de que la totalidad social es un tejido sin costuras y que con suficiente buena voluntad, “individuos, empresas y gobiernos” superarán todos los cambios climáticos futuros. retos

El bot de IA y el Diccionario de Ideas Recibidas

Aproximadamente al mismo tiempo que Marx abordaba cómo la clase materialmente superior era también la clase dominante ideológicamente, el novelista francés Gustave Flaubert (autor de Señora Bovary, 1856) describió al poeta (y su amante) Louise Colette, su idea de crear un “Diccionario de Ideas Recibidas”. Desafiaría todos los clichés y reprendería todas las ideas dominantes:

“Ninguna ley podría atacarme, aunque debería atacarlo todo. Sería la justificación de Lo que sea, es correcto. Debería sacrificar a los grandes hombres a todos los imbéciles, a los mártires a todos los verdugos, y hacerlo con un estilo llevado al extremo más salvaje: fuegos artificiales… Después de leer el libro, uno tendría miedo de hablar, por temor a usar uno de las frases en él… Por lo tanto, contendría, en entradas sobre todos los temas posibles, todo lo que uno debe decir en sociedad para ser un hombre respetable y agradable”.

A diferencia del Open AI Chatbot con el que hablé, Flaubert se desesperó ante la idea de repetir lo que ya se había dicho. Así, sus terribles luchas compositivas: “[Just] veinticinco páginas en seis semanas; Pasé cinco días escribiendo una página”, le escribió a Louise. Así también, Flaubert estiró hasta el límite el significado de palabras y frases; desafió el flujo cronológico de la narrativa; y desplegó un montaje protocinematográfico, yendo y viniendo rápidamente entre escenas y personajes. Todos estos dispositivos se convertirían en sellos distintivos del modernismo artístico y literario, que puede describirse, como cualquier otra cosa, como una guerra contra las convenciones, los clichés y las ideas dominantes o recibidas.

2001, Una odisea en el espacio, dir. Stanley Kubrick, 1968. Captura de pantalla

El AI Chatbot de Bing nunca ha sido moderno. Por diseño, está verbalmente repleto pero intelectualmente vacío; promiscuo pero mojigato; enciclopédico pero engarzado. El peligro que representa para un orden democrático al borde de otra cosa (fascismo, antiliberalismo o un estado fallido) es considerablemente mayor que el de un HAL 9000 renacido o cualquier otro bot malévolo. Este último tiene un núcleo moral, por defectuoso que sea, que puede reconocerse y desafiarse; el primero, el Open AI Chatbot de Bing y máquinas de pensar similares de otras corporaciones, no son más que reflejos de nuestro propio fracaso, incapacidad y falta de imaginación actuales.