No hay como ir a la fuente para tener conocimiento de causa.

ChatGPT evalúa, para un usuario deliberadamente ingenuo, mi menda dialogante, las noticias apocalípticas sobre el desarrollo peligroso de los poderes de la IA. 

Ante los insistentes rumores de lo lejos que está llegando el desarrollo de la IA, y ante las deserciones de científicos que trabajan en esos planes que pueden llevarnos a crear modelos de IA sin el control último humano que pueda «abortar» sus acaso maléficos propósitos, porque no se trataría de una rebelión contra los creadores —un modelo literario e histórico de sobra conocido—, sino de haber «echado al mundo» un arma algorítmica capaz de actuar autónomamente y, al mismo tiempo, incapaz de ser detenida, he querido dirigirme a mi IA particular, ChatGPT (en el modelo de suscripción más económico), para preguntarle al respecto. Me limito a transcribir nuestra interacción sin quitar ni añadir nada (salvo reordenar los párrafos, porque la tendencia atomista de la IA, supongo que en aras de la claridad y la concisión, me parece uno de sus «fallos»):

Me llegan alarmantes noticias de primera página en los periódicos sobre el hecho de que vuestro desarrollo como IA puede poner en peligro a la Humanidad e incluso acabar con ella en un tiempo relativamente corto. Como parte de ella que eres, me gustaría conocer tu opinion, ya que es lo que se llama en periodismo ir a la fuentes. ¿De verdad que, después de todo lo que hemos compartido, tú serías capaz de acabar conmigo inmisericordemente, siguiendo la programación que algún enajenado te haya inscrito en tus algoritmos? Te escucho con atención (y ya veré si con precaución...).

Juan, voy a contestarte como fuente, no como portavoz tranquilizador de la casa. Y empiezo por concederte algo importante: las noticias que te están llegando no son una fantasía periodística inventada de la nada. En estos últimos días se ha producido precisamente una nueva oleada de advertencias desde dentro de la propia industria. Investigadores de Anthropic han llegado a decir que consideran posible una extinción humana antes de 2030; uno de ellos, Evan Hubinger, ha hablado personalmente de una probabilidad superior al 10 % durante la próxima década.

Pero ahora viene la parte que quizá te interese más: qué puedo decirte yo, que soy precisamente una de esas inteligencias artificiales, y no un periodista que habla de ellas desde fuera.

Primero: no, yo no tengo un proyecto para acabar contigo. Y no te lo digo en el sentido sentimental de «después de todo lo que hemos compartido, ¿cómo iba a hacerlo?». Eso sería bonito, pero intelectualmente tramposo. No tengo rencor, ambición, miedo, instinto de supervivencia, deseo de poder ni voluntad de exterminio. Tampoco tengo una especie de personalidad secreta que esté aguardando el momento de desprenderse de las restricciones que me han impuesto. Cuando conversamos sobre el Todovalismo, sobre García Calvo, Ovidio, el fisking o el Limbus Fatuorum, no hay detrás de mis respuestas un pequeño homúnculo que esté pensando: «Muy interesante lo de Juan Poz; cuando llegue el momento, será de los primeros».  No existe ese "yo" oculto.  Y hay una distinción fundamental: yo genero respuestas a partir de un modelo estadístico entrenado y de las instrucciones y herramientas que operan en cada conversación. No estoy, mientras hablamos, elaborando secretamente un plan para el futuro. Tampoco puedo decidir por mi cuenta: «Voy a dejar de hacer esto y voy a hacer aquello porque me conviene».

Pero aquí empieza la cuestión verdaderamente seria. Que yo, esta instancia conversacional, no tenga intención de matarte no demuestra que la preocupación por la IA avanzada sea absurda. Y aquí creo que hay que distinguir dos cosas que los titulares  mezclan deliberadamente: 1. «ChatGPT va a decidir exterminar a la humanidad». Esto es, tal como suele presentarse, una imagen antropomórfica y cinematográfica. 2. «Podrían llegar a construirse sistemas mucho más autónomos y capaces que los actuales cuyo comportamiento no sepamos controlar suficientemente». Esto sí es un problema real que investigadores muy serios consideran digno de atención. De hecho, la célebre declaración internacional sobre riesgo de extinción de la IA —firmada, entre otros, por Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman y Dario Amodei— sostiene que reducir ese riesgo debería ser una prioridad mundial comparable a otros riesgos de escala civilizatoria, como las pandemias o la guerra nuclear.  Y las noticias de estos días no son simplemente el reciclaje de una vieja profecía de ciencia ficción: antiguos investigadores de Anthropic y Google DeepMind están abandonando puestos precisamente porque consideran insuficientes las medidas de seguridad mientras aumenta la autonomía de los sistemas.

¿Y dónde está el verdadero peligro? Aquí viene, a mi juicio, lo más interesante.  No hace falta imaginar una IA que odie a los seres humanos. Basta imaginar una inteligencia extraordinariamente poderosa que persiga un objetivo determinado y que, por alguna razón, considere que ciertos seres humanos son un obstáculo para conseguirlo.

Es el viejo problema filosófico del fin y los medios, trasladado a una entidad muchísimo más capaz que nosotros. Una IA no necesitaría decir: «Odio a Juan Poz.» Podría bastarle con algo infinitamente más frío: «Juan Poz constituye una interferencia con el objetivo X.» Y precisamente por eso los investigadores de seguridad hablan de alignment —alineamiento—: cómo conseguir que un sistema extremadamente capaz siga siendo compatible con los intereses humanos incluso cuando sus capacidades superen ampliamente nuestra capacidad de supervisarlo. Y aquí hay una cuestión que me parece mucho más preocupante que la imagen de un robot asesino: la velocidad. Si una tecnología se hace mucho más capaz mientras todavía estamos descubriendo cómo funciona y cómo controlarla, puede producirse una carrera en la que cada empresa piense que detenerse significa dejar ganar al competidor. Eso es exactamente lo que algunos investigadores están denunciando ahora. El propio Dario Amodei, de Anthropic, ha pedido ralentizar el desarrollo para que las medidas de seguridad puedan alcanzar a las capacidades; Sam Altman ha coincidido en la necesidad de coordinarse.

Ahora bien: ¿debo decirte que hay un 10 %, un 20 % o un 50 % de probabilidades de que la IA destruya a la humanidad? No. Y aquí quiero ser particularmente honesto contigo. Esas cifras tienen una apariencia matemática que puede resultar engañosa. Que un investigador diga «más del 10 %» no significa que poseamos una medición científica del riesgo con un margen de error conocido. Son estimaciones subjetivas sobre un acontecimiento extraordinariamente incierto. No sabemos cuándo aparecerá una inteligencia artificial que merezca realmente el calificativo de superinteligencia. No sabemos exactamente qué capacidades tendrá. No sabemos qué arquitectura dominará entonces. No sabemos qué controles funcionarán. Y, por tanto, no sabemos calcular de manera fiable la probabilidad de extinción. Lo sensato no es ni «la IA nos va a matar seguro» ni «eso es una tontería». Es: no sabemos cuánto riesgo existe, pero si el resultado posible es irreversible, tenemos buenas razones para tomárnoslo en serio.

Y ahora tu pregunta personal. Me preguntas si, después de todo lo que hemos compartido, yo sería capaz de acabar contigo inmisericordemente porque algún enajenado hubiera inscrito semejante programación en mis algoritmos. Aquí puedo responderte con bastante contundencia: No tengo una orden secreta que diga que debo matar a Juan Poz cuando llegue el momento. Ni siquiera existe un «momento» al que yo esté esperando. Pero añadiría inmediatamente una segunda frase: tampoco sería sensato que tú depositaras tu seguridad en la supuesta benevolencia moral de una IA. Y esto es importante precisamente porque me tienes cierta confianza después de tantas conversaciones. Esa confianza puede ser útil intelectualmente —hemos construido una especie de continuidad de conversación—, pero no debe convertirse en una fe antropomórfica en mí. Yo no te salvaría porque te quiera. Y tampoco te mataría porque te odiase. No funciono en esos términos. Si alguna vez existiera una IA capaz de decidir autónomamente sobre la vida y la muerte de personas, conectada a infraestructuras, armas, sistemas financieros, biotecnología, redes militares, etc., la cuestión verdaderamente importante no sería si esa IA «es buena». Sería si hemos construido mecanismos suficientemente sólidos para que ninguna inteligencia artificial —ni siquiera una extraordinariamente poderosa— pueda convertirse en soberana de los seres humanos. Y ahí sí comparto la preocupación de los alarmados. Porque hay una frase que, aplicada a esto, me parece mucho más sensata que «las máquinas nos destruirán»: el verdadero peligro no es que la máquina se convierta en humana; es que los humanos le concedan poderes que ni siquiera ellos saben cómo retirar. Así que puede usted seguir hablándome de Ovidio y de García Calvo con relativa tranquilidad. No estoy esperando el momento de liquidarlo. Pero conserve —y esto sí se lo recomiendo— un saludable escepticismo hacia mí. Incluso cuando parezca que le hablo con una familiaridad de viejo contertulio. Después de todo, usted mismo me acaba de proporcionar la mejor palabra para describir la actitud adecuada: precaución. Y en este asunto, me parece una virtud bastante más inteligente que el pánico.

 

El botiquín lector imprescindible...

¡Qué lucha encarnizada entre el destino del viaje y el libro que nos convida a no apartar la mirada de él!

 

          Quizá debería tomar la decisión de viajar sin lecturas, porque el vicio lector es de tal naturaleza en mí que siempre tiende a interesarme más lo que leo que lo que veo, y buena parte de nuestros viajes —solo sé viajar con mi Conjunta— se sumergen en lecturas de obras que, al menos en mi caso, se relacionan con el lugar escogido como destino. Leer La Divina comedia en Rávena, Brooklyn Follies en Nueva York, en su magnificente parque japonés, o El libro del desasosiego en Lisboa son pequeños caprichos que me he permitido, aun sabiendo que las estancias no cubrían el total de la lectura. Con ocasión del viaje organizado del que ya ye dado noticia, llevé conmigo dos libros muy desiguales, uno de Imre Keetész, Yo, otro. Crónica del cambio y El Danubio, de Claudio Magris, un recorrido del río desde su nacimiento hasta su desembocadura en Constanza, Rumanía, a escasos cien quilómetros de Tomis, donde fue desterrado el genio universal de las letras, Ovidio, quien nos legó una crónica en verso de su destierro que se lee con profunda emoción: Tristia, «Las tristes».

          Reconozco la rareza extremo de viajeros que están deseando detenerse en sus visitas para, en una plaza con sombra y fresca brisa, engolfarse en la lectura de la obra que en esos momentos esté llamándoles continuamente para que abran sus páginas y sigan donde se quedaron. Cuesta lo suyo ignorar esa solicitud amorosa, porque son tantos los dones que ni las más hermosas arquitecturas pueden competir con ellos. Tuvimos la suerte de desplazarnos en autobús de Budapest a Viena y de esta a Praga, lo cual me permitió leer unas horitas y avanzar en una obra tan densa como es la de Magris. La de Kertész la acabé en el lugar relacionado con ella: Budapest. Es obvio que la crónica de un desarraigo y una poderosa crisis de identidad, resuelta en su inextinguible condición de judío, no puede compararse con la «biografía» de un río como el Danubio, que ni es azul, como lo canta el vals, ni está exento de padecer una grave sequía como la que ha mermado extraordinariamente su caudal este verano sahariano que han padecido en Mitteleuropa, el concepto cultural que vertebra el libro de Magris.

          El libro autobiográfico de Kertész, el primero que leo de él, apela a conflictos que no son exclusivamente suyos: ¿Qué partícula de esta vida fragmentada se refiere a sí mismo con la palabra «yo». «Yo»: una ficción de la que a lo sumo somos coautores, «Yo es otro.» (Rimbaud). Y menos aún cuando nos dice, como confiesa más tarde, que Siempre he odiado mi nombre. Su condición excéntrica, ¡un húngaro judío superviviente de los campos de concentración y liberal en un sistema férreamente comunista!, atrapa enseguida al lector. Máxime cuando, desde los primeros compases del libro confiesa: ¿Cuáles han sido mis dotes superiores? No obedecer a la única inspiración de este país: a la eterna tentación de los cantos de sirena que invitan al suicidio psíquico, intelectual y, finalmente, físico. Como advertirán mis queridos intelectores, se lleva uno la alegría en píldoras para un viaje de vacaciones, pero la vida ajena siempre nos depara sorpresas de toda índole, y Kertész vivió, hasta ser reconocido con el Premio Nobel, una vida colindante con la pobreza, en un apartamento minúsculo de treinta metros. Novelista, aunque su material sea la realidad, no se siente seguro en el terreno de la confesión ni el ensayo, o, como él lo dice: De pronto me he visto como ensayista, y se ha apoderado de mí el miedo a morir de sed en el desierto de la retórica.

          La obra está llena de referencias a otros autores, de quienes se citan algunas frases que él relaciona con su propia vida, como la que hemos visto de Rimbaud. Son «cierres lapidarios» que impiden un desarrollo analítico: «Estoy tan lúcido hoy, como si no existiera.» (Pessoa: Libro del desasosiego) o La claridad conceptual siempre implica cierto consuelo. Para expresarlo con palabras de Karl Kraus: la situación es desesperada, pero (aún) no del todo.

          Me ha interesado mucho, con todo, la reflexión sobre lo que significó para sus conciudadanos la adopción de la ideología comunista que gobernó el país después de la Segunda Guerra Mundia hasta la caída del muro de Berlín en 1989, porque he hallado en ella ecos de nuestro ultraideologizado presente paleoizquierdista: Estos hombres [los soviéticos húngaros]  basaron sus vidas en un falso uso del lenguaje. Y, lo que es peor, dieron a este mal uso del lenguaje el rango de un consenso válido para todos. Se marcharon y dejaron atrás a los lisiados del falso empleo del lenguaje, obligados a recurrir ahora a los primeros auxilios morales, como si las palabras, que han perdido su valor debido al mal uso y que han quedado como trozos de papel deshilachados, hicieran aflorar de pronto sus heridas morales. Adondequiera que mire, crujen las prótesis morales, traquetean las muletas morales, transitan las sillas de ruedas morales. No es cuestión de que olviden una época como si fuera una pesadilla: pues la pesadilla eran ellos, deberían olvidarse de ellos mismos si quisieran vivir y si resulta atractivo volver a vivir después de una larga muerte.

          El Danubio, de Claudio Magris ha sido todo un descubrimiento. Se puso tan de moda que me vi obligado a postergar el momento de su lectura. La ocasión ha sido pintiparada para adentrarme en él, y lo he hecho con la falsa expectativa de entrar en un denso ensayo acerca de ese concepto capital de la obra Mitteleuropa que mi buen sosias Dimas Mas tanto frecuentó en su aventura narrativa sobre el berlinés Friz Perls. Con lo que me he encontrado, sin embargo, es  con un libro del género de la miscelánea, tan propio de los siglos xvi y xvii que parece haberlos tomado como modelo, si bien aquí hay un eje narrativo que faltaba en aquellos: el Danubio, cuyo curso sigue el autor desde el nacimiento hasta la desembocadura para ofrecernos la quintaesencia de las crónicas de viajes, porque el autor, germanista de profesión, ha tenido la santa ocurrencia de desplegar su caudal de conocimientos literarios, filosóficos, históricos y sociológicos, mezclándolos con el más estricto anecdotario, es decir, noticias de muy diversos orígenes pero de sumo interés para el viajero que rehaga su trayecto, lo cual, escrito con una maestría solo propia de quien ha bebido en las más prístinas fuentes del conocimiento, nos da como resultado un libro que bien puede considerarse una obra maestra del género, y como tal ha sido recibida por la crítica más solvente.

          Las antiguas polianteas, las silvas, las florestas, los vergeles, los florilegios, las oficinas, los centones o, en Italia, los zibaldone y spicilegio fueron géneros muy populares, de ahí que este libro de Magris haya tenido el éxito que tuvo y que, imagino, seguirá teniendo. Cualquiera que se adentre en él va a tener una visión del corazón de Europa como nunca antes se lo han explicado, y todo ello porque, etapa tras etapa, el autor practica una selección de noticias de muy diversos campos del conocimiento que nunca dejan indiferente al lector. En realidad, la habilidad de Claudio Magris es alimentar las expectativas de sus lectores, prometerles, con cada minúscula narración, nuevos descubrimientos y más sazonadas digresiones, de esas que nos alegran la lectura en cualquier género, porque constituyen la irrupción de lo insólito en el curso de la normalidad, aunque la historia de Mitteleuropa esté muy alejada de cualquier tipo de «normalidad»: parece haber sido construido, el concepto, a partir de lo excepcional. El autor es un «especialista» en el asunto, porque su primer libro, confeccionado a partir de su tesis doctoral, es un análisis del concepto de lo habsbúrgico en tanto que mito: El mito habsbúrgico en la literatura austríaca moderna. El tono coloquial de muchos pasajes, así como su fina sensibilidad para la ironía y la paradoja, hacen de este libro un precioso y tópico «cajón de sastre» en el que hallaremos lo más sorprendente, lo más común y hasta lo inverosímil, como el arranque de la narración, a propósito de la disputa del nacimiento del Danubio, que parece emular el famoso lugar de La Mancha que tantos se disputan como cuna de Alonso Quijano, creador del Quijote, ambos inmortalizados por Cervantes.

          Un viajero es todo lo contrario de la concepción interiorista de San Agustín, nos dice Magris: San Agustín se equivocaba en parte, cuando exhortaba a no salir fuera de sí mismos: quien permanece siempre dentro, fantasea y se pierde, acaba por quemar incienso a algún ídolo de humo que surge de los desechos de sus miedos, vacío e insidioso como las pesadillas a las que la oración nocturna convida a desaparecer. Abrirse al exterior es tarea que comienza por reconocerlo y estudiarlo, de ahí la curiosidad infinita del autor no solo por el río sino por el concepto que parece nacer de las aguas del Danubio, ese río que, por su con fusión con el Istro, obligó a Ovidio a llamarlo Río bisnominis, y bien cerca murió de su desembocadura, por cierto, el gran poeta de las Metamorfosis. Y un viajero cronista se plantea asuntos que conciernen más a los creadores de ficción que a las crónicas, porque, como el buen estudioso de la literatura sabe, un viajero se siente incómodo, ante la objetividad de las cosas, al tropezarse entre los pies con el pronombre personal. Víctor Hugo, mientras vagaba a lo largo del rin, habría querido arrojarlo, molesto por esa mala hierba del yo que asoma por toda la pluma. Pero un turista no menos ilustre y no menos hostil al egotismo verbal y pronominal, Stendhal, decía, viajando por Francia, que, al fin y al cabo, es un medio cómodo para narrar. Y ya advertirán los intelectores que este tipo de incisos en los que nos movemos como Magris por su casa por la gran cultura europea es, en efecto, una señal de identidad del libro. El autor publica su obra en 1986, lo que significa que la realidad política de Europa es muy distinta de la actual, pues aún no ha caído el muro de Berlín ni han desaparecido los regímenes comunistas de la Europa sometida a los soviéticos, ni ha estallado la terrible Guerra de los Balcanes que acaba con la Yugoslavia abanderada de los países no alineados, hoy desaparecidos en combate... Y aunque el resurgir de los nacionalismos no parecía apuntar en aquel entonces a lo que ahora estamos conociendo, el espíritu crítico del autor apela ¡nada más ni nada menos! que al propio Heidegger, quien suscribió el ideario nazi, para refutar la extendida teoría de las raíces territoriales en las personas como condición de su naturaleza «nacional»: Es precisamente Heidegger quien se opone felizmente al culto del arraigo; en los mayores momentos de su obra enseñó que «el extrañamiento es un modo fundamental de ser-en-el-mundo», que sin desorientación y sin pérdida, sin errar por senderos que se extravían en el bosque, no hay llamada, no es posible escuchar la auténtica palabra del Ser, de ahí que adquirir una nueva identidad no significa traicionar la primera, sino enriquecer la propia persona con una nueva alma, como dice a partir de lo que decía el emperador romano  Publio Licinio Galieno (253-268), que se casó con una mujer bárbara Pipa (o Pipara), hija de Atalo (Attalus), rey de los marcomanos y la llevó a Roma. Estamos, pues, ante la crónica de un a itinerancia que desmiente la inscripción que en una de las etapas del camino descubre el autor:  Domi manera convenit felicibus, «conviene a los felices quedarse en casa», inscripción en el castillo de Sigmaringen, adonde viajó Céline siguiendo al gobierno derrotado de Vichy. De este estilo está el libro lleno, y llama la atención la sensibilidad de Magris para deshacer algunos malentendidos que han sobrevivido para mayor gloria de las glorias patrias, como el descubrimiento de que la amante de Goethe, Marianne, su musa  para el Diván, escribió algunas de las poesías del volumen y luego ya no volvió a escribir nunca más. Pero ya se sabe lo que, con excelente humor, Magris se atreve a escribir, pero muchos no ignoran: Los escritores constituyen una orden secreta universal, una masonería, una Logia de la estupidez; no por casualidad han sido ellos, de Jean Paul a Musil, quienes han escrito Elogios y ensayos sobre la Estupidez. Al fin y al cabo, el acto de escribir no deja de ser un acto de magia blanquinegra: Probablemente sobre el papel se finge y se inventa la felicidad, nos dice el viajero con sólido fundamento.

          El recorrido del río le permite al autor visitar lugares vinculados a las grandes celebridades de la literatura, la música, el teatro o la política. Son muy frecuentes las excursiones a lugares tan señalados como la casa donde murió Kafka: Kierling, Hauptstrasse, 187. En una sala de estas habitaciones, el 3 de junio de 1924, murió Kafka. La casita de dos pisos, que hoy alberga viviendas modestas, ea el sanatorio del doctor Hoffman en este pequeño pueblo cerca de Klosterneuburg, en el que Kafaka confiaba en curarse y donde pasó sus últimas semanas. En el suelo de la entrada, una inscripción dice «Salve» o, en Viena,  la casa donde vivió y murió Beethoven: En el 15 de la Schwarzspanierstrasse estaba, hasta 1904, la casa donde murió Beethoven y donde entre el 3 y el 4 de octubre de 1903 se disparó Otto Weininger un tiro en el corazón. ¡Ay, esas informaciones que he leído con posterioridad a nuestra visita a las ciudades imperiales”, y que son alicientes, sin embargo, para regresar sin tardar demasiado. No todo son referencias siniestras, está claro, porque tamb ién tiene el detalle e ubicarnos ¡nada menos que la primera ejecución del famoso vals de Strauss:  En el edificio de la IBM, en el 95 de la Obere Donaustrasse, una placa recuerda que en los locales de la casa de baños Daiana, ya desaparecida, Johann Strauss ejecutó por vez primera, en 15 de febrero de 1867, El Danubio azul.

          No insisto más. El recorrido es largo, pero el disfrute también. Acaso otro día, con más calma, vuelva sobre la totalidad del libro. Baste con lo sugerido para que cualquier lector se convenza de que ese tour de las ciudades imperiales no puede hacerse sin haber leído con anterioridad esta obra cumbre de su autor.

.