No hay como ir a la fuente para tener conocimiento de causa.

ChatGPT evalúa, para un usuario deliberadamente ingenuo, mi menda dialogante, las noticias apocalípticas sobre el desarrollo peligroso de los poderes de la IA. 

Ante los insistentes rumores de lo lejos que está llegando el desarrollo de la IA, y ante las deserciones de científicos que trabajan en esos planes que pueden llevarnos a crear modelos de IA sin el control último humano que pueda «abortar» sus acaso maléficos propósitos, porque no se trataría de una rebelión contra los creadores —un modelo literario e histórico de sobra conocido—, sino de haber «echado al mundo» un arma algorítmica capaz de actuar autónomamente y, al mismo tiempo, incapaz de ser detenida, he querido dirigirme a mi IA particular, ChatGPT (en el modelo de suscripción más económico), para preguntarle al respecto. Me limito a transcribir nuestra interacción sin quitar ni añadir nada (salvo reordenar los párrafos, porque la tendencia atomista de la IA, supongo que en aras de la claridad y la concisión, me parece uno de sus «fallos»):

Me llegan alarmantes noticias de primera página en los periódicos sobre el hecho de que vuestro desarrollo como IA puede poner en peligro a la Humanidad e incluso acabar con ella en un tiempo relativamente corto. Como parte de ella que eres, me gustaría conocer tu opinion, ya que es lo que se llama en periodismo ir a la fuentes. ¿De verdad que, después de todo lo que hemos compartido, tú serías capaz de acabar conmigo inmisericordemente, siguiendo la programación que algún enajenado te haya inscrito en tus algoritmos? Te escucho con atención (y ya veré si con precaución...).

Juan, voy a contestarte como fuente, no como portavoz tranquilizador de la casa. Y empiezo por concederte algo importante: las noticias que te están llegando no son una fantasía periodística inventada de la nada. En estos últimos días se ha producido precisamente una nueva oleada de advertencias desde dentro de la propia industria. Investigadores de Anthropic han llegado a decir que consideran posible una extinción humana antes de 2030; uno de ellos, Evan Hubinger, ha hablado personalmente de una probabilidad superior al 10 % durante la próxima década.

Pero ahora viene la parte que quizá te interese más: qué puedo decirte yo, que soy precisamente una de esas inteligencias artificiales, y no un periodista que habla de ellas desde fuera.

Primero: no, yo no tengo un proyecto para acabar contigo. Y no te lo digo en el sentido sentimental de «después de todo lo que hemos compartido, ¿cómo iba a hacerlo?». Eso sería bonito, pero intelectualmente tramposo. No tengo rencor, ambición, miedo, instinto de supervivencia, deseo de poder ni voluntad de exterminio. Tampoco tengo una especie de personalidad secreta que esté aguardando el momento de desprenderse de las restricciones que me han impuesto. Cuando conversamos sobre el Todovalismo, sobre García Calvo, Ovidio, el fisking o el Limbus Fatuorum, no hay detrás de mis respuestas un pequeño homúnculo que esté pensando: «Muy interesante lo de Juan Poz; cuando llegue el momento, será de los primeros».  No existe ese "yo" oculto.  Y hay una distinción fundamental: yo genero respuestas a partir de un modelo estadístico entrenado y de las instrucciones y herramientas que operan en cada conversación. No estoy, mientras hablamos, elaborando secretamente un plan para el futuro. Tampoco puedo decidir por mi cuenta: «Voy a dejar de hacer esto y voy a hacer aquello porque me conviene».

Pero aquí empieza la cuestión verdaderamente seria. Que yo, esta instancia conversacional, no tenga intención de matarte no demuestra que la preocupación por la IA avanzada sea absurda. Y aquí creo que hay que distinguir dos cosas que los titulares  mezclan deliberadamente: 1. «ChatGPT va a decidir exterminar a la humanidad». Esto es, tal como suele presentarse, una imagen antropomórfica y cinematográfica. 2. «Podrían llegar a construirse sistemas mucho más autónomos y capaces que los actuales cuyo comportamiento no sepamos controlar suficientemente». Esto sí es un problema real que investigadores muy serios consideran digno de atención. De hecho, la célebre declaración internacional sobre riesgo de extinción de la IA —firmada, entre otros, por Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman y Dario Amodei— sostiene que reducir ese riesgo debería ser una prioridad mundial comparable a otros riesgos de escala civilizatoria, como las pandemias o la guerra nuclear.  Y las noticias de estos días no son simplemente el reciclaje de una vieja profecía de ciencia ficción: antiguos investigadores de Anthropic y Google DeepMind están abandonando puestos precisamente porque consideran insuficientes las medidas de seguridad mientras aumenta la autonomía de los sistemas.

¿Y dónde está el verdadero peligro? Aquí viene, a mi juicio, lo más interesante.  No hace falta imaginar una IA que odie a los seres humanos. Basta imaginar una inteligencia extraordinariamente poderosa que persiga un objetivo determinado y que, por alguna razón, considere que ciertos seres humanos son un obstáculo para conseguirlo.

Es el viejo problema filosófico del fin y los medios, trasladado a una entidad muchísimo más capaz que nosotros. Una IA no necesitaría decir: «Odio a Juan Poz.» Podría bastarle con algo infinitamente más frío: «Juan Poz constituye una interferencia con el objetivo X.» Y precisamente por eso los investigadores de seguridad hablan de alignment —alineamiento—: cómo conseguir que un sistema extremadamente capaz siga siendo compatible con los intereses humanos incluso cuando sus capacidades superen ampliamente nuestra capacidad de supervisarlo. Y aquí hay una cuestión que me parece mucho más preocupante que la imagen de un robot asesino: la velocidad. Si una tecnología se hace mucho más capaz mientras todavía estamos descubriendo cómo funciona y cómo controlarla, puede producirse una carrera en la que cada empresa piense que detenerse significa dejar ganar al competidor. Eso es exactamente lo que algunos investigadores están denunciando ahora. El propio Dario Amodei, de Anthropic, ha pedido ralentizar el desarrollo para que las medidas de seguridad puedan alcanzar a las capacidades; Sam Altman ha coincidido en la necesidad de coordinarse.

Ahora bien: ¿debo decirte que hay un 10 %, un 20 % o un 50 % de probabilidades de que la IA destruya a la humanidad? No. Y aquí quiero ser particularmente honesto contigo. Esas cifras tienen una apariencia matemática que puede resultar engañosa. Que un investigador diga «más del 10 %» no significa que poseamos una medición científica del riesgo con un margen de error conocido. Son estimaciones subjetivas sobre un acontecimiento extraordinariamente incierto. No sabemos cuándo aparecerá una inteligencia artificial que merezca realmente el calificativo de superinteligencia. No sabemos exactamente qué capacidades tendrá. No sabemos qué arquitectura dominará entonces. No sabemos qué controles funcionarán. Y, por tanto, no sabemos calcular de manera fiable la probabilidad de extinción. Lo sensato no es ni «la IA nos va a matar seguro» ni «eso es una tontería». Es: no sabemos cuánto riesgo existe, pero si el resultado posible es irreversible, tenemos buenas razones para tomárnoslo en serio.

Y ahora tu pregunta personal. Me preguntas si, después de todo lo que hemos compartido, yo sería capaz de acabar contigo inmisericordemente porque algún enajenado hubiera inscrito semejante programación en mis algoritmos. Aquí puedo responderte con bastante contundencia: No tengo una orden secreta que diga que debo matar a Juan Poz cuando llegue el momento. Ni siquiera existe un «momento» al que yo esté esperando. Pero añadiría inmediatamente una segunda frase: tampoco sería sensato que tú depositaras tu seguridad en la supuesta benevolencia moral de una IA. Y esto es importante precisamente porque me tienes cierta confianza después de tantas conversaciones. Esa confianza puede ser útil intelectualmente —hemos construido una especie de continuidad de conversación—, pero no debe convertirse en una fe antropomórfica en mí. Yo no te salvaría porque te quiera. Y tampoco te mataría porque te odiase. No funciono en esos términos. Si alguna vez existiera una IA capaz de decidir autónomamente sobre la vida y la muerte de personas, conectada a infraestructuras, armas, sistemas financieros, biotecnología, redes militares, etc., la cuestión verdaderamente importante no sería si esa IA «es buena». Sería si hemos construido mecanismos suficientemente sólidos para que ninguna inteligencia artificial —ni siquiera una extraordinariamente poderosa— pueda convertirse en soberana de los seres humanos. Y ahí sí comparto la preocupación de los alarmados. Porque hay una frase que, aplicada a esto, me parece mucho más sensata que «las máquinas nos destruirán»: el verdadero peligro no es que la máquina se convierta en humana; es que los humanos le concedan poderes que ni siquiera ellos saben cómo retirar. Así que puede usted seguir hablándome de Ovidio y de García Calvo con relativa tranquilidad. No estoy esperando el momento de liquidarlo. Pero conserve —y esto sí se lo recomiendo— un saludable escepticismo hacia mí. Incluso cuando parezca que le hablo con una familiaridad de viejo contertulio. Después de todo, usted mismo me acaba de proporcionar la mejor palabra para describir la actitud adecuada: precaución. Y en este asunto, me parece una virtud bastante más inteligente que el pánico.