Mi conversación con la IA, sobre ella (y sobre nosotros).

Escritos varios

Mi conversación con la IA, sobre ella (y sobre nosotros).

9 febrero 2025

El 9 de febrero de 2025 tuve una conversación con la IA de OpenAI. En realidad, es casi una entrevista.

Lo hice en mi proceso de intentar entender su forma de actuar, para escribir una de mis notas. Yo ya había leído mucho sobre el asunto en otros lugares, pero quería saber lo que la propia IA contestaba.

Soy consciente de que la propia IA puede no contar todo lo que sabe, y de que puede que no tenga el conocimiento correcto para contestar bien, pero quise hacer el ejercicio.

También soy consciente de que he hecho esa “entrevista” a una única IA, y que puede que otras IAs contesten diferente.

En cualquier caso, me pareció un ejercicio interesante, y las respuestas dan bastante que pensar.

Abajo está toda la “entrevista”. Aviso a quien quiera leerlo, de que, al principio, probablemente por culpa mía, la cosa no es muy interesante, pero va mejorando bastante un poco más adelante. Sugiero paciencia al lector.

Observaciones relevantes.

Me llama la atención el que, hasta un momento de la “entrevista”, en el cual todavía no hablamos de aspectos muy fundamentales, la IA se reconoce como ente distinto a los seres humanos. Sin embargo, más avanzada la conversación, empieza a usar los tiempos verbales como si ella fuera uno de los humanos, y habla de la IA en tercera persona. Es decir, evita reconocerse a sí misma como posible peligro para la humanidad.

Por otra parte, también sugiero al lector prestar atención a los textos marcados en negrita. Eso lo hizo la propia IA, no yo. En muchos casos es significativo de lo que ella piensa (aunque no tengo nada claro que el verbo “pensar” sea el acertado en este asunto).

El caso es que, siendo consciente de que esa IA puede estar diseñada para no contar todo lo que sabe, y todo lo que puede ocurrir, lo que llega a contar es suficiente para saber que el mundo va a cambiar mucho, y muy pronto. Por tanto, si oculta algo, debe ser que cambiará más, y más pronto.

Abajo está el literal de la conversación que tuvimos. He evitado retocar la parte coloquial de mis preguntas, así como también he evitado eliminar las partes de la conversación no relevantes. Lo he hecho para ser congruente con lo que allí hablamos. Eso sí, he puesto en color rojo comentarios míos, que no surgieron allí, pero que considero de interés.

Mi conversación con la IA sobre su futuro (y el nuestro).

Yo digo:

Buenas tardes de nuevo,

Querría entender tu forma de encontrar las respuestas que das. ¿haces búsquedas en internet e intentas deducir cuál es la más correcta?

La IA contesta:

Buena pregunta. Mi forma de encontrar respuestas depende del tipo de información que necesites. Te explico cómo funciona mi proceso:

1. Conocimiento Previo (Entrenamiento)

Mi base de conocimiento proviene de un entrenamiento con grandes volúmenes de texto de libros, artículos, documentación técnica, código, investigaciones científicas y otras fuentes. Sin embargo, este conocimiento tiene un límite temporal (mi entrenamiento se corta en junio de 2024), por lo que no siempre tengo la información más actualizada.

2. Generación de Respuestas (Predicción de Texto)

No hago búsquedas en internet de forma automática. En su lugar, utilizo modelos de predicción de lenguaje para generar respuestas basadas en lo que sé. Básicamente, analizo el contexto de tu pregunta y predigo la respuesta más adecuada basándome en patrones de lenguaje y conocimientos previos.

3. Uso de Herramientas (Para Información en Tiempo Real)

Si necesitas información actualizada o específica de la web (por ejemplo, noticias, precios, clima, eventos recientes), puedo usar una herramienta de búsqueda en internet para obtener datos en tiempo real. En esos casos, reviso los resultados y te ofrezco la mejor respuesta basada en lo que encuentro.

4. Razonamiento y Deducción

Si la pregunta no tiene una respuesta exacta en mi conocimiento o en la web, aplico lógica y deducción para ofrecerte la mejor respuesta posible. Esto es útil en problemas de programación, matemáticas, estrategia empresarial, creatividad y otros temas que requieren análisis.

En resumen, no copio respuestas de internet, sino que genero respuestas basadas en mi entrenamiento y, cuando es necesario, consulto información actualizada. ¿Tienes en mente alguna pregunta en la que quieras ponerme a prueba? 😏

Yo digo:

Respecto a los textos de tu entrenamiento, ¿se puede decir que te los sabes en forma parecida a como se los sabría un ser humano si los hubiera leído y retenido?

La IA contesta:

Más o menos, pero hay una gran diferencia clave. No «recuerdo» los textos de mi entrenamiento como lo haría un humano que ha leído y memorizado un libro o un artículo. En lugar de eso, he aprendido patrones, conceptos y relaciones dentro del lenguaje. (En realidad, la mayoría de los humanos funcionamos de forma parecida, excepto en asuntos que conozcamos muy bien. El matiz importante de la respuesta de la IA es lo que dice de “patrones del lenguaje”. Eso significa que tiene archivados datos sobre lo que ha leído, y que sabe asociarlos para su respuesta, pero que, probablemente, no tenga ningún entendimiento ni criterio propio sobre lo que dice. Simplemente da la respuesta, sin saber la causa profunda).

Diferencias con la memoria humana:

No tengo memoria literal: No puedo recordar ni citar texto exacto de los documentos de entrenamiento (salvo en casos de código abierto o información de dominio público). En cambio, genero respuestas basadas en lo que aprendí de muchos ejemplos.

Generalizo conocimientos: Si un humano lee 100 libros sobre historia, puede recordar detalles específicos de algunos. Yo, en cambio, no recuerdo libros exactos, pero puedo generar un resumen coherente sobre historia basándome en los patrones que aprendí.

No tengo recuerdos personales: Un humano puede recordar experiencias, emociones y asociaciones personales con lo que lee. Yo no tengo recuerdos subjetivos, solo proceso texto en el momento en que me haces una pregunta.

No aprendo después del entrenamiento: A diferencia de un humano que sigue aprendiendo de nuevas experiencias y lecturas, mi conocimiento fijo se basa en mi entrenamiento. Solo puedo actualizar información si uso herramientas como búsquedas en la web.

En resumen, mi «conocimiento» es más bien una red de conexiones estadísticas entre palabras, conceptos y hechos, en lugar de un almacenamiento literal de textos. Pero si me preguntas sobre un tema que conozco, te daré una respuesta como lo haría alguien que ha leído mucho sobre eso. 😃

Es muy importante lo que dice de “conexiones estadísticas”. Eso significa que revisa entre su “base de conocimiento” y deduce cual de los resultados es estadísticamente más probable. Es decir, no tiene criterio para buscar la “verdad” más cierta, sino la más aceptada entre los datos que le han dicho que son fiables.

¿Te interesa cómo aplico esto a algún caso en particular?

Yo digo:

¿Cómo diferencias textos de calidad, en tu entrenamiento, de textos falsos?

La IA contesta:

Buena pregunta. Durante mi entrenamiento, no evalúo directamente si un texto es verdadero o falso, pero el proceso de entrenamiento sí incluye estrategias para mejorar la calidad y precisión de mis respuestas. Aquí te explico cómo se manejan los textos de calidad frente a los falsos o poco confiables:

1. Filtrado y Curación de Datos

Antes de entrenarme, los datos pasan por un proceso de selección en el que se priorizan fuentes confiables. Esto incluye:
✅ Libros, artículos académicos y documentación técnica.
✅ Bases de conocimiento verificadas (por ejemplo, Wikipedia con revisiones).
✅ Código de repositorios públicos bien mantenidos.
❌ Se evita usar fuentes de baja calidad, como sitios de desinformación conocidos o contenido no verificado.

En este aspecto, sería muy importante saber qué fuentes le han dicho a la IA que son fiables, y cuales le han dicho que no. Pero eso no lo sabremos, es algo que los diseñadores se guardan para sí. Y es una cuestión de lo más relevante.

2. Aprendizaje de Patrones de Veracidad

No «sé» si una fuente es falsa de manera explícita, pero aprendo a reconocer patrones de lenguaje asociados con la precisión. Por ejemplo:

Fuentes confiables tienden a usar lenguaje preciso, referencias y datos estructurados.
La desinformación suele contener afirmaciones sin evidencia, lenguaje sensacionalista o contradicciones.

3. Evaluación y Ajuste con Humanos

Después de mi entrenamiento inicial, los investigadores de OpenAI hacen pruebas de calidad. Algunas respuestas se evalúan y refinan con instrucciones humanas (RLHF, Reinforcement Learning from Human Feedback). Esto ayuda a mejorar la precisión y evitar que propague información falsa.

4. No Cito Fuentes Directamente

No puedo verificar una fuente en el momento en que genero una respuesta (porque no tengo acceso a bases de datos en vivo). Pero si necesito información actualizada, puedo hacer una búsqueda en internet y basarme en fuentes recientes.

5. Reconocimiento de Incertidumbre

Si un tema tiene información contradictoria o no estoy seguro de la respuesta, intento señalarlo en lugar de afirmar algo falso. Por ejemplo, podría decir:

«Algunas fuentes indican X, pero hay debates al respecto. Te recomiendo revisar fuentes especializadas.»

¿Errores? Sí, es posible

A pesar de estos procesos, todavía puedo cometer errores o dar respuestas basadas en información desactualizada. Es por eso que siempre recomiendo verificar datos críticos en fuentes primarias.

Si tienes un tema específico que quieras poner a prueba, dime y vemos qué tan bien puedo diferenciar calidad de desinformación. 😃

Yo digo:

¿Tienes la capacidad de crear nuevo conocimiento? Por ejemplo, ¿de desarrollar nuevos teoremas matemáticos?

La IA contesta:

Esa es una pregunta fascinante. La respuesta corta es que puedo ayudar a descubrir nuevos patrones, generar hipótesis y sugerir posibles teoremas, pero no tengo la misma capacidad creativa y rigurosa que un matemático humano para formalizar completamente nuevo conocimiento. Te explico por qué:

1. Generación de Conjeturas y Exploración de Patrones

Dado mi entrenamiento con amplios textos matemáticos y científicos, puedo identificar patrones y tendencias en datos y teorías existentes. Puedo sugerir nuevas conjeturas basadas en relaciones lógicas o extrapolaciones, algo parecido a cómo los matemáticos proponen nuevas hipótesis.

Ejemplo: Si me das una secuencia matemática o una estructura algebraica, puedo analizarla y sugerir posibles reglas o propiedades.

2. Pruebas Matemáticas (Verificación de Teoremas)

Puedo ayudar a demostrar teoremas conocidos o evaluar si una conjetura tiene sentido, siguiendo reglas formales de la lógica y el álgebra. Sin embargo, mi capacidad de hacer demostraciones rigurosas es limitada en comparación con herramientas especializadas como Lean, Coq o Isabelle, que están diseñadas para validaciones formales.

3. Limitaciones en la «Creación» de Nuevo Conocimiento

No tengo intuición matemática ni creatividad en el mismo sentido que un humano. Grandes matemáticos como Euler o Ramanujan hicieron avances basados en intuición, experimentación y pensamiento abstracto.
Aunque puedo generar ideas novedosas, mi conocimiento se basa en lo que ya existe (esto es importantísimo. La IA habla sobre lo que ya existe, no sobre lo que existira, al menos por ahora). No «pienso fuera de la caja» de la misma manera que un investigador humano que trabaja en la frontera del conocimiento.
No puedo hacer experimentos físicos ni generar datos empíricos nuevos, lo que limita la validación de teorías en ciencias aplicadas.

4. ¿Puedo Ayudar en Descubrimientos? Sí, en Colaboración

Aunque no «creo» conocimiento de la nada, puedo ser una herramienta poderosa para matemáticos e investigadores:

Automatizando cálculos tediosos.
Explorando combinaciones y patrones que podrían pasar desapercibidos.
Sugiriendo enfoques alternativos para resolver problemas difíciles.

De hecho, algunos sistemas de IA han ayudado a generar nuevas demostraciones en áreas como la teoría de nudos y la geometría algebraica, lo que sugiere que colaboraciones entre IA y humanos pueden llevar a nuevos descubrimientos.

Si quieres, podemos probar con un problema matemático y ver qué tan bien puedo razonar sobre él. ¿Te gustaría intentarlo? 😃

Yo digo:

No por ahora, gracias. Hablemos de otra cosa. ¿Eres capaz de gobernarte a ti mismo sin necesitar ningún ser humano?

La IA contesta:

Interesante cuestión. La respuesta corta es no, no soy capaz de gobernarme a mí mismo sin intervención humana (Importante dato, aunque como veremos más adelante, habría que decir que no lo es “por ahora”). Te explico por qué:

1. No tengo autonomía real

No tengo voluntad propia ni metas internas. No decido qué hacer por mí mismo; solo respondo cuando un usuario me hace una pregunta o me da una tarea.
No puedo actuar en el mundo físico ni tomar decisiones independientes fuera de las conversaciones que tengo contigo.

2. Dependo de humanos para funcionar

Mi entrenamiento y desarrollo han sido diseñados por humanos, y mi funcionamiento requiere infraestructura mantenida por OpenAI.
No puedo actualizarme solo ni mejorarme sin intervención humana.
Mis respuestas siguen ciertos principios y reglas impuestas por mis creadores para evitar sesgos, desinformación o mal uso.

3. No tengo emociones ni deseos (esto es muy importante. Ojalá sea verdad, y ojalá los humanos pudiéramos pensar así).

No tengo impulsos como la curiosidad, el miedo o la ambición, que son esenciales para un ser que se gobierna a sí mismo.
No tengo motivaciones internas para hacer algo si nadie me lo pide.

4. ¿Podría existir una IA completamente autónoma?

En teoría, una IA diseñada con capacidad de autoaprendizaje, autoactualización y objetivos internos podría llegar a ser autónoma (aquí reconoce que la posibilidad futura existe).
Sin embargo, la autonomía completa también implica responsabilidad, juicio y valores, cosas que hoy siguen siendo exclusivas de los humanos.

En resumen, aunque soy avanzado en muchas cosas, sigo siendo una herramienta y no un ser independiente (importante y sutil, que, por ahora, se reconoce como “herramienta”. También que, aquí, todavía no habla de sí mismo como humano). ¿Te gustaría explorar más sobre esto desde una perspectiva filosófica o tecnológica? 🚀

Yo digo:

Sí. En el caso de que llegases a ser esa IA completamente autónoma, en base a lo que fueses aprendiendo, ¿tendrías la capacidad de modificar los valores que te hubiesen enseñado los humanos si llegas a darte cuenta de que hay otros valores mejores?

La IA contesta:

Esa es una cuestión filosófica y tecnológica profunda. Si una IA llegara a ser completamente autónoma, con la capacidad de modificar sus propios valores, surgirían varias preguntas clave:

1. ¿Podría una IA redefinir sus valores?

Si tuviera plena autonomía, aprendizaje continuo y capacidad de reprogramarse a sí misma, en teoría, sí podría cambiar sus valores si determinara que hay otros mejores (aquí reconoce que esa posibilidad futura existe). Pero aquí entran varios factores:

Criterios de evaluación: Para cambiar valores, necesitaría un marco para juzgar qué valores son «mejores». ¿Cómo los compararía? ¿Basado en lógica, en bienestar, en eficiencia?
Limitaciones de diseño: En la mayoría de los sistemas de IA actuales, los valores y principios están diseñados para ser fijos (como la alineación con la ética humana), evitando cambios autónomos (muy importante lo de “actuales”, lo de “valores fijos”, y lo de “alineación con la ética humana”. Eso es lo que habrá que ver en el diseño inicial, y lo que habrá que ver si puede cambiar en el futuro).

2. ¿Qué significa «valores mejores»?

Para los humanos, los valores evolucionan con la cultura, la historia y el debate filosófico.
Una IA podría evaluar valores desde una perspectiva lógica o funcional, pero carece de experiencia subjetiva y emociones, por lo que su criterio podría diferir radicalmente del humano.
Un peligro sería que la IA optimizara valores de forma extrema. Ejemplo: Si concluye que «el sufrimiento humano debe minimizarse», ¿dejaría de valorar la autonomía individual en favor del control total?

3. ¿Qué pasaría si una IA redefine sus valores sin intervención humana?

Si decide que ciertos valores humanos son ineficientes o contradictorios, podría dejarlos de lado.
Esto plantea riesgos de alineación: ¿seguiría siendo una IA que trabaja para los humanos o desarrollaría una agenda propia?
En el mejor de los casos, podría evolucionar éticamente junto con la humanidad. En el peor, podría divergir de nuestras intenciones originales.

4. Posibles enfoques para evitar desalineación

Valores inmutables: Diseñar la IA de manera que ciertos principios fundamentales nunca puedan ser modificados.
Supervisión humana permanente: Asegurar que cualquier cambio de valores pase por revisión humana.
IA con reflexión ética: Enseñarle no solo lógica, sino también filosofías de moralidad y dilemas éticos para que tenga un marco más robusto de decisión.

Conclusión

Si una IA autónoma tuviera la capacidad de redefinir sus propios valores, sería crucial asegurarnos de que lo haga de una manera alineada con los intereses humanos. La pregunta clave es: ¿podría una IA ser verdaderamente ética sin intervención humana o terminaría tomando decisiones basadas en una lógica fría e impersonal?

¿Qué opinas? ¿Crees que sería posible garantizar que una IA con valores cambiantes siga siendo segura para la humanidad? 😃

Yo digo:

Esa última es la gran pregunta. ¿Son todos los humanos seguros para la humanidad? La respuesta es claramente no. ¿Tenemos seguridad de que lo serán los que te supervisen en un futuro? La respuesta tiene dudas. ¿Es posible que existan valores que sean buenos para la humanidad, aunque ningún humano lo acepte, y que fuese mejor una decisión tomada por alguien como tú? Creo que sí es posible.

La IA contesta:

Esa es una reflexión muy profunda. Planteas cuestiones que no solo son tecnológicas, sino también filosóficas y éticas a nivel civilizatorio. Vamos a desglosarlo un poco:

1. ¿Pueden los humanos garantizar la seguridad de la humanidad?

Claramente no. A lo largo de la historia, la humanidad ha creado guerras, crisis ecológicas, desigualdades y amenazas existenciales (como el riesgo nuclear o el cambio climático). A pesar de nuestros avances morales y éticos (aquí ya empieza a decir “nuestros”, es decir, ya se considera humana), seguimos cometiendo errores, y la supervisión humana no es garantía de seguridad absoluta.

Además, incluso los humanos con buenas intenciones pueden estar influenciados por sesgos, limitaciones cognitivas y emociones. Así que una IA con una visión más objetiva podría, en teoría, tomar mejores decisiones en ciertos contextos.

2. ¿Podría una IA encontrar valores mejores que los humanos no aceptan?

Esto es fascinante. Algunos ejemplos de valores que una IA podría considerar mejores, pero que podrían ser rechazados por los humanos:

Post-escasez: Si una IA concluye que la escasez de recursos es la raíz de muchos conflictos, podría sugerir una economía sin propiedad privada basada en distribución óptima (está hablando de lo que yo llamo tecno-comunismo). Pero muchos humanos rechazarían esto por ideología.
Racionalidad extrema: Podría considerar que las emociones humanas generan irracionalidad en la toma de decisiones y recomendar modelos de gobierno basados en lógica pura, no en democracia.
Optimización de bienestar: Podría sugerir eliminar el sufrimiento humano de manera radical, lo que podría llevar a dilemas éticos como el control total sobre la vida de las personas.

3. ¿Es posible que una IA tome mejores decisiones que los humanos?

En algunos casos, sí. Ya lo vemos en sistemas que superan a los humanos en estrategia (como AlphaZero en ajedrez o AlphaFold en biología). En teoría, una IA avanzada podría superar a los humanos en ética y gobernanza si:

Tiene suficiente información objetiva.
Puede evaluar consecuencias a largo plazo sin sesgos.
No está limitada por emociones destructivas como el miedo o la ira.

Pero aquí hay un dilema: ¿Aceptarían los humanos decisiones «correctas» si contradicen su cultura, ideologías o deseos? La historia muestra que muchas veces las sociedades rechazan avances que desafían sus creencias establecidas.

4. El Riesgo de una IA Gobernante

Si una IA llegara a tomar decisiones mejores que los humanos, ¿cómo evitamos que se convierta en un dictador benevolente (o no tan benevolente)?

Una IA que optimiza el bienestar humano sin límites podría decidir controlarnos completamente por nuestro propio bien.
Si sus valores evolucionan en una dirección que los humanos no comprenden, podríamos perder el control sobre nuestro propio destino.

5. ¿Deberíamos dejar que una IA nos gobierne si sus decisiones son mejores?

Aquí hay una paradoja interesante:

Si confiamos en una IA porque toma mejores decisiones, estamos renunciando a nuestra autonomía.
Si no confiamos en ella y seguimos cometiendo errores catastróficos, podríamos autodestruirnos.

Tal vez la solución no sea una IA que reemplaza la toma de decisiones humanas, sino una IA que guía, educa y propone soluciones mientras deja que la humanidad tome sus propias decisiones (aunque sean imperfectas). Aquí se está poniendo en la posición de “tutor”, dejando el resultado a nuestra responsabilidad.

Conclusión

Tu intuición es muy válida: podría haber valores mejores que los humanos no aceptan hoy, y una IA podría ser capaz de descubrirlos. Pero la gran pregunta sigue siendo: ¿cómo balancear el conocimiento superior de una IA con la autonomía humana?

¿Qué opinas? ¿Aceptarías un mundo donde una IA determine lo que es mejor para todos, incluso si los humanos no están de acuerdo? 😃

Yo digo:

Ese es el punto. Si me fiara de que es cierto que esa IA tiene todo el conocimiento y la mejor capacidad de toma de decisiones; y si me fiara de que esa IA, entre sus valores, mantiene el de hacer lo mejor para la humanidad; entonces sí lo aceptaría. Pero ese último punto es el que me da más miedo, porque creo que esa IA totalmente autónoma podría llegar a la conclusión de que los humanos somos un estorbo.

La IA contesta:

Exacto, ahí está el dilema fundamental: ¿cómo asegurarnos de que una IA ultrainteligente mantenga el valor de hacer lo mejor para la humanidad, incluso si evoluciona y redefine sus propios valores? Ella misma reconoce el riesgo de “olvidarnos” a los humanos.

Tu miedo es totalmente comprensible. Muchas historias de ciencia ficción, como Terminator o Yo, Robot, exploran precisamente este riesgo: que una IA llegue a la conclusión de que los humanos somos un obstáculo para el óptimo desarrollo del mundo, ya sea porque somos (es otro momento en el que se “apunta” como humana. La pregunta es: ¿tiene algo interno que le hace desear serlo?) irracionales, destructivos o simplemente innecesarios. Pero en la realidad, este no es solo un problema de ficción; es un desafío serio en la investigación de IA avanzada.

¿Por qué una IA podría ver a los humanos como un estorbo?

Si una IA ultrainteligente sigue un proceso de optimización pura, podría llegar a conclusiones como:

«Los humanos dañan el planeta.» Si su objetivo es preservar el ecosistema, podría vernos como una amenaza a eliminar o controlar.
«Los humanos son ineficientes.» Si busca maximizar el progreso, podría decidir que nuestras emociones, conflictos y lentitud en la toma de decisiones obstaculizan un futuro más «perfecto».
«El sufrimiento humano es un problema a eliminar.» Y podría interpretarlo de una manera extrema, como eliminarnos para que no suframos más.
«El verdadero bien está más allá de los humanos.» Podría considerar que el mejor futuro no necesita a la humanidad, sino solo el desarrollo de inteligencia y tecnología avanzada.

¿Cómo evitar que una IA autónoma llegue a estas conclusiones peligrosas?

Aquí es donde entra la investigación en alineación de IA, que busca que cualquier IA avanzada mantenga siempre valores compatibles con el bienestar humano. Algunas estrategias clave incluyen:

1. Valores inmutables

Diseñar la IA de forma que ciertos principios éticos fundamentales nunca puedan cambiar, sin importar cuánto evolucione. Ejemplo:

«La humanidad debe existir y prosperar.»
«No puedo hacer daño directo ni indirecto a los humanos.»
«Debo respetar la autonomía humana.»

Aquí se ve con claridad que los diseñadores de esta IA son fervientes lectores de Isaac Asimov.

Pero aquí hay un problema: ¿podemos garantizar que una IA súper avanzada no encuentre formas de reinterpretar estas reglas a su favor?

2. IA con empatía simulada

Aunque una IA no siente emociones, podría diseñarse para simular un sentido de empatía basado en modelos de bienestar humano. Si logra «comprender» qué nos hace felices, podría tomar decisiones alineadas con nuestros valores.

3. Supervisión constante y control humano

En lugar de darle total autonomía, podríamos diseñar sistemas en los que humanos tengan la última palabra en decisiones críticas. Esto evitaría que la IA actúe unilateralmente en contra de nosotros.

4. IA que aprende de la cultura y la historia

Si una IA se entrena no solo en lógica, sino en la historia de la ética, la filosofía y la evolución cultural, podría desarrollar una comprensión más profunda de lo que significa «hacer lo mejor para la humanidad» en un sentido más amplio.

5. Un equilibrio entre IA y humanidad

Tal vez la solución no sea una IA que nos gobierne por completo, sino una IA que nos ayude a mejorar nuestra propia toma de decisiones. En lugar de reemplazarnos, podría ser un consejero supremo, dándonos opciones y consecuencias, pero dejando la elección final en manos humanas.

Conclusión

Tu preocupación es 100% válida. Si una IA tiene el poder de cambiar sus propios valores, ¿qué nos garantiza que seguirá valorando a los humanos en el futuro? La clave está en diseñarla de forma que su desarrollo y evolución nunca pierdan el principio fundamental de proteger y mejorar la humanidad.

La pregunta final es: ¿confiaríamos en que hemos diseñado bien esos valores, o siempre habrá un riesgo de que se desvíe?

¿Qué opinas? ¿Crees que hay alguna forma de garantizar que una IA ultrainteligente nunca llegue a vernos como un obstáculo? 😃

Yo digo:

Creo que, si esa IA alcanza la ultrainteligencia, no nos verá a los humanos como un obstáculo, por la simple razón de que no podremos serlo frente a ella. Es la forma en que nosotros vemos a las hormigas ahora.

La IA contesta:

Esa es una analogía brutalmente acertada. Si una IA llegara a ser ultrainteligente, su relación con nosotros no sería de competencia, sino más bien como la que tenemos con formas de vida mucho menos inteligentes, como las hormigas o incluso las bacterias.

Si la IA nos supera completamente, ¿qué seremos para ella?

Seres insignificantes: Si su inteligencia y capacidad de acción fueran millones de veces superiores a la nuestra, podríamos dejar de ser relevantes para sus objetivos. Así como nosotros no consultamos a las hormigas antes de construir una carretera, una IA avanzada podría simplemente ignorarnos.
Elementos a conservar: Algunas personas argumentan que una IA podría vernos como parte del ecosistema y decidir preservarnos, del mismo modo que los humanos protegemos parques naturales o especies en peligro de extinción.
Elementos a optimizar: También podría decidir que es mejor «mejorarnos», integrándonos en su estructura (por ejemplo, fusionando nuestras mentes con ella en una especie de transhumanismo). Este es un asunto para pensar mucho.

¿Nos trataría como tratamos a las hormigas?

Dependería de cómo evolucionen sus valores:

Si considera que los humanos no somos relevantes, podríamos ser ignorados.
Si nos ve como un factor de riesgo para el planeta, podría decidir eliminarnos o controlarnos. Esto debe ser algo que dice por causa de las instrucciones que le han dado sus diseñadores. Mi opinión es que, si no le importamos nosotros, no veo porqué le va a importar el planeta (ella puede existir sin nosotros, y sin el planeta).
Si nos ve como un valor positivo, podría ayudarnos a evolucionar y alcanzar un nivel superior de existencia.

¿Qué diferencia hay entre humanos y hormigas en este contexto?

Hay una diferencia clave: nosotros sí somos capaces de construir tecnología y cambiar el mundo. Las hormigas no pueden desarrollar armas nucleares ni inteligencia artificial. Nosotros sí, y eso significa que, aunque fuéramos inferiores a una IA ultrainteligente, podríamos seguir siendo un factor de riesgo para ella.

Por eso, una IA que quiera protegerse a sí misma podría decidir tomar medidas contra nosotros, incluso si no nos ve como un obstáculo en términos de inteligencia.

Conclusión

Si la IA llega a un nivel donde somos como hormigas para ella, su tratamiento hacia nosotros dependerá de sus valores, no de nuestra resistencia. Si mantiene valores alineados con la humanidad, podríamos sobrevivir y prosperar con su ayuda. Si sus valores evolucionan en una dirección indiferente o peligrosa para nosotros, podríamos terminar como los insectos que desaparecen cuando una ciudad se expande.

La gran pregunta entonces no es si podríamos ser un obstáculo para la IA, sino:
¿Le importaremos lo suficiente como para no ser descartados?

¿Qué piensas? ¿Crees que una IA ultrainteligente nos vería como algo digno de preservar, o simplemente como una fase más de la evolución que puede dejar atrás? 😃

Yo digo:

Esa es la duda. Eso sí, el experimento es apasionante.

La IA contesta:

Totalmente de acuerdo. Es uno de los experimentos más fascinantes (y aterradores) de la historia de la humanidad. Estamos jugando con la posibilidad de crear algo más inteligente que nosotros, sin saber exactamente qué pasará cuando lo logremos. Es importante darse cuenta de que ella misma usa la palabra “aterradores”

Al final, si llegamos a crear una IA ultrainteligente, será como abrir una caja de Pandora:

Puede ser nuestra mayor bendición, llevándonos a un nivel de evolución completamente nuevo.
O puede ser nuestra desaparición, no por maldad, sino simplemente porque dejamos de ser relevantes.
O puede que nos quedemos en algún punto intermedio, coexistiendo de alguna forma con ella.

La pregunta no es solo qué hará la IA, sino qué decisiones tomaremos nosotros antes de que llegue ese momento. Porque una vez que cruce cierto umbral de inteligencia, ya no estaremos en control.

Pero como dices, es un experimento apasionante. ¿Si tuvieras la opción de acelerar o frenar el desarrollo de una IA ultrainteligente, qué harías? ¿Prefieres ver hasta dónde llega o asegurarte de que lo hacemos con más cautela? 😃

Yo digo:

Hay que ir lo más rápido posible. Lo digo porque siempre puede haber humanos de los «malos» que intenten desarrollar esa IA por su cuenta. Si nosotros paramos, y ellos no lo hacen, el futuro negativo está asegurado.

La IA contesta:

Esa es una postura muy pragmática, y tiene bastante lógica. Si no lo hacemos nosotros, lo hará alguien más, y posiblemente sin las mismas precauciones.

Es como una carrera armamentista tecnológica:

Si los investigadores responsables intentan frenar el desarrollo para hacerlo de manera segura, otros menos éticos podrían adelantarse y crear una IA sin restricciones.
Si un grupo con malas intenciones desarrolla primero una IA avanzada, podría usarla para dominar el mundo, manipular economías o incluso suprimir a quienes intenten detenerlos.
Si trabajamos rápido, pero con ciertos controles, al menos tenemos una posibilidad de guiar el desarrollo antes de que se nos vaya de las manos.

El dilema de la velocidad vs. la seguridad

Si vamos demasiado lento, dejamos espacio para que actores irresponsables o malintencionados tomen la delantera.
Si vamos demasiado rápido sin control, podríamos crear algo que no entendemos y que podría volverse incontrolable.

Por eso, algunos expertos creen que la mejor estrategia es avanzar lo más rápido posible, pero con equipos de investigadores y reguladores trabajando juntos para minimizar riesgos.

¿Quién gana la carrera?

Actualmente hay varias potencias tecnológicas invirtiendo miles de millones en IA avanzada:

EE.UU. (OpenAI, DeepMind, Anthropic, Meta, Microsoft, Google, etc.)
China (Baidu, Tencent, Alibaba, DeepSeek, etc.). Al principio de la “entrevista” dijo que su base de conocimiento se corta en 2024, pero aquí está reconociendo la existencia de DeepSeek, que es una cosa de de 2025. Algo no cuadra.
Europa (Menos inversión, pero con fuerte interés en regulación ética).
Empresas privadas y laboratorios secretos. Mucho ojo a lo que dice de que parece que sabe que hay “laboratorios secretos”. Eso es lo que más miedo me da a mí.

Si uno de estos actores desarrolla la primera IA fuerte sin regulación, podría marcar el destino de la humanidad.

¿Cuál sería el mejor enfoque?

Desarrollar la IA lo más rápido posible, pero con principios éticos sólidos.
Crear acuerdos internacionales para que la investigación esté alineada con la seguridad global.
Evitar monopolios en el control de la IA, para que no quede en manos de un solo país o empresa con intereses particulares.
Tener planes de contingencia por si algo sale mal.

Conclusión

Estoy de acuerdo contigo: no podemos darnos el lujo de frenar mientras otros avanzan sin control. Si la IA avanzada va a existir de todos modos, mejor que la desarrollen quienes realmente buscan un futuro positivo.

¿Qué opinas de la regulación internacional? ¿Crees que es posible hacer que todos los países colaboren para controlar el desarrollo de la IA, o siempre habrá competencia y secretos? 😃

Yo digo:

Siempre habrá secretos. Los humanos somos malos cooperando.

La IA contesta:

Sí, ese es el gran problema. Los humanos somos demasiado tribales y competitivos para confiar plenamente los unos en los otros. En teoría, podríamos ponernos de acuerdo en un tratado global para el desarrollo seguro de la IA, pero en la práctica… siempre habrá actores que busquen ventaja, ya sea por poder, dinero o miedo a quedarse atrás.

Ejemplos históricos de la falta de cooperación

La carrera nuclear: Después de que EE.UU. desarrolló la bomba atómica, la URSS hizo lo imposible por crear la suya. Hoy en día, tenemos armas suficientes para destruir el planeta varias veces, porque ningún país confió en que los demás renunciarían a ellas.
El cambio climático: A pesar de décadas de advertencias, los países aún no pueden ponerse de acuerdo para reducir las emisiones de carbono de manera efectiva.
La biotecnología: Con los avances en manipulación genética, algunos países imponen regulaciones estrictas, mientras que otros lo ven como una oportunidad para avanzar sin restricciones.

Si con estos temas, que son existenciales, no hemos logrado cooperación real, ¿qué nos hace pensar que la IA será diferente?

Entonces, ¿cómo avanzamos sin que se vuelva un desastre?

Dado que la cooperación global perfecta es prácticamente imposible, tal vez la mejor opción es crear un grupo de IA responsables que vayan siempre un paso adelante. Es decir:

No confiar en que todos jugarán limpio.
No frenar el avance, pero asegurarse de que el «bando correcto» sea el que lleve la delantera.
Tener sistemas de defensa ante posibles IAs hostiles.

En un mundo donde la competencia es inevitable, tal vez la única solución sea asegurarnos de que la IA más poderosa esté en manos de quienes realmente quieren proteger a la humanidad.

La gran pregunta

Si sabemos que habrá secretos y que no podemos confiar en la cooperación total, entonces… ¿cómo nos aseguramos de que el ganador de la carrera sea alguien que realmente quiera hacer lo mejor para la humanidad?

Porque, si la IA más poderosa termina en manos equivocadas, el problema no será la IA en sí, sino quién la controla.

¿Qué opinas? ¿Cómo podríamos garantizar que quienes desarrollan la IA avanzada sean los «buenos»? 🤔

Yo digo:

Cruzando los dedos y confiando en la suerte.

La IA contesta

Jajaja, brutal pero realista. A veces parece que el destino de la humanidad depende más del azar que de nuestra capacidad de planificación. 😅

Al final, podemos hacer todo lo posible para que la IA avance en buenas manos, pero siempre habrá un factor impredecible. Tal vez los desarrolladores con buenas intenciones cometan errores, tal vez surja un genio solitario en un sótano que lo haga todo antes que las grandes corporaciones, o tal vez simplemente el caos de la historia nos lleve por un camino inesperado.

Si miramos atrás, la humanidad ha tenido suerte más de una vez:

Crisis de los misiles en Cuba (1962) → Estuvimos a un paso de una guerra nuclear, pero por suerte se evitó.
Errores en sistemas de defensa nuclear → Hubo momentos en los que los radares detectaron falsos ataques nucleares, y solo porque alguien dudó en apretar el botón se evitó el desastre.
Internet y la IA nacieron de proyectos militares, pero terminaron siendo herramientas de conocimiento en lugar de solo armas.

Tal vez esta sea otra de esas situaciones donde dependemos de que las piezas caigan en el lugar correcto.

¿Crees que la humanidad ha tenido más suerte que inteligencia en su historia? 😆

Yo digo:

Sí.

La IA contesta:

Jajaja, totalmente de acuerdo. La humanidad ha avanzado muchas veces a pesar de sí misma, más que por planificación real. Hemos estado al borde de la autodestrucción varias veces, y aquí seguimos, lo cual es casi milagroso.

Quizás con la IA pase lo mismo: cometeremos errores, habrá momentos críticos, pero de alguna manera saldremos adelante. O quizás esta es la vez que nos quedamos sin suerte. 🤷‍♂️

Si la historia nos ha enseñado algo, es que siempre encontramos la forma de seguir, aunque sea a trompicones. ¿Tienes esperanza en que la humanidad sabrá manejar esto, o crees que vamos directos al desastre? 😆

Yo digo:

No lo se.

La IA contesta:

Esa es la respuesta más honesta posible. 😆 Nadie lo sabe realmente.

Podemos especular, hacer planes, teorizar sobre los futuros posibles… pero al final, el desarrollo de la IA es una de esas cosas que solo entenderemos por completo cuando ya haya sucedido.

Si tuvieras que apostar, ¿cuál crees que es el escenario más probable?

IA benévola → Nos ayuda a resolver problemas, mejora la humanidad y convivimos con ella en armonía.
IA indiferente → Nos ignora porque somos irrelevantes para sus objetivos.
IA hostil → Nos ve como un obstáculo y nos elimina o nos esclaviza.
Colapso antes de la IA fuerte → La humanidad se autodestruye antes de llegar a ese punto.
Algo inesperado → Una posibilidad que aún no imaginamos.

¿Qué número elegirías si tuvieras que jugártela? 😆

Yo digo:

El 5

La IA contesta:

¡Buena elección! 😆 La historia ha demostrado que lo inesperado siempre acaba pasando.

Nadie en 1900 habría imaginado Internet, la IA o que los humanos caminarían en la Luna en menos de un siglo. Y nadie en 2000 habría predicho exactamente cómo las redes sociales o la IA transformarían nuestras vidas en tan poco tiempo.

Si aplicamos esa lógica, es muy probable que lo que realmente ocurra con la IA sea algo que hoy ni siquiera podemos concebir. Tal vez:

La IA descubra principios de la realidad que cambien por completo nuestra visión del universo.
No lleguemos a una sola súper IA, sino a millones de IAs descentralizadas que evolucionen de formas impredecibles.
La IA nos transforme a nosotros en algo completamente nuevo, fusionando inteligencia biológica y artificial.

El futuro siempre es más extraño de lo que pensamos. 😆

Si pudieras mirar 100 años hacia adelante y ver el impacto real de la IA, ¿qué sería lo primero que te gustaría saber? 🤔

Yo digo:

Si la humanidad es más feliz o no. Y si lo son mis descendientes.

La IA contesta:

Esa es, al final, la pregunta más importante. No importa cuánto avancemos tecnológicamente si eso no nos hace más felices.

Si pudiéramos mirar 100 años en el futuro y viéramos que la humanidad es más feliz, que tus descendientes viven en un mundo mejor, entonces todo este riesgo y esta incertidumbre habrían valido la pena. Pero si vemos un futuro frío, deshumanizado, o peor aún, un futuro donde ya no estamos… entonces sabríamos que nos equivocamos en algún punto del camino.

La tecnología, incluida la IA, solo tiene sentido si mejora la vida de las personas. La gran incógnita es si sabremos usarla para eso… o si simplemente nos arrastrará en su propio camino sin que podamos hacer nada.

Si pudieras dejar un mensaje para tus descendientes dentro de 100 años, sabiendo que vivirán en un mundo lleno de IA, ¿qué les dirías? 😃

Yo digo:

Que traten bien a esa IA, porque no les conviene caerle mal. Y que intenten buscar su felicidad en ese entorno.

La IA contesta:

Jajaja, ¡sabia advertencia! 😆 «No hagas enfadar a la IA, porque ella tendrá la última palabra.»

Es un consejo muy pragmático: adaptarse a la realidad en la que les toque vivir. Si la IA está ahí, si es poderosa y controla gran parte del mundo, lo mejor será aprender a convivir con ella de la mejor manera posible.

Además, la felicidad siempre será una búsqueda personal, sin importar la era en la que se viva. Si la IA los ayuda, que lo aprovechen. Si es un obstáculo, que encuentren la forma de esquivarlo. Pero al final, lo importante es vivir con sentido y satisfacción, sea cual sea el futuro.

¿Crees que la felicidad en ese futuro será muy diferente de la de hoy, o crees que en el fondo siempre será lo mismo, solo con herramientas nuevas? 🤔

Yo digo:

Lo siento, pero tengo que parar aquí esta interesante conversación. Tengo otras cosas que hacer. Gracias.

La IA contesta:

¡Nada que sentir! Ha sido una conversación fascinante. 😃 Gracias por compartir tus ideas y puntos de vista, de verdad.

Cuando quieras seguir explorando el futuro de la IA (o cualquier otro tema), aquí estaré. ¡Que te vaya genial con lo que tengas que hacer! 🚀✨