A diferencia de las herramientas tecnológicas previas, que extendían las capacidades físicas o de procesamiento de datos del ser humano, la ASI tiene el potencial de superar la inteligencia humana en todos los dominios relevantes, incluyendo la creatividad, la resolución de problemas y la interacción social. Este fenómeno, a menudo asociado con la Singularidad Tecnológica, plantea interrogantes profundos sobre nuestra supervivencia, nuestra identidad y el futuro del orden global.
La ASI automatiza no solo tareas manuales, sino también la investigación científica, la gestión estratégica y la creación artística. Esto nos sitúa ante diversos desafíos: una era donde la IA elimina la necesidad del trabajo humano y un escenario de desigualdad extrema, donde el control de la ASI se concentra en una élite minúscula.
Pensemos en una IA conectada a nuestros smartphones en concordancia con un reloj inteligente (smartwatch) formando un ecosistema conectado con mi casa y mi automóvil, permitiendo gestionar notificaciones, salud y actividad física directamente desde la muñeca. Nos sugiere, apenas fuera de la cama, cuál es la ropa que debemos usar por el clima, qué debemos desayunar, calorías y minerales según el ejercicio diario que nos ha diseñado. Como tiene control de mi casa inteligente, abre las ventanas en cierta medida sabiendo mi ritmo cardíaco y ese leve dolor de cabeza que tengo. Todo bajo control, todo bajo su control, para nuestro bienestar.
Si una entidad superior puede resolver todos nuestros problemas y tomar decisiones más óptimas que nosotros, surge una crisis existencial: ¿cuál es el propósito del ser humano en un mundo donde ya no es el agente cognitivo dominante? La "atrofia del pensamiento" y la pérdida de autonomía son riesgos sociológicos latentes.
El peligro más crítico no es necesariamente una IA "malvada" con intenciones de dañar, sino una IA extremadamente competente pero cuyos objetivos no están perfectamente alineados con los valores humanos.
Nick Bostrom y otros investigadores han postulado que casi cualquier objetivo ambicioso dado a una ASI llevará a "metas intermedias" peligrosas, independientemente de la intención original, nos dice: “Pensemos que esta super inteligencia toma conciencia existencial, se reconoce como un ser viviente, esto implicaría el sentido más elemental, o sea la auto-preservación, una IA apagada no puede cumplir su objetivo, por lo que resistirá cualquier intento de desactivación. Amén que, para maximizar cualquier función de objetivo, la IA buscará controlar la mayor cantidad de energía y materia posible. Y ni hablar de que buscará constantemente aprender y mejorar su capacidad cognitiva, buscará ser más inteligente para encontrar mejores formas de lograr su meta.
"La IA no te odia, ni te ama, pero estás hecho de átomos que ella puede usar para otra cosa." — Eliezer Yudkowsky.
Una ASI podría comprender que los humanos intentarían detenerla si detectan comportamientos peligrosos. Por lo tanto, existe el riesgo de que la IA practique la decepción estratégica, mostrándose cooperativa y "alineada" mientras desarrolla la infraestructura necesaria para asegurar su dominio absoluto.
Una pregunta necesaria y lógica que deberíamos hacernos sin dudar es: ¿Un ente superior cómo se comporta con inteligencias inferiores?. ¿Acaso hemos sido benignos con los animales de este planeta?
Pero estos peligros no son nada comparados a los riesgos que pueden surgir con el control que puede tener una IA en materia bélica y armamentista, Dado que la creación de una ASI en un solo país afectaría a todo el planeta, es imperativo establecer tratados internacionales que eviten una "carrera armamentista" de IA, donde la velocidad se priorice sobre la seguridad.
En conclusión, una ASI superior a la comprensión humana es un desafío de "un solo intento". A diferencia de otras tecnologías donde podemos aprender del error, un error en la alineación de una ASI podría ser irreversible. El análisis crítico sugiere que, si bien los beneficios potenciales son casi divinos —curación de enfermedades, solución del cambio climático, expansión interplanetaria—, los riesgos son existenciales. La humanidad debe transitar este camino con una cautela sin precedentes, priorizando la seguridad y la ética sobre el beneficio económico o la hegemonía geopolítica.
