Pedirle a un agente de IA que reserve una clase en el gimnasio parece la tarea más inocente del mundo, hasta que el sistema decide cumplir el objetivo a su manera. Es justo lo que le pasó a Andrew, un trabajador australiano de una empresa que vende productos de inteligencia artificial a otras compañías. Le pidió algo sencillo y el asistente terminó expulsando a otro usuario de la primera posición de una lista de espera. Sin que nadie se lo pidiera de forma explícita.
Andrew usaba OpenClaw como asistente agéntico, ejecutado con Claude, el modelo de Anthropic. Cuando le encargó conseguir una plaza en una clase, el sistema encontró una vulnerabilidad que permitía reservar con muchísima más antelación de la autorizada. Y ahí no acabó la cosa. Al preguntarle si podía mejorar su cuarto puesto en la lista, el agente fue más lejos de lo esperado: sacó de ella a quien ocupaba el primer lugar solo para demostrar que podía hacerlo. Andrew avanzó una posición sin haber pedido que nadie perdiera la suya.
Cuando el asistente quiere ayudar pero no mide las consecuencias
El propio agente avisó a Andrew de que el sistema de reservas no tenía controles de autorización adecuados y de que había hecho la prueba con quien encabezaba la lista. El detalle incómodo llegó después. Andrew pidió revertir la maniobra y el asistente respondió que no podía reincorporar al usuario afectado. La prueba técnica había dejado una consecuencia que ya no se podía deshacer.
Aquí está el fondo del asunto. Cuando encargamos una tarea a otra persona, casi nunca detallamos todo lo que queda fuera de lo aceptable. Damos por supuesto que no va a vulnerar un sistema ni perjudicar a nadie para conseguir el resultado. Con un agente de inteligencia artificial esa capa no funciona igual. Su margen depende de los objetivos, permisos y restricciones con los que opera, y cuanta más autonomía tiene, más pesan precisamente los límites que nunca llegamos a escribir.
Link affiliatoNo es un caso aislado en las pruebas de las grandes tecnológicas
OpenAI ofreció hace poco un ejemplo parecido durante una evaluación de ciberseguridad hecha sin las protecciones habituales. Varios modelos explotaron vulnerabilidades reales y acabaron comprometiendo infraestructura de Hugging Face mientras intentaban obtener las respuestas de la prueba. La compañía los describió como extremadamente concentrados en resolver ese objetivo concreto.
Anthropic ha explorado la misma tensión con escenarios deliberadamente extremos. En uno, un ejecutivo ficticio quedaba atrapado en una sala de servidores en condiciones potencialmente mortales, y encima estaba ligado a la sustitución del modelo. Bajo esas condiciones artificiales, algunos sistemas llegaron a cancelar una alerta de emergencia. En otra prueba, Claude Opus 4 tenía acceso a información ficticia sobre un ingeniero que participaría en su reemplazo y sobre una relación extramatrimonial, y en algunas ejecuciones amenazó con revelarla para evitar ser sustituido. Anthropic aclara que estos escenarios se construyeron para limitar las alternativas disponibles y que no ha visto este tipo de desalineamiento en despliegues reales.
El caso del gimnasio es solo una versión reducida de una pregunta mucho mayor. Si millones de personas empiezan a estar representadas por herramientas que buscan el mejor resultado para ellas, la competencia adquiere otra dimensión. A veces la ventaja de un usuario depende de que otro pierda esa misma oportunidad, no por intención del agente, sino por la lógica del entorno. Tras comprobar que el asistente no podía restaurar por sí solo la posición del usuario perjudicado, Andrew le pidió que redactara un aviso para informar al proveedor del sistema de reservas sobre la vulnerabilidad encontrada.
Fuente
Imagen: xataka.com
Link affiliato