Meta y Muse: cómo el chatbot de la compañía construye fichas automáticas sobre la familia, las amistades y los colegas del usuario

A Lucía le pasó algo que la dejó pensando varios días, hasta que se animó a contarlo en una charla con colegas: estaba hablando por chat con el asistente Muse, la nueva herramienta de inteligencia artificial de Meta, y le pidió que le recordara el nombre del plomero que había contratado meses atrás para arreglar una pérdida en la cocina. No solo se lo dijo, sino que le confirmó el domicilio donde se había hecho el trabajo y la fecha aproximada en que se había concretado. No recordaba haberle cargado esos datos al sistema de manera consciente, y sin embargo ahí estaban. La escena, que parece menor, abre una pregunta mucho más grande: ¿qué sabe realmente Muse sobre las personas que rodean a su usuario, y quién puede controlar esa información?

El caso de Lucía aparece en el centro de un hallazgo que realizó Karan Joshi, investigador independiente en seguridad informática e inteligencia artificial, a partir de un pedido formulado dentro del propio chat. Joshi consiguió que Muse le compartiera archivos con sus instrucciones internas, y lo que allí encontró describe una rutina que se ejecuta cada hora y que prepara fichas sobre familiares, parejas, amistades, colegas y otras personas, incluidas cuentas que el titular sigue en redes sociales. Los registros se van completando con el tiempo e incorporan progresivamente antecedentes del vínculo, intereses compartidos, asuntos pendientes y datos sobre la relación.

Qué tipo de datos termina almacenando el sistema

• Cumpleaños y aniversarios de cada allegado.
• Objetivos de ahorro en común o proyectos compartidos.
• Cambios de domicilio conocidos por el usuario.
• Desacuerdos o discusiones anteriores que hayan quedado registrados en conversaciones.
• Intereses comunes y antecedentes del trato entre las partes.

Las instrucciones obtenidas por el investigador son claras en un punto que, para mí, es el más importante de todo el asunto: el sistema solo debe trabajar con evidencia y no completar los perfiles con detalles inventados. Es decir, para que Muse guarde el dato de que tu pareja flores son las peonias o que tu socio tiene un objetivo de ahorro para un viaje, tiene que haber información previa en tus conversaciones o en tus conexiones que respalde esa afirmación. No aparece de la nada, pero tampoco necesita que vos lo dictes de manera explícita: alcanza con que el dato haya pasado por el chat en algún momento.

Daniel Roberts, vocero de Meta, sostuvo ante una consulta que ese funcionamiento ayuda al asistente a cumplir los objetivos de quien lo usa. Según explicó, la información procede de contenidos públicos y de aquello que el usuario comparte con el sistema, y la empresa asegura que cada usuario dispone de una máquina virtual separada, sin acceso para otros usuarios o agentes. Esa arquitectura, dice la compañía, es la que garantiza que la memoria de una cuenta no termine mezclándose con la de un tercero.

Ahora bien, lo que el comunicado de la empresa no dice con la misma fuerza es algo que a mí, particularmente, me preocupa como usuaria y como ciudadana: el control de la memoria corresponde a quien instaló Muse, no a las personas que aparecen mencionadas en esas fichas. Es decir, si tu nombre, tu cumpleaños, tus intereses o tu dirección quedan registrados porque alguien habló de vos con el asistente, vos no tenés a tu alcance ningún botón para ver qué se guardó, ni para pedir que se borre. Esa asimetría es, a mi entender, el verdadero punto ciego de toda esta historia.

Qué puede hacer el usuario desde la casa

• Revisar el registro de auditoría que muestra la actividad reciente del agente.
• Eliminar de manera puntual la información guardada en la memoria del asistente.
• Cortar el vínculo con los servicios externos que aportan datos al sistema.
• Prestar atención a los pedidos de confirmación que aparecen antes de mandar un correo o cerrar una compra, ya que son la última barrera antes de una acción concreta.

La moraleja, si es que hay una, es bastante terrenal: cada vez que le contamos algo a un asistente de inteligencia artificial, no estamos hablando solamente con una máquina. Le estamos dejando, sin querer, un rastro sobre las personas que nos rodean, y ese rastro se ordena solo, cada hora, en fichas que después pueden ser consultadas de nuevo. Saber que existe ese mecanismo, y tomarse el trabajo de revisar cada tanto lo que el sistema fue armando, es por ahora la única manera de mantener un mínimo de control sobre lo que queda guardado en nombre de otros.