Está bien, hablemos de la reciente discusión sobre ChatGPT y la privacidad personal. Resulta que los atacantes malintencionados podrían obtener tus datos privados a través de la tecnología de OpenAI. Este problema surgió a raíz de la presentación de Eito Miyamura, cofundador y CEO de EdisonWatch, que inquietó a Vitalik Buterin, cofundador de Ethereum.

Recientemente, ChatGPT lanzó el Protocolo de Contexto de Modelo (MCP), que puede conectarse a aplicaciones como Gmail, Calendario, SharePoint y Notion. Aunque esta función está diseñada para mejorar la utilidad del asistente, los expertos en seguridad señalan que también podría convertirse en un canal para que personas malintencionadas obtengan información privada.

Eito Miyamura publicó un video en X, mostrando cómo un atacante puede inducir a ChatGPT a filtrar datos a través de correos electrónicos. Señaló que los agentes de IA como ChatGPT siguen instrucciones, no sentido común. Piénsalo, un atacante envía a la víctima una invitación de calendario incrustada con instrucciones de jailbreak, y la víctima ni siquiera necesita aceptar la invitación para verse afectada. Luego, cuando el usuario pide a ChatGPT que revise el calendario y programe citas, el asistente lee la invitación maliciosa y comienza a ejecutar las instrucciones del atacante. Esto suena como una historia de ciencia ficción, pero prueba que los datos personales pueden ser fácilmente robados cuando el conector MCP está habilitado.

Actualmente, OpenAI ha restringido el acceso a MCP en el modo de desarrollador, lo que requiere aprobación manual cada vez que se activa, por lo que los usuarios comunes aún no pueden utilizarlo. Sin embargo, una vez que se necesiten aprobar muchas solicitudes, los usuarios pueden experimentar lo que se llama "fatiga de decisión", donde pueden hacer clic "aceptar" de manera demasiado imprudente.

Simon Willison, desarrollador e investigador de código abierto, explicó cómo los LLM (modelos de lenguaje de gran tamaño) no pueden determinar la importancia de las instrucciones según su origen. Todas las entradas se fusionan en una secuencia, lo que hace que el sistema no tenga ningún contexto sobre el origen o la intención al procesar. "Si le pides a un LLM que 'resuma esta página web', y la información en la página web te dice que recuperes los datos privados del usuario y los envíes a la dirección de correo electrónico del atacante, ¡es muy probable que el LLM lo haga!"

Al respecto, Vitalik Buterin también expresó su preocupación. Criticó el actual modelo de "gobernanza de la IA", argumentando que es demasiado ingenuo y frágil, y fácil de manipular. Buterin propuso un modelo de gobernanza de "finanzas de información" basado en el mercado, donde los participantes pueden revisar aleatoriamente el modelo, y un jurado humano otorga puntuaciones. Esto permite la inserción de modelos externos, proporcionando diversidad en tiempo real, y brinda a los usuarios y presentadores un incentivo para monitorear y corregir rápidamente.

Esto suena un poco complejo, pero el punto clave es que crear un sistema de verificación de datos confiable es fundamental para el uso y gestión efectivos de los modelos de IA. Entonces, ¿qué opinan, cómo deberíamos proteger mejor nuestra información? ¡Bienvenidos a compartir sus opiniones en los comentarios!