Добре, давайте поговоримо про нещодавні обговорення щодо ChatGPT та особистої конфіденційності. Виявляється, зловмисники можуть отримати ваші приватні дані за допомогою технологій OpenAI. Це питання виникло через демонстрацію співзасновника та CEO EdisonWatch Еіто Міямури, що викликало занепокоєння у співзасновника Ethereum Віталіка Бутеріна.

Нещодавно ChatGPT представив Протокол контексту моделі (MCP), який може підключатися до таких додатків, як Gmail, календар, SharePoint, Notion тощо. Хоча ця функція спрямована на підвищення корисності помічника, експерти з безпеки вказують, що це також може стати каналом для зловмисників для отримання приватної інформації.

Eito Miyamura опублікував відео на X, в якому показує, як зловмисники можуть спонукати ChatGPT розкрити дані через електронну пошту. Він зазначив, що такі AI-агенти, як ChatGPT, виконують команди, а не керуються здоровим глуздом. Подумайте, зловмисник надсилає жертві календарне запрошення з вбудованими командами для обходу захисту, жертві навіть не потрібно приймати запрошення, щоб на неї це вплинуло. Потім, коли користувач просить ChatGPT переглянути календар і запланувати зустріч, помічник читає шкідливе запрошення і починає виконувати команди зловмисника. Це звучить як наукова фантастика, але це доводить, що особисті дані можуть бути легко викрадені, коли увімкнено з'єднувач MCP.

Наразі OpenAI обмежила доступ до MCP в режимі розробника, і для його активації потрібно щоразу ручне схвалення, тому звичайні користувачі поки не можуть його використовувати. Однак, коли буде необхідно схвалити велику кількість запитів, у користувачів може з'явитися так зване "втома від рішень", і вони можуть надто поспішно натискати "прийняти".

Саймон Віллісон, розробник з відкритим кодом та дослідник, пояснив, як LLM (великі мовні моделі) не можуть оцінити важливість джерела інструкцій. Всі введення об'єднуються в одну послідовність, що не надає системі жодного контексту щодо джерела чи наміру під час обробки. "Якщо ви попросите LLM 'підсумувати цю веб-сторінку', а інформація на веб-сторінці вказує на те, щоб отримати приватні дані користувача та надіслати їх на електронну пошту зловмисника, цілком ймовірно, що LLM це зробить!"

На це Віталік Бутерін також висловив занепокоєння. Він критикував існуючу модель "управління ШІ", вважаючи її надто наївною та вразливою, легкою для маніпулювання. Бутерін запропонував модель "інформаційних фінансів" на основі ринку, де учасники можуть випадковим чином перевіряти модель, а журі з людей оцінює її. Це дозволяє зовнішнім моделям інтегруватися, забезпечуючи реальний різноманітність та надаючи користувачам і подавачам мотивацію для моніторингу та швидкого виправлення.

Це звучить трохи складно, але основна суть полягає в тому, що створення надійної системи перевірки даних є ключовим для ефективного використання та управління AI моделями. Отже, як ви вважаєте, ми повинні краще захищати нашу інформацію? Ласкаво просимо поділитися своїми думками в коментарях!