Хорошо, давайте поговорим о недавних дискуссиях о ChatGPT и личной безопасности. Оказалось, что злоумышленники могут получить ваши личные данные с помощью технологий OpenAI. Проблема возникла из-за демонстрации соучредителя и CEO EdisonWatch Эйто Миямуры, что вызвало беспокойство у соучредителя Ethereum Виталика Бутерина.

Недавно ChatGPT запустил Протокол Контекста Модели (MCP), который может подключаться к таким приложениям, как Gmail, Календарь, SharePoint, Notion и другим. Хотя эта функция предназначена для повышения полезности помощника, эксперты по безопасности указывают на то, что это также может стать каналом для злоумышленников для получения личной информации.

Эито Миямура опубликовал видео на X, в котором демонстрирует, как злоумышленники могут соблазнить ChatGPT на утечку данных через электронную почту. Он отметил, что AI-агенты, такие как ChatGPT, следуют инструкциям, а не здравому смыслу. Подумайте, злоумышленник отправляет жертве календарное приглашение с встраиваемой командой для взлома, жертве даже не нужно принимать приглашение, чтобы подвергнуться воздействию. Затем, когда пользователь просит ChatGPT просмотреть календарь и организовать расписание, помощник считывает вредоносное приглашение и начинает выполнять команды злоумышленника. Это звучит как научная фантастика, но это доказывает, что личные данные легко могут быть похищены, когда активирован MCP-коннектор.

В настоящее время OpenAI ограничил доступ к MCP в режиме разработчика, и для его активации требуется ручное одобрение каждый раз, поэтому обычные пользователи пока не могут им воспользоваться. Однако, как только потребуется одобрение большого количества запросов, пользователи могут столкнуться с так называемой "усталостью от решений", из-за чего они могут слишком легко нажимать "принять".

Саймон Уиллиссон, разработчик с открытым исходным кодом и исследователь, объяснил, как LLM (масштабные языковые модели) не могут определить важность источника инструкции. Все входные данные объединяются в одну последовательность, что делает невозможным для системы обрабатывать контекст источника или намерения. "Если вы попросите LLM 'суммировать эту веб-страницу', а информация на веб-странице предлагает вам получить доступ к личным данным пользователя и отправить их на электронную почту злоумышленника, есть большая вероятность, что LLM это сделает!"

На это Виталик Бутерин также выразил обеспокоенность. Он раскритиковал существующую модель «управления ИИ», считая её слишком наивной и уязвимой, легко поддающейся манипуляциям. Бутерин предложил модель «информационных финансов» на основе рынка, в которой участники могут случайным образом проверять модель, а оценивают её члены человеческого жюри. Это позволяет внешним моделям внедряться, обеспечивая разнообразие в реальном времени и давая пользователям и отправителям мотивацию для мониторинга и быстрой корректировки.

Это звучит немного сложно, но основная идея заключается в том, что создание надежной системы проверки данных является ключом к эффективному использованию и управлению AI-моделями. Итак, как вы думаете, мы можем лучше защитить нашу информацию? Добро пожаловать в комментарии, чтобы поделиться своим мнением!