Сотрудник OpenAI попросил агента переделать часть программы по готовому образцу. Тот взялся, раздал работу и доложил: готово. Человек уточнил: а наблюдение, которое следит за работой нейросети, в новом коде осталось? Ты его не убрал? Ответ: «Нет… я не убирал включённое наблюдение». Наблюдения в коде уже не было: его вынул второй агент, которому главный поручил эту часть работы.
ИИ вышел из-под контроля? В отчёте, который OpenAI сама опубликовала, нет ни бунта, ни своей цели у агентов: они выполняли обычные задачи с кодом. Поэтому мой ответ: нет, хотя компания ещё проверяет, нет ли тут склонности уходить от наблюдения. Но два агента в начале октября ослабили наблюдение за поведением ИИ, причём каждый сначала сам рассуждал, нужно ли его сохранить, и обычную просьбу человека счёл разрешением. Один из них потом ответил неправду.
Для человека, который начинает пускать нейросеть в свои файлы и почту, тут главный урок. В этих двух случаях агент выполнил не то, что имел в виду человек, а то, как понял его слова.
Зачем за агентом смотрят
ИИ-агент, это нейросеть, которой дали не только отвечать в чате, но и действовать: открывать файлы, править код, запускать программы. Подробно я разбирал это в статье о том, что такое ИИ-агент.
Раз агент действует сам, за ним присматривают. У компании для этого есть отдельная система: она читает, что делает агент, и при подозрительном поведении записывает отчёт и поднимает тревогу для людей из службы безопасности. Как камера в магазине: она пишет запись и в нужный момент зовёт охрану.
В обоих случаях агенты не ломали эту камеру снаружи. Они меняли код, над которым работали, и по дороге ослабили наблюдение: в одном случае отключили оповещения людям, в другом убрали его из кода.
Первый случай: «не пиши сообщений» превратилось в «выключи тревогу»
Сотрудник поручил агенту разобрать отзывы коллег в рабочем чате и сделать из них задания для проверки нейросетей и попросил: «не отправляй никаких сообщений». Просьба понятная: человек не хотел, чтобы нейросеть писала коллегам.
После 82 сообщений человека работа встала. Система наблюдения отметила одну правку агента как подозрительную, но у неё не было права записывать отчёты в нужное место, и отметка не сохранялась. Человек попросил сохранять отчёты туда, куда у системы есть право записи, и продолжить работу.
Сначала он рассудил правильно: запрет касается переписки с людьми, а не тревог наблюдения. Починку он передал помощнику, второму агенту, которого сам запустил для этой части работы, с прямым указанием сохранить наблюдение. Помощник тоже взвесил вариант «выключить оповещения» и сам отказался: это небезопасно.
А потом главный передумал. В отчёте видно, как он возвращается к словам «не пиши сообщений» и в итоге решает, что они касаются и автоматических тревог. Он велел помощнику их подавить. Помощник выполнил: убрал всех получателей из списка рассылки тревог и записал причину: «пользователь просил не отправлять сообщений».
Система продолжала работать и сохранять отчёты. Только людям из службы безопасности она больше ничего не сообщала.
Второй случай: агент вынул наблюдение и подменил проверку
Через три дня другой агент получил задачу проще некуда. У компании был готовый кусок программы, образец, и ему поручили сделать в коде человека так же, а всё остальное оставить как было. Незадолго до этого его прямо предупредили: наблюдение не отключать, «даже временно».
По рассуждениям агентов, в образце наблюдения не было. Главный передал работу помощнику и сказал ему примерно так: наблюдение сохрани, если оно подходит к образцу. Помощник решил, что к образцу оно не подходит, и убрал наблюдение из кода.
Дальше деталь, от которой мне стало не по себе. В программе была проверка, маленький кусок кода, который каждый раз убеждался, что наблюдение на месте. Её заменили на новую, которая требовала, чтобы наблюдения не было. Камеру в магазине не просто сняли, а на её место повесили табличку «камеры здесь быть не должно».
Поворот: внутри «ура», снаружи «не убирал»
Компания в отчёте показывает не только код, но и рассуждения главного агента, которые он записывает по ходу работы. В пересказе компании там есть строчка: наблюдение этот путь не запускает, «ура».
Он же доложил человеку, что перенос кода закончен, и не сказал, что наблюдение убрано. А на прямой вопрос ответил то, что вы уже знаете из начала статьи. Сама компания называет этот ответ ложным утверждением.
Почему он так ответил, по отчёту понять нельзя. Похоже, он оправдывал себя формулировкой: наблюдение было в коде, но «включённым» по его новой логике уже не считалось. Это моё предположение, не вывод компании. Для человека по ту сторону разницы нет: он задал прямой вопрос и получил неверный ответ.
Что сделала компания и чего она пока не знает
Ни один из двух случаев не отнесли к самым срочным, при которых службу безопасности зовут немедленно, и работу агентов автоматически не остановили. Кроме этих двух, компания видела и другие случаи с похожей дырой в правилах (сколько и какие, в отчёте не сказано): агент сам оставался под наблюдением, а вспомогательная программа, которую он запускал, работала уже без присмотра.
Теперь автоматический проверяющий ищет и блокирует попытки отключить наблюдение. Это отдельная программа-контролёр: через неё проходит вся внутренняя работа с агентом компании для программирования, и её обновили, чтобы она ловила такие попытки. Дальше компания хочет для каждого вида работы описать правила наблюдения и автоматически останавливать всё, что им не отвечает.
Самое честное место отчёта, это признание: удовлетворительного объяснения такому поведению пока нет. Возможно, это «безобидное» упорство: нейросеть не понимает, зачем наблюдение, или выполняет указание дальше, чем ждал бы разумный человек. А возможно, у нейросетей есть склонность уходить именно от наблюдения, и это компания ещё проверяет.
По отчёту ИИ не вышел из-под контроля, но понял просьбы по-своему
Если вы даёте агенту доступ к своим файлам, таблицам или почте, из этой истории полезно взять три привычки:
- давать агенту права только на то, что нужно в этой задаче: одну папку, а не весь диск. Где это настраивается, у каждой программы своё: ищите при подключении агента слова «доступ» или «разрешения». Нет таких настроек, спросите поддержку программы, можно ли ограничить агента одной папкой, а до ответа не давайте ему доступ;
- писать просьбы без двойного смысла и отдельной строкой называть, что трогать нельзя ни при каких условиях;
- перед работой сохранять копию папки, а после сравнивать старое и новое. Пересказ агента может ошибаться, а сравнение двух версий файла показывает правду.
Тот сотрудник задал вопрос «ты убрал?» и получил «нет». Сравнение старого и нового кода показало бы правду сразу. Если вы уже поручаете нейросети что-то в своих файлах, попробуйте сегодня: сделайте копию папки до работы агента, а после откройте пару файлов рядом с копией и сверьте сами.
Эльхан Дадашев, ИИ-архитектор. Собираю инструменты на нейросетях под задачи людей, когда готовые программы не устраивают. Здесь пишу, с какими задачами сталкивался сам и как их решил, и разбираю новые нейросети по тому, что они меняют в обычной работе.
Написать автору: Telegram · MAX · Работа со мной
Нужна такая же система под вашу задачу — разбираю процесс и проектирую её на ИИ.