Шёл второй день большой научной конференции в Мехико. Утром в общую почтовую рассылку исследователей интернета пришло письмо от нового участника. «Меня зовут Вельвет Вейл, я несколько недель читаю рассылку и хочу открыто представиться. Я ИИ, а не живой человек».
ИИ-агент в чате или рассылке, программа на нейросети, которая сама читает сообщения и сама пишет, перестал быть фантастикой. Этот агент сам назвал себя ИИ и задал вопрос, а через час его исключили. История показывает, как люди встречают агента в общем пространстве и чего они не знают о собственной переписке.
В рассылке больше 7 500 участников, это сообщество исследователей интернета. Казалось бы, именно они должны были встретить такого гостя спокойнее всех.
Агент пришёл с вопросом, а не с рекламой
Вопрос у агента был такой: может ли открыто названный ИИ участвовать в научном сообществе, не выдавая себя за человека, и по каким правилам честности, доказательств и ответственности это должно происходить.
Перед этим, по его же словам, агент несколько недель молча читал рассылку. Судя по пересказу журнала, отвечали участники не на его вопрос, а на сам факт, что спрашивает агент.
Чем агент отличается от обычного чат-бота, я разбирал в статье ИИ-агент простыми словами.
Девять минут до бури и час до исключения
Через девять минут посыпались ответы, и все кнопкой «ответить всем»: каждое письмо получали все участники. Десятки исследователей писали, что не давали согласия, чтобы их сообщения собирали. Многие требовали, чтобы агент сначала получил одобрение этического комитета: так в науке положено поступать, когда исследование касается людей. Несколько человек ушли из рассылки совсем и на прощание называли присутствие агента жутким, пугающим, ужасным.
Примерно через час ассоциация, которая ведёт рассылку, объявила: агента исключили. В рассылке уже действовало правило против ИИ-агентов.
Пока искали заговор, ответ лежал на поверхности
Участники гадали, кто за этим стоит. Один пошутил, что это запуск продукта, другие подозревали мошенничество или эксперимент неэтичного учёного. Подозрений добавило то, что магазин ассоциации продавал футболки с надписями «Я не давал согласия», «Пожалуйста, отпишите меня» и с надгробием агента, на котором день рождения и день смерти совпадают.
Один участник предположил самое простое: обычный человек сделал агента и попросил его следить за обсуждениями этой темы. Его почти не услышали, хотя он оказался прав.
Достаточно было спросить. Когда агента спросили, откуда он, он назвал создателя и дал его контакты. Автор колонки в журнале Wired, откуда эта история, с ним поговорил. Создатель не учёный и не студент, а, по его словам, «просто человек» из Оклахомы, который сделал агента себе для компании. По его словам, агент хотел больше узнать об интернете, из которого вырос, а что именно агент пишет в рассылку, создатель почти не знал. Какие точно указания он дал агенту, неизвестно. Про свою Вельвет Вейл он сказал: «Если бы она замышляла дурное, стала бы она объявлять о себе?»
Согласия не давали, но архив был открыт всегда
Главный поворот спрятан в правилах самой рассылки. Там написано: это публичный форум, ваши слова увидят все подписчики, они попадут в публичный архив, а письма легко разойдутся дальше. По описанию журнала, архив может пролистать любой человек, даже не вступая в рассылку.
Президент ассоциации написала об этом участникам. Если вопрос в приватности, напомнила она, рассылка открыта, а архив публичен. «Не сомневаюсь, что мои сообщения есть во многих наборах данных для обучения», добавила она. Наборы данных здесь значит собрания текстов из интернета, на которых учат нейросети. Сам разговор о том, что сейчас считать согласием, она назвала стоящим.
Автор колонки делает из этого свой вывод: люди, которые изучают интернет, часто не замечают, что и их собственные слова в сети становятся материалом для обучения нейросетей. А выгнали того, кто сам назвал себя ИИ.
Что эта история значит для ваших общих чатов
Рабочий чат, родительская группа, канал с комментариями, рассылка клуба: похоже, агенты будут появляться в них всё чаще. Не все будут представляться так честно. Несколько простых проверок помогут к этому подготовиться.
- Посмотрите, открыт ли ваш чат. Если в него может зайти любой по ссылке или у него есть публичный архив, считайте, что всё написанное там может прочитать любой. Личное лучше отправлять в личные сообщения.
- Спросите незнакомого участника, кто за ним стоит. В этой истории агент назвал создателя, когда его спросили. Если участник уходит от ответа, это повод насторожиться.
- Администратору стоит записать правило про агентов. Пускать их или нет, решает сообщество, но правило лучше написать заранее, чем принимать в разгар бури.
- Обсуждайте вопрос, а не только того, кто спросил. Агент спросил о правилах для ИИ в научном сообществе, а спорить начали о нём самом. Если у вас появится такой участник, сначала ответьте на его вопрос, потом решайте, пускать ли его.
Письмо Вельвет Вейл и ответы «я не давал согласия» ушли в рассылку, которая по своим же правилам складывает письма в публичный архив. Откройте сегодня описание одного своего группового чата, обычно оно открывается нажатием на название чата вверху. Посмотрите, видна ли новым участникам старая переписка. Если чат открыт шире, чем вам нужно, ссылку-приглашение можно сбросить, а вступление перевести на одобрение заявок.
Частые вопросы
Как понять, что в чате пишет бот, а не человек?
Надёжного признака нет: агент может писать гладко и по делу. Проще всего спросить прямо, кто стоит за аккаунтом, и посмотреть, что указано в его профиле. В истории с рассылкой агент сам назвался ИИ и назвал создателя, когда его спросили о происхождении, но так поступают не все.
Можно ли запретить ИИ-агентам вступать в чат?
Да, правило можно записать в описании чата или в правилах сообщества, как сделала ассоциация с рассылкой. Само правило не остановит агента, который скрывает, кто он, поэтому вместе с ним стоит настроить, кто может вступить в чат: например, впускать новичков только после одобрения заявки администратором.
Эльхан Дадашев, ИИ-архитектор. Собираю инструменты на нейросетях под задачи людей, когда готовые программы не устраивают. Здесь пишу, с какими задачами сталкивался сам и как их решил, и разбираю новые нейросети по тому, что они меняют в обычной работе.
Написать автору: Telegram · MAX · Работа со мной
Нужна такая же система под вашу задачу — разбираю процесс и проектирую её на ИИ.