Программа пишет: «Сбор закончен». Это моя программа, она собирает сообщения из Telegram-каналов. Я открываю результат и сверяю его с тем, что должно было прийти: эту историю канала я собрал сам и знаю, сколько в ней сообщений. Тысячи не хватает, а программа молчит. Запускаю повторный сбор, чтобы добрать недостающее. Он не добирает ни одного.
Так же молча может ошибаться и нейросеть на ваших заявках. Поэтому внедрение ИИ в бизнес я начинаю не с выбора нейросети, а с проверки процесса. Записаны ли правила, есть ли примеры с заранее известным ответом, кто посмотрит результат своими глазами. Если правила живут в голове одного сотрудника, нейросеть просто быстрее повторит неразбериху.
Самая дорогая ошибка при запуске ИИ выглядит как успех: отчёт говорит «готово», деньги потрачены, а результат никто не сверил. Ниже пять признаков, по которым я проверяю процесс, и на чём я выучил каждый.
Нейросеть усиливает то, что в процессе уже есть
Бывает, что заявки разбирает один сотрудник, «как чувствует». Правил на бумаге нет, всё держится на его опыте. Если подключить к такому процессу нейросеть, она будет разбирать заявки так же непредсказуемо, только быстрее и без его чутья.
Ректор петербургской бизнес-школы ИМИСП Ярослав Павлов в колонке для «Делового Петербурга» говорит об этом коротко: ИИ не магия и «усиливает то, что уже есть». Внедрять его из моды и из страха опоздать он отговаривает.
Поэтому вопрос «какую нейросеть взять» я откладываю и сначала смотрю на сам процесс.
Правила записаны, а не живут в голове сотрудника
Я понял это на системе для рекламы в Директе. Она сама собирает рекламные кампании и проверяет их перед запуском. Работала она по купленному руководству, где многие правила однозначны: сделай так, а не иначе.
Пока систему писали, в неё попали настройки, которые позволяли правило пропустить. Руководство говорило «только так», а система вежливо разрешала обойти. Правило превратилось в пожелание.
Я остановил это одной фразой: руководство куплено, чтобы работать по нему. Лазейки убрали, и нарушение стало ошибкой, которая не пускает работу дальше.
Программа и нейросеть не умеют работать «по ситуации»: где правило не записано, они угадывают. Правило, которое живёт только в голове сотрудника, для программы не существует.
Попробуйте выписать правила процесса на одну страницу и дать её новому сотруднику. Если на его вопросы приходится отвечать «смотря как», этот кусок процесса к ИИ пока не готов.
Есть примеры, где правильный ответ известен заранее
Сбой из начала статьи я увидел только потому, что проверял программу не на живом канале, а на искусственной истории. Сколько в ней сообщений, я знал заранее. На живом канале пропажу никто бы не заметил: откуда знать, сколько там сообщений на самом деле?
Я переделал сбор: теперь он идёт порциями и помнит, где остановился. Проверочная история прошла целиком, пропавшая тысяча вернулась. На настоящем Telegram этот этап тогда не проверялся, и эту границу я держу в уме.
С заявками и документами то же самое. Перед запуском отберите 20–30 прошлых случаев, по которым правильный ответ уже известен. На них сразу видно, где нейросеть ошибается, и эту ошибку находите вы, а не клиент.
Результат смотрит человек, а не только читает отчёт
В той же программе нашлась и обратная ловушка. Сбор прошёл, а человек открывал результаты и видел пустой список: настройки показа по умолчанию прятали всё. Отчёт говорил «готово», глаза видели пустоту, и легко было решить, что сбор не сработал.
Было и такое: неверный ответ нейросети программа записывала как «успешный пустой результат». Теперь результат виден сразу целиком, а ошибка не прячется за успехом. Почему отчёту нейросети не стоит верить на слово, я подробно разбирал в статье про ИИ-агента.
Пока идёт пробный запуск, каждый день открывайте сами 10 случайных результатов. Если смотреть некому, ошибку первыми заметят клиенты.
Сначала маленький кусок, потом весь объём
Когда я готовил перенос 7 ГБ файлов на сервер, то есть на компьютер в интернете, который работает круглые сутки, перед большим переносом замерил скорость на маленьком куске. Вышло 8 КБ за 30 секунд, то есть почти ничего. При такой скорости 7 ГБ шли бы 2038 часов.
Причина оказалась в самодельной программе для передачи: она отправляла данные по одному байту, самой мелкой крупице информации. После правки, по новому замеру, 7 ГБ шли бы примерно 23 минуты. Полминуты замера показали проблему раньше, чем я начал ждать.
С ИИ так же: один процесс, один тип заявок, один отдел. Павлов в той же колонке предупреждает, что «россыпь неудачных пилотов приведёт только к скептицизму и сопротивлению в будущем». Пилот, то есть пробный запуск на маленьком участке, дёшево показывает проблему до больших трат. До запуска запишите, по какому признаку поймёте, что получилось. Например, сколько из прошлых случаев с известным ответом нейросеть разобрала верно.
Заранее решено, что нейросеть делает только после «да» человека
В своих системах я делю действия на обратимые и необратимые. Черновик, сводку или подсказку нейросеть делает сама: ошибку видно, текст можно не брать. Отправка клиенту, удаление и оплата идут только после «да» человека.
Перед запуском выпишите действия, которые в вашем процессе уже не отменить, и на каждое поставьте подтверждение.
Второй вопрос касается данных: договоров, паспортных данных, переписки с клиентами. До пилота решите, что из этого можно показывать нейросети в облаке, то есть на чужих серверах в интернете. Если это данные ваших клиентов, для передачи в чужой сервис нужно законное основание, например их согласие. То, что лучше держать у себя, можно отдать нейросетям, которые работают без интернета. Когда я работаю с вашими материалами, личные данные людей не отдаю на чужие серверы без вашего согласия.
Нейросеть помогает подготовиться, а вывод о готовности делаете вы
Подготовку можно ускорить той же нейросетью. Она перескажет процесс шагами по вашему рассказу, найдёт в правилах противоречия и вопросы «а что если», разложит прошлые случаи по типам.
Два вывода лучше оставить себе. Первый: «ваш процесс готов». Нейросеть видит только то, что вы ей написали, а живой процесс видели вы. Второй: цифры экономии. Если нейросеть «посчитала», сколько часов сэкономит внедрение, это догадка без замера.
Начать можно с промпта ниже, то есть с текста-задания для чата с нейросетью. Скопируйте его в любой доступный вам чат-бот и вместо строки в квадратных скобках опишите свой процесс. Перед вставкой замените имена на [Имя], а номера договоров и телефоны на [Номер].
Роль: ты внимательный консультант по процессам. Не хвали и не продавай, ищи пробелы. Пиши простыми словами. Идеальный результат: таблица «признак → что есть у меня → чего не хватает → первый шаг» и список вопросов, на которые я пока не ответил. Зачем мне это: хочу отдать часть работы нейросети и не потратить деньги на то, к чему процесс не готов. Мой процесс: [что делается, кто делает, как часто, где лежат данные]. Задачи по порядку: 1) Перескажи процесс шагами. Где шаг зависит от «смотря как», отметь. 2) Проверь пять признаков: правила записаны; есть прошлые случаи с известным правильным ответом; результат смотрит человек; можно начать с маленького пробного запуска; решено, какие действия и данные остаются за человеком. 3) Где данных не хватает, задай мне 1–2 вопроса. Не додумывай за меня. 4) Собери таблицу. Назови самый маленький пробный запуск и признак, по которому я пойму, что он удался. Нюансы: не называй цифры экономии, у тебя нет замера. Если чего-то не знаешь, так и напиши. Рамки: не советуй платные сервисы, не больше одной страницы.
Слово «готово» проверяет человек
Моя программа написала «готово», и это была правда только наполовину. Пропажу я увидел, потому что заранее знал правильный ответ и посмотрел сам. Слово «готово» в отчёте проверяет человек, иначе пустоту принимают за успех.
Сегодня возьмите один процесс, который хотите отдать ИИ, и пройдите по нему пять признаков из этой статьи. Первое «нет» и будет первым шагом.
Если хотите разобрать процесс вместе, у меня есть своя проверочная шкала: по ней я прохожу процесс слой за слоем и говорю, что отдавать нейросети сейчас, что рано и какой первый шаг. Если задачу уже решает готовая программа, я скажу об этом и назову её; если нет, соберу инструмент под вас. Ответьте на несколько вопросов, и начнём.
Частые вопросы
Какой процесс отдавать ИИ первым?
Тот, что повторяется часто, понятен без «смотря как» и где ошибка обходится дёшево: черновик ответа клиенту, сводка за день, разбор входящих писем по типам. На таком процессе видно, помогает нейросеть или мешает, а ошибка не успевает дойти до клиента. Сложные случаи с исключениями лучше оставить на второй шаг.
Сколько стоит внедрение ИИ?
Зависит от задачи: иногда хватает готовой программы, иногда нужен свой инструмент. Я сначала смотрю, моя ли это задача и выполнима ли она, и только потом называю стоимость. Сколько денег принесёт инструмент, заранее не обещаю: это становится ясно после разбора задачи и проверки на ваших данных.
Эльхан Дадашев, ИИ-архитектор. Собираю системы на ИИ под задачу. В блоге разбираю свои системы и их сбои: все статьи.
Написать автору: Telegram @elhan1505
Нужна такая же система под вашу задачу — разбираю процесс и проектирую её на ИИ.