Коротко
- Первый проект выбирают по матрице. Модный сервис, о котором все говорят, тут не аргумент.
- Без замера до старта пилот нечем сравнить, поэтому две недели уходят на ручной учет текущего процесса.
- Проверочный набор примеров собирают до выбора модели и прогоняют после каждого изменения.
- Персональные и коммерческие данные идут в сервис только после проверки его условий и согласования с юристом.
- Решение о масштабировании записывают в виде условия до старта пилота.
С какой задачи начинать
Начинайте с проблемы, которую можно выразить в деньгах или часах, технологию выберете потом. Формулировка вроде "внедрить нейросеть в продажи" не дает ни процесса, ни метрики. Рабочая звучит примерно так. Менеджеры тратят по часу в день на разбор входящих заявок, и половина заявок уходит не тому специалисту.
Хорошая бизнес-задача отвечает на четыре вопроса.
- Какой процесс, кто его выполняет и сколько раз в неделю.
- Сколько он стоит сейчас в часах, деньгах или потерянных заявках.
- Что будет считаться успехом, в цифрах, которые вы уже умеете собирать.
- Кто в компании отвечает за процесс и примет решение по итогам пилота.
Если на третий вопрос ответа нет, сначала наладьте учет, иначе через три месяца не с чем будет сравнить.
Как выбрать процесс для пилота
Соберите список из пяти-десяти рутинных задач, на которые жалуются сотрудники, и оцените каждую по матрице. Шкала от 1 до 3, 3 балла получает вариант, который проще проверить в пилоте. Подробнее о выборе задачи мы писали в статье как выбрать задачу для внедрения ИИ и оценить отдачу.
Матрица выбора пилота
В пилот берите задачу с наибольшей суммой, у которой нет единиц по цене ошибки и чувствительности данных. Обычно это задачи, где ИИ готовит черновик, а человек его проверяет и отправляет.
Примеры задач для первого пилота
- Классификация входящих заявок по направлениям и срочности.
- Черновики ответов на типовые вопросы клиентов, которые сотрудник правит и отправляет.
- Краткие итоги звонков и встреч для CRM.
- Черновики описаний товаров по карточке с характеристиками.
- Сверка документов с шаблоном, где ИИ отмечает расхождения, а решение принимает юрист.
Если в списке есть контент для сайта, отдельно прочитайте, как выстроить работу с ИИ для контента, там своя проверка фактов.
Как оценить данные и риски
До выбора сервиса ответьте, какие данные уйдут в модель и где они будут храниться. Решают это юрист и владелец процесса. Разработчик тут только исполнитель.
Данные
Соберите несколько десятков реальных примеров задачи с правильными ответами, включая трудные случаи. Это будущий проверочный набор. Если правильных ответов нет, их сначала размечает сотрудник, который делает эту работу сейчас. Уберите из примеров имена, телефоны и номера договоров, если для задачи они не нужны.
Условия сервиса
Условия обработки данных у бизнес-тарифов и у бесплатных аккаунтов разные. Например, OpenAI пишет, что по умолчанию не обучает модели на данных клиентов ChatGPT Enterprise, ChatGPT Business и API. Входные и выходные данные API компания хранит до 30 дней для работы сервиса и выявления злоупотреблений, а для части методов API доступно нулевое хранение. Права на входные данные и ответы остаются у клиента в рамках закона.
Если сотрудники пользуются личными аккаунтами, эти условия к ним не применяются автоматически. Проверьте тариф и настройки до того, как в сервис попадет первая выгрузка из CRM.
Риски
Для крупной компании удобно опереться на рамку управления рисками NIST AI RMF. Документ добровольный, выпущен в январе 2023 года, а в июле 2024 года к нему вышел отдельный профиль для генеративного ИИ.
Как спроектировать пилот на 90 дней
У пилота есть срок, один процесс, одна группа сотрудников и условие остановки. Все остальное ждет решения по итогам.
Дорожная карта 30/60/90
В первые 30 дней не автоматизируйте ничего. Две недели сотрудники отмечают время на задачу и число ошибок по старой схеме. Без этого любое улучшение будет на глаз.
Кто нужен в команде
- Владелец процесса, который примет решение.
- Два-три исполнителя, которые работают с ИИ каждый день и отмечают ошибки.
- Человек, который настраивает промпты и интеграцию. Это может быть подрядчик.
- Юрист на этапе согласования данных.
Какие метрики назначить
Метрики берут из бизнес-задачи. В таблице четыре группы, и пропускать нельзя ни одну.
Последняя строка важнее остальных. Если ошибки начали доходить до клиента, пилот останавливают, даже если время сократилось.
Как контролировать качество
OpenAI в руководстве по оценке моделей предлагает тот же порядок. Сначала определить критерий успеха, потом собрать данные под него, потом выбрать метрики и повторять оценку, улучшая результат. Отдельно там сказано, что оценку стоит запускать на каждое изменение и сверять автоматические оценки с мнением людей.
На практике это выглядит так.
- Проверочный набор прогоняют каждый раз, когда меняется промпт, модель или инструкция.
- Раз в неделю исполнитель вручную проверяет случайную выборку ответов из реальной работы.
- Ошибки записывают в общую таблицу с примером и типом ошибки.
- Если автоматическая проверка и проверка человеком расходятся, правят автоматическую.
Комментарий Q2 AgencyВ Q2 Agency мы применяем ИИ в SEO и рекламе по тому же правилу. Модель готовит черновик, а цифры, названия и факты в нем проверяет человек по первоисточнику. Как это устроено в SEO, описано в статье AI SEO без выдуманных данных.
Когда масштабировать пилот
Условие масштабирования записывают в первые 30 дней. Например, время на задачу сократилось относительно замера, доля ошибок на проверочном наборе не выросла, ни одна ошибка не дошла до клиента, экономия за месяц выше нуля с учетом времени на проверку.
Если условие выполнено
Сначала подключите остальных сотрудников того же процесса, соседний отдел подождет. Второй процесс начинайте с той же матрицы и своего проверочного набора. Опыт первого пилота переносится, а примеры и метрики нет.
Если условие не выполнено
Разберите таблицу ошибок. Если ошибки одного типа, поправьте промпт или данные и дайте пилоту еще месяц. Если ошибки разные и их много, закройте пилот и возьмите следующую задачу из матрицы. Закрытый пилот с понятной причиной экономит бюджет, который ушел бы на большое внедрение.
Частые вопросы
Источники
Основатель Q2 Agency, бывший директор по маркетингу: работал в Яндексе, Xsolla, Cheelee и Allen Carr’s Easyway. Специализация - нейромаркетинг, воронки продаж и сквозная аналитика.
