Нейросеть для анализа данных компании: с чего начать
Ниже: как выбрать первый массив, по каким признакам понять, что данные готовы, и как это выглядит по неделям на конкретном сотруднике.
Почему начинают с массива, а не с инструмента
Собственник обычно формулирует задачу широко: «хотим, чтобы ИИ анализировал наши данные». Под этим лежит несколько разных работ: свести деньги, найти нужного поставщика, понять, какая реклама кормит. У каждой свой источник и своя цена.
Массив — это то, что уже существует и уже кому-то стоит времени. Хороший кандидат на первый заход выглядит так:
- Его сейчас разбирают вручную. Кто-то неделю сводит счета или полдня ищет позицию в переписке. Значит, есть с чем сравнить результат.
- Он в одном месте или в двух. Почтовый ящик, папка с документами, экспорт из CRM. Четыре источника сразу превращают заход в проект другого объёма.
- По нему принимают решения. Прибыль по месяцам, дебиторка, остатки. Если по массиву никто ничего не решает, автоматизировать его незачем.
- Он повторяется. Документы приходят каждый месяц, заявки каждый день. Разовая выгрузка не окупает разработку.
- В нём есть текст, а не только числа. Именно вольный текст люди разбирают глазами, и именно здесь нейросеть отыгрывает больше всего времени.
Масштаб такой работы виден на нашем собственном массиве: 26 926 сообщений из переписок и каналов превратились в базу из 7 545 поставщиков с категориями и контактами. Руками этот объём не разбирают вообще. Его держат в голове у одного человека, пока он не уволится.
Как понять, что данные готовы
Проверяется за час на реальной выгрузке, до всякого договора. Смотрим пять вещей.
Один клиент — одна запись. В CRM он заведён по имени, в учёте по названию юрлица, в коллтрекинге по номеру. Правила сопоставления пишутся руками под конкретную компанию и почти всегда занимают больше времени, чем всё остальное в проекте.
Есть дата и сумма в машинном виде. Скан документа читается. Скан документа, перефотографированный с экрана под углом, читается хуже, и это стоит отдельного разговора про то, как документы попадают в компанию.
Понятно, какая система главная. Когда остаток есть в трёх местах и цифры разные, агент не угадает, какой верить. Это решает человек, один раз, на старте.
Массив закрыт от посторонних глаз. Финансовые документы и договоры не должны уходить во внешние сервисы. Такие задачи мы разворачиваем в контуре клиента: документы читаются и хранятся на его сервере и за периметр компании не выходят. Оговорим прямо: государственной аттестации у нас нет, речь про техническое решение, при котором данные физически остаются внутри.
Есть человек, который скажет «правильно». Первые недели агент работает рядом с тем, кто раньше делал это руками. Без такого человека приёмка превращается в спор о том, что считать ошибкой.
Если по трём пунктам из пяти ответ отрицательный — сначала порядок в данных, потом агент. Мы это говорим до договора, а не после.
Разбор: «Финансовый директор по документам»
Самый частый первый массив в торговой и производственной компании — финансовые документы. Их разбирает «Финансовый директор по документам», один из виртуальных сотрудников, которых мы сначала собрали и обкатали у себя.
Как обычно устроено сейчас. Счета, акты, накладные и выписки лежат в почте, в чатах и в папке «скинуть бухгалтеру». Чтобы понять, сколько заработали в прошлом месяце, кто-то неделю сводит это руками. К моменту, когда цифра готова, она уже никому не интересна.
Что дают на вход. Почтовый ящик или папку с документами, банковскую выписку, список статей расходов, если он есть. Списка нет — собираем на разборе за час.
Что он делает по шагам. Читает документ так, как читает человек, а не по жёсткому шаблону полей. Достаёт контрагента, сумму, НДС, срок оплаты, предмет. Раскладывает по статьям, сводит поступления с расходами. Спорный документ не выдумывает: откладывает в отдельную стопку и спрашивает.
Что отдаёт. Прибыль по месяцам, дебиторка построчно, кассовый разрыв и просрочка. Каждая цифра кликается до конкретного документа, из которого она собрана.
Что видит собственник. Кто должен нам и кому должны мы, куда утекают деньги, где на следующей неделе не хватит на зарплату. Без «подождите, бухгалтер соберёт».
Красная линия, которую мы держим жёстко: цифра без источника не считается. Агент обязан показывать, откуда взял каждое число. Отчёт, в котором нельзя добраться до первичного документа, живёт ровно до первого расхождения с бухгалтерией.
Как это выглядит по неделям
Порядок работ на среднем проекте, где агент подключает две-четыре системы.
- Разбор процесса, один час. Смотрим реальную выгрузку и реальные документы. Называем, что автоматизируется сразу, что после наведения порядка, а что не стоит трогать. Разбор бесплатный.
- Неделя 1 — сбор. Подключаем источники, описываем правила сопоставления записей, договариваемся, какая система главная.
- Неделя 2 — разбор массива. Агент проходит исторические данные за несколько месяцев. Здесь и всплывают дубли, пропуски и документы, которые не читаются.
- Недели 3–4 — параллельная работа. Агент работает рядом с человеком, который делал это руками. Сверяем выводы, дописываем правила под случаи, которых не было в исходном описании.
- Приёмка. Считаем совпадение с человеком на закрытом периоде и время, которое раньше уходило на ту же работу.
Итого 3–4 недели и от 250 тыс. ₽ для такого сотрудника; контур на сервере клиента — плюс 150 тыс. Точную цену считаем после часового разбора. В отдельном разборе расписано, из чего складывается смета и почему проекты отличаются в два раза по цене. Если данные уже собраны в учётной системе, начинать стоит с другого конца: что стоит поручить программе в 1С, а что трогать рано.
Где такие проекты ломаются
Начали с самого сложного массива. «Проанализируйте нам всё» вместо одного участка. Проект уходит в полгода, интерес гаснет на втором месяце.
Некому принимать работу. Сотрудник, который раньше сводил документы, занят, и агент три недели работает без обратной связи. Приёмка потом идёт вслепую.
Нет поддержки после запуска. Поменялся поставщик — поменялся формат прайса, обновилась учётка — уехали поля. Проекты без сопровождения тихо умирают на третьем месяце, когда первый изменившийся формат ломает разбор и никто этого не чинит.
Отчёт без ссылок на первичку. Первое же расхождение с бухгалтерией обнуляет доверие ко всем остальным цифрам.
Частые вопросы
Какие данные нельзя отдавать во внешние сервисы?
Финансовые документы, договоры, персональные данные клиентов и сотрудников, всё, что защищено обязательствами перед контрагентом. Такие массивы разворачиваем в контуре на вашем сервере: документы читаются и хранятся у вас и за периметр не выходят. Государственной аттестации у нас нет, и мы говорим об этом прямо: речь про техническое решение, при котором данные физически остаются внутри вашего контура.
Сколько данных нужно для старта?
Достаточно исторического периода, по которому есть с чем сравнить: обычно три-шесть месяцев документов или несколько тысяч сообщений. Меньше — нечем проверить качество разбора. Точный объём смотрим на выгрузке за час.
Как проверить, что нейросеть не ошиблась?
Тремя способами сразу. Считаем совпадение с человеком на закрытом периоде, который агент видит впервые. Требуем ссылку на первичный документ у каждой цифры. Держим отдельную стопку спорных случаев, куда агент откладывает всё, в чём не уверен, — пустая стопка при большом массиве сама по себе повод для проверки.
Нужно ли сначала навести порядок в данных?
Часто да, и это нормальная часть проекта. Порядок наводится под конкретную задачу, а не «вообще»: приводим в сопоставимый вид ровно тот массив, с которым будет работать агент.
Что происходит, когда бизнес меняется?
Агент сопровождается. Новое направление, новый поставщик, обновление учётной системы — правила дописываются. Поддержка от 30 тыс. ₽ в месяц — это продолжение работы: за первые месяцы всегда всплывает три-четыре случая, которых не было в исходном описании процесса.
Начать стоит с часового разбора: показываете реальную выгрузку, мы называем, что здесь автоматизируется сразу, а что требует порядка в данных. Разбор бесплатный, и после него становится понятно, стоит ли вообще браться.