Год назад типичный разговор про ИИ в компании звучал так: давайте купим всем подписку на чат-бот. Сейчас всё чаще звучит другой вопрос. Куда уходят документы, которые сотрудники туда загружают, и что будет, если сервис завтра станет недоступен из России.
Что изменилось
Открытые языковые модели заметно подтянулись. Qwen, DeepSeek, Llama и их производные свободно скачиваются, и версии на 30 миллиардов параметров для рабочих задач уже почти не уступают платным сервисам. Они пишут письма, составляют сводки по документам, отвечают на вопросы по внутренней базе знаний и разбирают входящие заявки. Модель работает на сервере, который контролирует сама компания, и данные никуда не уходят.
Как это устроено технически
Проще всего начать с Ollama. Программа ставится на сервер с видеокартой одной командой, сама скачивает модели и отдаёт стандартный API. Поверх неё ставят Open WebUI: получается привычное окно чата в браузере, с историей и загрузкой файлов. Сотрудники работают как в знакомом чат-боте, только внутри компании.
Следующий шаг: научить модель отвечать по своим документам. Регламенты, прайсы и инструкции загружаются в базу, и ассистент ищет ответ в них, а не придумывает. Для отдела продаж или поддержки это часто самое ценное применение.
Какое нужно железо
Модели на 7–8 миллиардов параметров работают на видеокарте с 8–12 ГБ памяти. Для модели на 30 миллиардов, которая заметно умнее, нужна карта с 24 ГБ, например RTX 3090 или 4090. Большие модели на 70 миллиардов параметров требуют 48 ГБ и больше, это уже серверные карты.
Покупать сервер на старте необязательно. Разумнее сначала арендовать видеокарту, развернуть модель и месяц посмотреть, как сотрудники ей пользуются. На российской площадке Тераферма есть готовая инструкция по запуску Ollama на арендованном сервере, оплата поминутная и в рублях. Если ассистент приживётся и будет нужен круглосуточно, тогда уже можно считать, что выгоднее: долгая аренда или своё железо.
О чём стоит подумать заранее
Своя модель не избавляет от рутины. Кто-то должен обновлять её, следить за сервером и разбирать странные ответы. Открытые модели тоже ошибаются и иногда уверенно выдумывают факты, поэтому ответы по договорам и деньгам всё равно нужно проверять. И стоит сразу договориться, какие документы ассистенту можно показывать, а какие нет: модель внутри компании безопаснее внешней, но доступ к ней всё равно нужно разграничить.
Зато компания получает инструмент, который не зависит от чужой ценовой политики и санкционных списков, а расходы на него легко прогнозировать.