ИИ-консультант для инвестиционной платформы

СРОК: сентябрь 2024 – январь 2025 

СТОМОСТЬ: от 3,4 млн. рублей

КОМАНДА 

• ML-инженер — развертывание Mixtral, настройка токенизации, пайплайны дообучения
• Data-инженер / RAG — подготовка базы знаний, очистка и сегментация документов, векторизация
• Backend-разработчик — API, связка LangChain с LLM и векторной базой
• Frontend-разработчик — разработка виджета чата, логика сценариев, UX для диалога
• Product / AI-аналитик — проектирование сценариев, intents, тестирование, обучение ассистента
• Технический писатель — подготовка справки, пояснений, структуры понятий, адаптация под тон

СТЕК

• LLM: Mixtral 8x7B (в режиме MoE, 2 активные эксперты)
• RAG: LangChain (Python), обвязка логики и сценариев
• Векторная база: Qdrant (в prod) или FAISS (для разработки)
• Обработка текста: SentenceTransformers (all-MiniLM,bge-small-ru)
• API: FastAPI
• Интерфейс: React-компонент (чат), интегрируемый в текущий фронт
• Данные: PostgreSQL (объекты, пользователи, сценарии), JSONL (FAQ, словарь терминов)

О клиенте и его цели

Клиент под NDA — владелец инвестиционной платформы в сфере недвижимости. Большая часть ЦА сервиса — частные инвесторы, которые вкладывают средства в апартаменты, коммерческую недвижимость и проекты с доходом от аренды или перепродажи. Команда активно развивает продукт: наращивает базу объектов, оптимизирует аналитику и усиливает канал привлечения новичков.

Основная проблема — потеря пользователей до оформления заявки. По результатам аудита поведенческих сценариев стало понятно:

• Пользователи не могут выбрать: слишком много однотипных объектов, сложные параметры (IRR, Cap Rate, NOI), непонятная терминология.
• Новички запрашивают одну и ту же информацию в поддержку: «что выбрать», «в чем разница», «какие риски».
• 58% новых визитов не доходят даже до сохранения объекта или регистрации.
• Отдел продаж получает только теплые и горячие лиды, но не видит поведение сомневающихся пользователей.

В итоге появилась идея не просто автоматизировать ответы, а создать полноценного AI-навигационного помощника, чтобы он:

• говорил на языке инвестора
• адаптировался под уровень пользователя
• помогал сориентироваться в данных без давления
• и при этом работал полностью автономно, без зависимости от внешних API и без передачи данных за пределы инфраструктуры 

Цель — сократить путь от интереса до решения, снизить нагрузку на менеджеров и превратить платформу в удобный инструмент принятия инвестиционных решений.

Задача

Внедрить ИИ во внутрь платформы в виде интеллектуального ассистента copilot, который:

• помогает пользователю подобрать инвестиционные объекты с учетом бюджета, цели (доход от аренды / прирост капитала / сбалансированная стратегия), горизонта вложений и отношения к риску

• объясняет финансовые термины и показатели на понятном языке с примерами из текущих объектов

• сравнивает предложения между собой и поясняет, чем они отличаются

• сопровождает пользователя в диалоге, не теряя контекст и подстраиваясь под уровень его опыта

• работает полностью автономно, без обращения к внешним API, чтобы соответствовать требованиям к безопасности, контролю данных и скорости отклик

Что сделали

Мы разработали автономного ИИ-ассистента на базе Mixtral с использованием LangChain и Retrieval-Augmented Generation (RAG). Ассистент работает как часть инвестиционной платформы: помогает пользователю подобрать подходящий объект, объясняет термины, сравнивает предложения и сопровождает на всем пути от интереса до оформления заявки.

Решение развернуто в инфраструктуре клиента и не зависит от внешних LLM или API. Все данные обрабатываются и хранятся локально, что важно для соблюдения внутренних требований по безопасности и контролю. 

Как это устроено

1. Сценарная логика на базе LangChain

Ассистент обрабатывает входящие сообщения, определяет намерение (подбор, сравнение, пояснение, уточнение) и запускает нужный сценарий. Используются цепочки (ConversationalRetrievalChain) с сохранением диалога в памяти.

2. База знаний с RAG-слоем

Документы — описания объектов, FAQ, аналитика, термины — структурированы, сегментированы и индексированы в Qdrant. При каждом запросе ассистента происходит поиск релевантных фрагментов, которые передаются в модель Mixtral для генерации ответа.

Мы настроили:

• контекстный поиск по описаниям объектов, параметрам доходности, управляющим компаниям
• встроенный справочник финансовых и юридических терминов
• тематические подсказки: «‎доходность с управлением», «‎гарантированные выплаты»

3. Mixtral как ядро генерации

Используется Mixtral 8x7B в режиме MoE (Mixture of Experts). Это дает приемлемую скорость генерации на локальном сервере и хорошее качество ответов на русском языке.

Модель не обучается с нуля — мы дообучили ее на:

• исторических диалогах пользователей
• типовых запросах к менеджерам
• документах из базы знаний клиента 

Как ИИ-ассистент упрощает жизнь пользователю

ИИ-ассистент стал точкой входа в платформу для пользователей, которые раньше не доходили до выбора объекта. Он убирает перегрузку, направляет по воронке и помогает понять, что именно подойдет конкретному человеку — без звонков, PDF и сложных калькуляторов.

1. Помогает сориентироваться в инвестиционных стратегиях

Многие пользователи не знают, с чего начать: «‎куда вложить», «‎на какой срок», «‎чем отличаются форматы». AI-ассистент задает 2–3 простых вопроса и предлагает подходящие стратегии.

2. Объясняет финансовые термины и показатели

Большая часть новичков отсекается на терминах. Ассистент переводит сложные метрики на понятный язык, приводит примеры, поясняет расчеты на конкретных объектах.

3. Сравнивает объекты и аргументирует разницу

Ассистент не просто даёт список, а объясняет: чем отличаются предложения, где выше доход, а где меньше риска. Это помогает принять решение быстрее и осознаннее.

4. Убирает барьеры и экономит время

Пользователю не нужно изучать сайт, искать FAQ, звонить. Ассистент сам подбирает, поясняет и ведёт к действию. По сути, он заменяет первые 20 минут общения с менеджером — но без давления.

 5. Не пугает, а поддерживает

Интерфейс и формулировки подобраны так, чтобы снять тревожность. Особенно это важно для тех, кто делает первый вклад. Ассистент не спешит, не навязывает, не уводит в «ботовые» обороты. Просто и по делу.

Вызовы при внедрении ИИ

Проект требовал высокой точности, автономности и доверия со стороны пользователей. Мы сразу понимали: простой генерации текста будет недостаточно — система должна объяснять, не выдумывать, не давать лишнего и адаптироваться под уровень человека. Все это — без внешнего API и в условиях локального хостинга.

1. Контроль ответов и достоверности

Главный вызов — научить модель отвечать строго в рамках проверенных данных, без «галлюцинаций». 

Что сделали:

• Построили цепочку через Retrieval-Augmented Generation: все ответы формируются только на основе заранее загруженных документов.
• Ввели ограничение на длину и тип источников, которые может использовать модель.
• Внедрили ручную фильтрацию: ассистент не дает советы вроде «вложите именно сюда», а лишь объясняет и показывает варианты. 

2. Упрощение языка без потери смысла

Бизнес-термины часто звучат формально и отпугивают новичков.

Что сделали:

• Настроили шаблоны объяснений на простом русском языке.
• Дообучили Mixtral на примерах «человеческих» формулировок.
• Ввели механику «развернутый ответ по запросу»: сначала коротко, по кнопке — подробное пояснение. 

3. Технические ограничения при локальном запуске

Mixtral — это большая модель, и для ее работы нужны ресурсы. 

Что сделали:

• Запустили модель в режиме MoE (Mixture of Experts) — в каждый момент времени задействованы только 2 из 8 подмоделей, что снижает нагрузку.
• Оптимизировали inference через vLLM — быстрый запуск даже на кастомной GPU-инфраструктуре.
• Обучили команду клиента управлять моделью, перезапускать и обновлять базу знаний без нашей помощи. 

4. Обучение на собственных данных

Mixtral не знала специфики недвижимости, и особенно — российской.

Что сделали:

• Собрали датасет из реальных обращений в поддержку (обезличенно).
• Добавили термины, объяснения, типовые сценарии и диалоги.
• Использовали этот корпус для инструкционного дообучения модели (supervised fine-tuning) с ориентацией на инвестора, а не разработчика. 

Итоги и развитие

После запуска ассистента в продуктив клиент получил не просто интерфейс для диалога, а новый способ работы с пользователями на ранних этапах воронки — без перегрузки менеджеров, без потери в точности и с полной автономией.

• +21% к конверсии в заявку среди тех, кто взаимодействовал с ассистентом (по сравнению с контрольной группой).
• До 70% типовых вопросов обрабатываются ИИ — без участия поддержки.
• Нагрузка на менеджеров снизилась на ~40%, и они стали больше фокусироваться на сопровождении «теплых» клиентов, а не на повторных объяснениях.
• Внутри команды маркетинга появился новый источник инсайтов: по логам диалогов стало понятно, какие сомнения, формулировки и цели чаще всего звучат у пользователей — это напрямую повлияло на контент, рекламные посылы и упаковку объектов.

Как развивается проект

• Персонализация на основе пользовательского профиля: ассистент учитывает прошлые выборы, интересы, склонность к риску и предлагает сценарии, адаптированные под конкретного человека.
• Расширение базы знаний: добавлены юридические вопросы, шаблоны расчетов, условия досрочного выхода, налогообложение — все с пояснениями и на основе реальных данных.
• Вариативные сценарии: планируются функции сравнения объектов, генерации короткого резюме, подготовки к разговору с менеджером, в том числе с выгрузкой PDF по запросу пользователя.

Ключевой эффект

ИИ стал не просто инструментом для клиента, а частью инвестиционного сервиса, который делает вход в сложную тему проще, а процесс выбора — понятным и уверенным.

Система полностью управляется внутри команды: она не зависит от внешних API, не требует сложной поддержки и масштабируется под рост базы, пользователей и функционала.