За последние годы существенно выросло количество подсистем и документации, с которой работают пользователи и операторы технической поддержки. Каждая новая информационная система добавляет слой регламентов и инструкций. Информация динамично обновляется и часто дублируется. RAG-система связывает большую языковую модель (LLM) с единой актуальной базой знаний, позволяя операторам и пользователям получать верифицированные ответы за счет документов, загруженных в систему.
Локальное развертывание RAG-решения имеет ряд существенных преимуществ по сравнению с облачными LLM-сервисами, доступ к которым предоставляется через интерфейс компании-разработчика либо по API: система обеспечивает более точные ответы за счет специализированной базы знаний, снижает количество галлюцинаций нейросети и гарантирует безопасность чувствительных данных. Кроме того, RAG-системы позволяют оперативно обновлять базу знаний без дорогостоящего и длительного переобучения модели.
Разработанное решение было апробировано на реальных пользователях. Система обработала свыше 2,5 тыс запросов, в 90% случаев она нашла релевантные ответы в базе знаний. Более 78% пользователей оценили качество ответа как достаточное для решения их задачи. При этом половина пользователей возвращалась для повторного использования ИИ-консультанта.
Евгений Барсуков, руководитель направления искусственного интеллекта и внутренней автоматизации «Цифромед»:
- Итоги апробации показали, что RAG решает одну из главных проблем техподдержки — потерю времени на поиск правильного ответа. Мы видим серьезную перспективу в дальнейшем совершенствовании данной технологии. В частности, планируем повысить качество ответов за счет расширения базы знаний новыми документами, расширить функциональные возможности ИИ-консультанта, а также увеличить количество информационных систем, по которым предоставляются консультации. В дальнейшем рассчитываем, что RAG-система разовьется в полноценного ИИ-агента.