Оптимізація етапу Retrieval у RAG-системи засобами кластерного та кореляційного аналізу

Abstract

У роботі розглядається проблема оптимізації пошуку релевантного контексту (Retrieval) у системах генерації, доповненої пошуком (RAG). Запропоновано підхід до попередньої обробки векторних представлень (ембедингів) за допомогою авторської реалізації алгоритмів дивізивної кластеризації та канонічного кореляційного аналізу без використання високорівневих стандартних бібліотек. Це дозволяє знизити обчислювальні витрати та підвищити точність вилучення інформації в умовах обмежених ресурсів. Стрімкий розвиток великих мовних моделей (LLM) виявив їх фундаментальне обмеження — схильність до «галюцинацій» та відсутність доступу до актуальних або закритих корпоративних даних [1]. Архітектура RAG (Retrieval-Augmented Generation) вирішує цю проблему, додаючи етап динамічного пошуку релевантного контексту у векторній базі даних перед генерацією відповіді [1].