RAG (генерація з доповненням пошуком)

Коротко: RAG поєднує мовну модель із пошуком: спочатку з ваших власних документів добираються відповідні фрагменти, потім модель відповідає на запитання на цій основі.

Докладніше: Моделі не обов’язково «знати» все: вона отримує потрібний матеріал у промпті. Це зменшує кількість галюцинацій, зберігає актуальність відповідей і дає змогу робити цитати.

Подробиці

1. Розбийте документи на фрагменти (chunks).
2. Обчисліть і збережіть ембединг кожного фрагмента.
3. Перетворіть запитання також на ембединг і знайдіть найсхожіші фрагменти.
4. Передайте фрагменти й запитання моделі з вказівкою відповідати лише на їхній основі.

• Якість залежить від пошуку: погані фрагменти дають погані відповіді.
• Конфіденційність: із локальними моделями документи лишаються на вашому комп’ютері.

Див. також: Контекстне вікно, Галюцинація (ШІ)