RAG (генерация с дополнением поиском)

Коротко: RAG объединяет языковую модель с поиском: сначала из ваших собственных документов извлекаются подходящие фрагменты, затем модель отвечает на вопрос на этой основе.

Подробнее: Модели не обязательно «знать» всё: она получает нужный материал в промпте. Это снижает число галлюцинаций, сохраняет актуальность ответов и позволяет делать цитаты.

Подробности

1. Разбейте документы на фрагменты (chunks).
2. Вычислите и сохраните эмбеддинг каждого фрагмента.
3. Преобразуйте вопрос тоже в эмбеддинг и найдите самые похожие фрагменты.
4. Передайте фрагменты и вопрос модели с указанием отвечать только на их основе.

• Качество зависит от поиска: плохие фрагменты дают плохие ответы.
• Конфиденциальность: с локальными моделями документы остаются на вашем компьютере.

См. также: Контекстное окно, Галлюцинация (ИИ)