Словарь терминов
Что такое RAG (генерация с поиском)
Определение
RAG это подход, где модель сначала ищет нужные куски текста, а потом строит ответ по ним. Это уменьшает выдумки.
RAG помогает модели отвечать по вашим документам, а не только по памяти. Это снижает галлюцинации, о которых рассказывает и общий словарь терминов.
Как устроено
RAG это генерация с поиском. Модель сначала находит нужные куски текста через векторный поиск, а потом пишет ответ по ним.
Так ответ оказывается ближе к вашим данным и реже содержит выдумки, потому что у модели перед глазами есть нужный материал.
- Поиск нужных кусков текста.
- Передача их модели вместе с запросом.
- Ответ на основе найденного.
Образное объяснение
Это похоже на студента на экзамене с открытым учебником. Он сперва находит нужную страницу, а потом отвечает своими словами по ней.
Где это полезно
RAG удобен для поддержки, базы знаний и поиска по своим документам. Простой пример есть в разделе пример приложения на Flask.
Для подготовки данных часто используют эмбеддинги, которые превращают тексты в числа для быстрого поиска по смыслу.
Частые сценарии
- В чатах поддержки, которые отвечают по инструкциям и базе знаний.
- В поиске по внутренним документам, договорам и регламентам.
- В помощниках для бизнеса, как в задачах из гайда ChatGPT для бизнеса.
Развеиваем мифы
RAG это не отдельная модель. Это связка из поиска и обычной языковой модели, которые работают вместе.
RAG не убирает выдумки полностью. Он снижает их, но только если документы чистые и поиск находит верный кусок.
Совет. Обновляйте данные при изменениях. Устаревшие документы дадут устаревшие ответы.
Как сделать RAG надежнее
- Соберите чистые документы для поиска.
- Разбейте их на удобные куски.
- Проверьте, что находится верный фрагмент, чтобы снизить галлюцинации, а термины смотрите в словаре терминов.
Пример
Бот поддержки сначала находит ответ в инструкции компании, а затем отвечает клиенту простыми словами.
RAG кратко
| Вопрос | Ответ |
|---|---|
| Что это | Генерация с поиском |
| Что делает | Ищет данные, потом отвечает |
| Зачем | Меньше выдумок и точнее ответы |
| Где нужно | Поддержка и базы знаний |
Что улучшает RAG (простая иллюстрация)
Как работает RAG
Поиск
Система находит нужные куски в документах.
Передача
Эти куски отдают модели вместе с запросом.
Ответ
Модель пишет ответ на основе найденного.
Связанные термины
Частые вопросы
Чтобы модель отвечала по вашим документам и реже выдумывала факты.
Нет, но он заметно снижает выдумки, если данные чистые и актуальные.
Документы, разбитые на куски, и поиск нужных частей, часто векторный.
Нет. Модель не переучивают, ей дают нужный текст прямо в момент ответа.
Нет. Это связка поиска и обычной языковой модели, работающих вместе.
Источники
Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.