Коротко
Галлюцинация это когда модель уверенно выдаёт выдуманный факт. Это случается из-за способа работы, поэтому ответы нужно проверять.
Слово галлюцинация звучит странно, но смысл простой. Это выдуманный, но уверенный ответ. Тему точности продолжает материал про точность ChatGPT. Разберём, что это такое, почему случается, как замечать и как проверять подозрительные факты, чтобы не попасться на красивую неправду.
Что это такое
Галлюцинация это ответ, который звучит правдоподобно, но не соответствует реальности. Модель может придумать имя, дату или ссылку.
Со стороны такой ответ часто выглядит безупречно.
Это особенность, а не сбой
Точное определение есть в словаре, смотрите галлюцинация в словаре.
Это не сбой, а особенность работы модели. Задача не убрать её полностью, а вовремя замечать.
Почему случается
Модель предсказывает слова, а не проверяет факты. Если в данных пробел, она заполняет его правдоподобным текстом.
Её задача продолжить фразу, а не сказать не знаю. Поэтому пустых ответов почти не бывает.
- Пробел в данных.
- Слишком общий или хитрый вопрос.
- Редкая или свежая тема.
- Запрос точных деталей по узкой теме.
Один и тот же процесс
Как устроена модель, поясняет раздел языковая модель. Чем реже тема, тем выше шанс выдумки.
Модель не различает, где знает ответ точно, а где догадывается. Для неё это один и тот же подбор слов.
Пример: выдуманная ссылка
Допустим, вы попросили источник, и модель дала красивую ссылку с названием статьи и автором. При проверке статьи не существует.
- Откройте ссылку и убедитесь, что она реальна.
- Проверьте автора и название в источнике.
- Не цитируйте то, что не удалось подтвердить.
Совет. Любые ссылки, цитаты и точные цифры открывайте и проверяйте сами, прежде чем на них опираться.
Как замечать
Будьте внимательны к точным фактам, ссылкам и цитатам. Подозрение должны вызывать слишком конкретные детали по редкой теме.
Снизить риск помогают ясные запросы и просьба показать источники ответа.
Как перепроверить
Сверяйте факты с надёжными источниками и не доверяйте одной ссылке от модели. Для здоровья, права и денег советуйтесь со специалистом.
Пошаговую проверку описывает материал про проверку ответов ИИ, а другие темы есть в разделе руководства по ChatGPT.
Как снизить число выдумок
Снизить число галлюцинаций помогает ясный и узкий запрос. Дайте контекст и попросите отвечать только по теме.
Чем меньше простора для домысливания, тем реже появляются выдуманные детали.
- Задавать узкий вопрос с контекстом.
- Просить отвечать только по теме.
- Разрешать ответ не знаю при сомнении.
Разрешите ответ не знаю
Полезно прямо разрешить модели сказать, что она не знает ответа. Например: если не уверен, так и напиши.
Это снижает шанс красивой неправды. Держите под рукой чек-лист проверки ответа.
Где галлюцинации вероятнее
| Тип ответа | Риск выдумки |
|---|---|
| Точные даты | Высокий |
| Ссылки и цитаты | Высокий |
| Общее объяснение | Низкий |
| Простой пересказ | Низкий |
Что снижает риск выдумок
Как поймать галлюцинацию
Прочитайте
Найдите точные факты и ссылки.
Усомнитесь
Отнеситесь к ним как к гипотезе.
Проверьте
Сверьте с надёжным источником.
Исправьте
Уточните или отбросьте ошибку.
Чеклист
- Перепроверять точные факты.
- Сомневаться в ссылках и цитатах.
- Открывать ссылки и проверять их.
- Просить источники у модели.
- Сверять важное с источниками.
- Советоваться со специалистом по важному.
Частые ошибки
- Верить ссылкам от модели сразу.
- Принимать уверенный тон за правду.
- Не проверять точные даты.
- Опираться на один ответ.
Частые вопросы
Это уверенный, но выдуманный ответ модели, который звучит правдоподобно.
Модель предсказывает слова и заполняет пробелы правдоподобным текстом.
Перепроверяйте факты и ссылки с надёжными источниками, не доверяйте одной ссылке.
Да. Модель может дать правдоподобную, но несуществующую ссылку, поэтому открывайте их.
В точных датах, ссылках, цитатах и редких узких темах.
Источники
Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.