Словарь терминов
Что такое галлюцинация
Определение
Галлюцинация это уверенный, но неверный ответ модели. Она может выдумать факт, имя или ссылку.
Галлюцинация это частая проблема нейросетей. Подробный разбор есть в гайде галлюцинации ChatGPT, а краткое объяснение в словаре терминов.
Почему так бывает
Галлюцинация это уверенный, но неверный ответ модели. Она может выдумать факт, имя или ссылку.
Модель строит текст по вероятности слов, а не по проверенной базе фактов. Это особенность любой большой языковой модели.
- Модель предсказывает слова.
- Она не проверяет факты сама.
- Уверенный тон не равен правде.
Как это представить
Это похоже на ученика, который не знает ответ, но не хочет молчать. Он уверенно придумывает правдоподобную фразу вместо честного признания.
Как защититься
Снизить выдумки помогает подход с поиском по документам, который называют поиском с генерацией и часто используют в поддержке.
Три шага проверки
- Прочитайте ответ и отметьте факты и ссылки.
- Сверьте данные в надежном месте по гайду как проверять ответы.
- Исправьте при ошибке или найдите данные сами.
Совет. Красиво оформленная ссылка тоже легко может оказаться выдуманной, поэтому проверяйте источники.
В каких местах встречается
Галлюцинации заметнее всего там, где нужна точность, а не общая мысль или приблизительный пересказ.
- В точных фактах: даты, имена, цифры, названия законов.
- В ссылках и цитатах, которые модель может выдумать и оформить как настоящие.
- В нишевых темах, где у модели было мало надежного материала.
Темы, где нужна осторожность
В медицине, праве и финансах ошибка стоит дорого. Ответы модели обязательно проверяйте, а при необходимости советуйтесь с квалифицированным специалистом.
Подробный разбор темы есть в гайде галлюцинации ChatGPT, а краткие термины в словаре терминов.
Пример
Модель может назвать книгу, которой не существует, и говорить о ней как о реальной.
Галлюцинация кратко
| Вопрос | Ответ |
|---|---|
| Что это | Уверенный неверный ответ |
| Почему | Модель строит текст по вероятности |
| Где опаснее | Факты, даты, ссылки, имена |
| Что делать | Проверять важное |
Где чаще встречается выдумка (простая иллюстрация)
Как заметить галлюцинацию
Прочитайте ответ
Обратите внимание на факты и ссылки.
Сверьте с источником
Проверьте данные в надежном месте.
Исправьте при ошибке
Попросите модель уточнить или найдите данные сами.
Связанные термины
Частые вопросы
Она строит текст по вероятности слов и не проверяет факты сама в момент ответа.
Сверьте факты, даты и ссылки с надежными источниками, особенно если они звучат слишком гладко.
Нет, но проверка ответов и поиск по документам сильно снижают риск.
Выдумывает реже, но не перестает совсем, поэтому проверка все равно нужна.
В медицине, праве и финансах, где ошибка может дорого стоить.
Источники
Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.