Словарь терминов
Что такое контекстное окно
Определение
Контекстное окно это объем текста, который модель учитывает за один раз. Чем оно больше, тем длиннее диалог она помнит.
Контекстное окно показывает, сколько текста модель держит в памяти. Оно измеряется в токенах, о которых тоже есть запись в словаре терминов.
Почему это важно
Контекстное окно это объем текста, который модель учитывает за один раз. Если текст становится длиннее окна, старые части перестают учитываться.
Поэтому в долгом диалоге большая языковая модель может потерять детали из начала.
- Окно измеряется в токенах.
- Лишний текст выпадает из памяти.
- Важное стоит повторять в новых запросах.
Понятный образ
Окно работает как стол ограниченного размера. Новые бумаги кладут сверху, а самые старые падают с края и теряются из виду.
Как с этим работать
Делите большую задачу на части и давайте короткие ясные запросы. Полезные приемы есть в гайде как пользоваться ChatGPT.
Если ответы вдруг стали хуже и бот путается, начните новый диалог и заново дайте нужный контекст.
Совет. Короткий и собранный контекст работает лучше огромной стены текста, в которой теряется суть.
Где это используют
Окно дает о себе знать тогда, когда вы работаете с длинными текстами или ведете долгий диалог.
- В длинном чате, где модель начинает забывать начало разговора.
- При работе с большим документом, как в задачах из гайда ChatGPT для исследований.
- В приложениях, где длину диалога считают и ограничивают по числу токенов.
Неверные представления
Контекстное окно это не вся память модели навсегда. Это объем текста за один раз, и старое из него постепенно выпадает.
Большое окно не значит, что модель помнит ваши прошлые чаты. Каждый новый диалог обычно начинается с чистого листа.
Как избежать потери деталей
- Повторяйте ключевые факты в новых запросах.
- Держите запросы по существу и без лишнего.
- При сбое начните новый диалог. Похожие советы есть в материале про ограничения AI, а термины в словаре терминов.
Пример
Если диалог стал очень длинным, модель может забыть начало, потому что оно вышло за контекстное окно.
Контекстное окно кратко
| Вопрос | Ответ |
|---|---|
| Что это | Объем текста за один раз |
| В чем измеряют | В токенах |
| Что будет при переполнении | Старый текст забывается |
| Что делать | Повторять важное |
Что влияет на заполнение окна (простая иллюстрация)
Как окно влияет на ответ
Текст копится
Запросы и ответы занимают место в окне.
Окно заполняется
Когда место кончается, старое выпадает.
Память сужается
Модель помнит только свежие части.
Связанные термины
Частые вопросы
Объем текста в токенах, который модель учитывает за один раз.
Старый текст мог выйти за пределы окна и перестал учитываться при ответе.
Повторяйте важное в новых запросах и давайте короткие ясные сообщения.
Обычно нет. Каждый новый чат чаще начинается без памяти о прежних беседах.
В токенах, а не в словах или страницах текста.
Источники
Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.