Словарь терминов
Что такое эмбеддинг
Определение
Эмбеддинг это набор чисел, который описывает смысл текста. Близкие по смыслу тексты получают близкие числа.
Эмбеддинг это основа умного поиска по смыслу. Он нужен для векторного поиска, о котором тоже есть запись в словаре терминов.
Зачем нужны эмбеддинги
Эмбеддинг это набор чисел, который описывает смысл текста. Близкие по смыслу тексты получают близкие числа.
По числам легко считать, насколько два текста близки по смыслу. На этом строится поиск с генерацией и умные подсказки.
- Текст превращается в набор чисел.
- Близкий смысл дает близкие числа.
- Это помогает искать похожее по смыслу.
Простая аналогия
Это похоже на координаты на карте. Близкие по смыслу тексты получают близкие точки, и расстояние между ними показывает, насколько они похожи.
Где это применяют
Эмбеддинги используют в поиске по документам и в чатах поддержки. Простой пример есть в разделе пример приложения на Flask.
Готовить эмбеддинги обычно помогает отдельная модель, и важно делать их одной и той же моделью для всех текстов.
Совет. Разбивайте документы на разумные куски, не слишком большие и не слишком мелкие.
Где это работает на практике
Эмбеддинги работают незаметно, но именно они стоят за умным поиском и подсказками по смыслу.
- В поиске по смыслу, где запрос и документ описаны числами, а длину считают в токенах.
- В рекомендациях похожих статей или похожих товаров.
- В чатах поддержки, где бот ищет ответ в базе знаний по смыслу вопроса.
Частые заблуждения
Эмбеддинг это не сам текст и не его перевод на другой язык. Это набор чисел, который описывает общий смысл фразы.
Эмбеддинги от разных моделей нельзя сравнивать между собой. Числа имеют смысл только внутри одной и той же модели.
Как получить хороший результат
- Подготовьте чистый текст без лишнего.
- Делайте эмбеддинги одной моделью и связывайте их с векторным поиском.
- Проверьте качество на реальных вопросах, а термины смотрите в словаре терминов.
Пример
Слова «кот» и «кошка» получат близкие эмбеддинги, потому что их смысл похож.
Эмбеддинг кратко
| Вопрос | Ответ |
|---|---|
| Что это | Текст в виде чисел |
| Зачем | Сравнивать смысл текстов |
| Где нужно | Поиск и RAG |
| Что сравнивают | Близость по смыслу |
Где используют эмбеддинги (простая иллюстрация)
Как получается эмбеддинг
Берется текст
Например, фраза или абзац.
Модель считает числа
Текст превращается в набор чисел.
Числа сравнивают
Близкие числа значат близкий смысл.
Связанные термины
Частые вопросы
Это набор чисел, который описывает смысл текста для удобного сравнения.
Чтобы быстро находить похожие по смыслу фрагменты среди многих документов.
В поиске по смыслу, чатах поддержки и подходе RAG.
Точно нет. Числа описывают смысл, но не хранят исходную фразу.
Нет. Их числа сопоставимы только внутри одной модели.
Источники
Мы опираемся на официальную документацию. Цены и состав моделей могут меняться, проверяйте важные факты по первоисточникам.