Что входит в NLP
NLP объединяет несколько уровней работы с текстом — от низкоуровневой обработки до понимания смысла:
Базовые задачи:
— Токенизация — разбивка на слова/подслова
— Лемматизация и стемминг — приведение к нормальной форме («покупали» → «покупать»)
— Классификация текста — к какой категории относится запрос
Смысловые задачи:
— Распознавание именованных сущностей (NER) — «Nike Air Max» = бренд + модель
— Анализ тональности — отзыв позитивный, нейтральный или негативный
— Понимание намерений — пользователь хочет купить, сравнить или найти офлайн-магазин
Генерация:
— Автосаджест — завершение поискового запроса
— Генерация описаний товаров
— Диалоговые ответы в AI Shopping Assistant
NLP в e-commerce поиске
Традиционный поиск — точное или fuzzy совпадение строк. Пользователь пишет «кеды белые» — система ищет эти слова в названиях. Если в каталоге написано «белые кроссовки casual» — результат может не найтись.
NLP-поиск работает через семантические эмбеддинги: запрос и товары преобразуются в векторы, и поиск идёт по близости в смысловом пространстве. «Белые кеды» и «casual sneakers white» — семантически близки и дадут пересекающиеся результаты.
Важно: NLP не устраняет необходимость в хорошем каталоге. Если карточки товаров плохо заполнены (нет атрибутов, короткие описания), даже лучший NLP-поиск не компенсирует нехватку данных для сопоставления.