Ассистент, умеющий сказать «не знаю», — это и есть продукт

Любая языковая модель ответит на любой вопрос. В этом и проблема. Спросите «сырую» модель об условиях вашей доставки, и она выдаст что-то правдоподобное, гладкое и, возможно, неверное. В демо это никто не проверяет. В продакшене неверная цена, названная клиенту, — это возврат, спор или потерянный счет.

Решение — не более умная модель, а опора на поиск: ассистент отвечает только по вашим документам, цитирует найденное и несет оценку уверенности. Ниже порога он делает самое ценное, что машина может сделать в клиентском сервисе: говорит, что не уверен, и зовет человека.

В наших внедрениях у ассистента три режима. Ответ с опорой: реплика ссылается на конкретный документ, прайс или регламент. Уточнение: вопрос решаем, но неоднозначен, и ассистент задает один сужающий вопрос. Эскалация: уверенность низкая или тема в запретном списке (цены выше лимита, медицинские советы, юридические обязательства), и диалог передается человеку вместе с кратким резюме.

Клиенты не наказывают за эскалацию. Они наказывают за уверенную чушь. Передача с контекстом читается как сервис; неверный ответ читается как обман.

Спросите, что делает ассистент, когда не знает ответа. Если в ответе фигурируют «общие знания модели» — ищите дальше. Честная архитектура скучна: ваши документы, ссылки на источники, пороги и путь эскалации. Именно скучное должно отвечать вашим клиентам в два часа ночи.