Как настроить элемент «ИИ»

Элемент предназначен для того, чтобы отвечать на вопросы клиентов с помощью ИИ. Подробнее о функциональности см. «Элемент  «ИИ».

В сценарии элемент «ИИ» идет в связке с блоком «Вопрос-ответ».

Внутри элемента «ИИ» находятся настройки:

• Время ожидания —  таймаут, по истечении которого считается, что ИИ не нашел ответ либо его ответ не распознан;
• Контекст —  правила, которыми руководствуется ИИ, чтобы найти ответ на заданный вопрос.

Модель:

• OpenAI
  • Модель
    • gpt-3.5-turbo: самая быстрая, дешевая и доступная модель ИИ. Максимальное количество токенов — 4096.
    • gpt-3.5-turbo-16к: эта модель дороже и может содержать гораздо больше контекста. Максимальное кол-во токенов 16000.
    • gpt-4-1106-preview: гораздо умнее, содержит более новые знания, стоит дороже. Максимальное кол-во токенов 128000.
• GigaChat
  • Модель
    • Lite (по умолчанию) — для решения простых задач, требующих высокой скорости работы модели. Дешёвая и менее требовательна к аппаратному обеспечению.
• YandexGPT-4
  • Модель
    • Способна генерировать текст, отвечать на вопросы, создавать контент, а также выполнять более сложные задачи обработки естественного языка с высокой точностью.

Токены

Представляют собой последовательности символов, встречающиеся в наборе текста. Т.е. это единица, в которой измеряется текст в контексте и в сообщении. Каждый токен включает в себя примерно 2-3 символа.

Температура

Следует устанавливать температуру от 0 до 1, рекомендуемое значение - 0,7.

• 0: отвечает самыми вероятными ответами и конструкциями, меньше творчества.
• 1: больше творчества, непредсказуемее.

Как добавить элемент ИИ» на схему

Для добавления элемента «ИИ» в сценарий перетащите элемент на схему:

Нажмите на кнопку с часами и включите параметр graph_element_params, установив флажок напротив него. Этот параметр задает время, по истечении которого считается, что ИИ не нашел ответ или его ответ не распознан.

Введите количество секунд (от 5 до 15) и нажмите Сохранить.

Нажмите на иконку с карандашом и задайте параметры ИИ:

• Сообщение — введите переменную {{stt_answer}}. Данная переменная отвечает за то, на какой вопрос отвечает ИИ. ИИ берет информацию, на какой вопрос он должен ответить, из блока «Вопрос-ответ».

• Контекст — длина контекста ограничивается допустимым количеством токенов. В данном примере заложены не только варианты поиска ответа на вопрос клиента, но и то, как ИИ будет отвечать в зависимости от ответа клиента - нюансы, которые влияют на работу ИИ. Вы можете ввести любой контекст, содержащий логику, по которой ИИ будет обрабатывать информацию, полученную от клиента.

  ⚠️ Внимание! ИИ можно настроить так, что он будет распознавать контекст предыдущего вопроса и отвечать с учетом контекста, вести с клиентом диалог на определенную тему. Даже если клиент не произнес каких-то ключевых слов, ИИ ответит с учетом того, что контекст обоих вопросов един.

  
  

  • Для этого следует добавить на схему второй блок «ИИ» и прописать следующие настройки: Сообщение - переменную {{stt_answer}}. Контекст - последовательность Q:{{stt_answer_5083_1}} A:{{gpt_answer}} где stt_answer - вопрос, на который ИИ уже дал ответ 5083_1 - идентификатор блока «Вопрос-ответ», в котором ИИ этот ответ произносил.
    Отображается в поле «Идентификатор» внутри элемента «Вопрос-ответ».

 Выберите модель, введите количество токенов, которые максимально сможет обработать ИИ, и установите температуру (рекомендуемое значение 0.7).
Нажмите Сохранить.

Как построить сценарий с использованием элемента «ИИ», см. в разделе «Типовые сценарии с применением ИИ».