Дауыстық интерфейстер мен ассистенттер

1) VUI дегеніміз не және ол қажет болғанда

Дауыс интерфейсі (VUI) - сөйлесу арқылы өзара әрекеттесу тәсілі: қосымшадағы/браузердегі ассистенттер, ақылды бағандар, IVR/телефония, авто және теледидардағы дауыс.
Қолмен жұмыс істейтін сценарийлер (жүргізу, ас үй), жылдам командалар («қосу»..., «қоңырау шалу»...), қол жетімділік, күрделі мәзір бойынша навигация үшін жарамды.
Дәл визуалды таңдау (каталогтар, кестелер), экрансыз құрылымдалған деректерді ұзақ енгізу үшін жарамсыз.

2) Диалог моделі: интенттер, мәні және контекст

Интент (мақсат): пайдаланушының қалауы: «_ төлем жасау», «_ балансты тексеру».
Слоттар/мәні: мақсат параметрлері: сомасы, валютасы, адресаты, күні.
Контекст/диалог-стейт: не белгілі, қайда тармақталғанымызды нақтылаймыз.
Растау қағидалары: нені анық растаймыз (ақша, дербес деректер).

json
{
"intent": "MakeDeposit",
"slots": {
"amount": {"type": "number", "required": true, "confirm": "sensitive"},
"currency": {"type": "currency", "required": true, "default": "UAH"},
"method": {"type": "payment_method", "required": false}
}
}

3) Диалог үлгілері

1. Команда бір сөйлеммен: «500 гривен Apple Pay шотын толтырыңыз». → растау → әрекет.
2. Нақтылау диалогы: «Кімге аудару керек?» → «Қандай сомаға?» → растау.
3. Қадамдық шебер: деректерді тексерумен және кері қадаммен күрделі сценарийлер.
4. Ниетті тану + NLU-перефраз: вариативті тұжырымдарды қолдау.
5. Жылдам анықтамалар: «Шығаруға қандай лимиттер бар?» - қысқаша жауап + «Экранда көрсету».

4) Тұжырымдары: дауыс және тон

Бренд дауысы: сенімді, тыныш, достық; сындарлы қадамдарда азайту және «әзілсіз» (төлемдер, қауіпсіздік).

Макс. ассистент репликасының ұзындығы: 1-2 сөйлем; ұзақ жауаптар - «Жалғастыру керек пе?»

Нақты сұрақтар: «Қандай сомаға толтыру керек?» «Бұдан әрі не істеп жатырмыз?»

5) Растау, қауіпсіздік және этика

Сезімтал әрекеттерді қатаң растау: негізгі параметрлерді айту ("... 4581 картамен 500 гривнаға толықтыру? »)

Қайтарылмайтын операциялар үшін қосарланған растау.
Толық дербес деректерді жариялаусыз.
Болдырмау/қайтару мүмкіндігі: «Болдырмау», «Тоқта», «Соңғы қадамды болдырмау».

6) Қателер және түсінбеушілік

• ASR қатесі (естімеген): "Соманы естімеген. Қайталаңызшы"
• NLU түсініксіз: "Мен сұрауды түсінбедім. Шотты толтыруға немесе балансты көрсетуге болады. Не таңдайсыз?"
• Деректер/шектеу жоқ: "Бұл әдіс сіздің аймағыңызда қол жетімді емес. Басқа нұсқаларды атау керек пе?"
• Желі/сервис: "Қазір төлем сервисімен байланыс жоқ. Бір минуттан кейін қайталау керек пе?"

Ереже: ең көп дегенде 2 қайта сұрау әрекеті → балама ұсыну (экранға/адамға).

7) Жылдамдық және бардж-ин (үзу)

TTFB жасырындылығы: мақсатты <300-500 мс; егер ұзақ болса - қысқа «эм-мм» - сигнал/earcon.
Barge-in: пайдаланушы ассистентті кез келген уақытта тоқтата алады; үзілісті дұрыс өңдейміз.
Жауап стримингі: бүкіл мәтін дайын болғанша, бірақ мәнсіз сөйлей бастаймыз.

8) TTS/ASR және SSML: «адамгершілік» деп қалай айтуға болады

Сандардың/валюталардың/күндердің айтылуы: жергілікті форматтар («бес жүз гривен», «15 жапырақ құлдырауы»).
Үзілістер мен екпіндер: SSML '<break time = «300ms »/>', '<emphasis level =« moderate »>'.
Аббревиатураларды/кодтарды оқу: '<say-as interpret-as = «characters»> IBAN </say-as>'.
Жылдамдық және тембр: 0-ден тез емес. 9 × түсінікті болуы үшін базалық.

xml
<speak>
Top up on <say-as interpret-as = "cardinal"> 500 </say-as>
<sub alias = "hryvnia"> UAH </sub>?
<break time="300ms"/>
Please confirm.
</speak>

9) Мультимодальдық: дауыс + экран

Көзбен шолу кеңестері: растау карточкасы, әдістер тізімі, прогресс.

Hand-off экранға: "Мен экранға нұсқаларды жібердім. Әдісті таңдаңыз"

Күйді үндестіру: дауыс бастайды, экран аяқтайды (және керісінше).

10) Көптілділік және оқшаулау

Бір сөз тіркесі емес, сессия/теңшелім бойынша тілді автоматты түрде анықтау.
Терминдер глоссарийі: RU/UA/TR/EN үшін бірыңғай терминология.
Сандар/валюталардың/күндердің өңірлік форматтары, атаулардың/топонимдердің айтылуы.
«Украин тіліне ауысу» диалогында ауысу - айқын пәрмен.

11) Дауыста қол жетімділік (A11y)

Әрекетті растау - айқын және қысқа.
Сұрау бойынша қайталау: «Қайталау» соңғы репликаны дыбыстайды.
Дыбыс/жылдамдық: «Баяу/баяу/қатты сөйлеу».
Нашар еститіндер үшін: экрандағы субтитрлар/транскрипт, діріл сигналдары.
Сөйлеу қабілетінің бұзылуы үшін: енгізудің баламалы тәсілдері (түйме, пресеттер).

12) Құпиялылық, логика және комплаенс

Wake-word және жазу индикаторы: ашық күйі «тыңдаймын».
Жергілікті өңдеу, егер мүмкін болса; әйтпесе - деректерді азайту.
Логтарда сезімтал фрагменттерді бүркемелеу (PAN, IBAN, мекенжайы) және аудио автоматты редакциялау.
Сақтау мерзімдері және сұрау салу бойынша алып тастау құқығы; «Тарихты сақтамау» параметрлері.
Жас шектеулері/ата-аналық бақылау (балалардың дауыстары/командалары).

Ашықтық: "Мен бұл пәрменді тануды жақсарту үшін жазамын. Параметрлерде ажыратуға болады"

13) Ассистент тұлғасы

Аты-жөні: қысқаша өмірбаяны, құзыреттілік саласы, не істей алады/істей алмайды.
Жағдайлар бойынша үн: кәдімгі (достық), сыни (бейтарап), оқыту (қолдау).

Шекарасы: «Мен қаржылық кеңес бермеймін, бірақ анықтаманы көрсете аламын.»

14) Сапа метрикасы VUI

Intent recognition rate (NLU дәлдігі).
Slot fill rate и avg. turns to fill.
ASR WER/CER (сөздерді/таңбаларды тану қатесі).
Task Success / Completion rate и Time-to-Complete.
Escalation rate (оператор/экранда).
Barge-in usage и Latency p95.
Сценарийден кейін User Satisfaction/CSAT.
Қадамдағы Abandonment.

15) Тестілеу және QA дауысы

Тест сөйлемдерінің жиынтығы: синонимдер, сөйлесу формалары, акценттер, қателер.
Қоршаған ортаның шуылы: көше/авто/ас үй, әртүрлі микрофондар.
Реплика диалогы: қайталанатын сценарийлер, регрессия үшін golden-set.
Wizard-of-Oz ерте кезеңдерде.
Заңдық сценарийлер: ассистент ретінде ықтимал қауіпті сұрауларға жауап береді.

16) Өніммен интеграция (iGaming-кейстер)

Баланс/депозит/шығарылым: "Қандай баланс? ", "200 UAH толтыру"..., "Шығару мәртебесі".
Бонустар/миссиялар: "Қандай бонустар қолжетімді? ", "Апталық кэшбэкті белсендіріңіз".

Жауапты ойын: «Аптасына 1000 UAH депозит лимитін белгілеңіз.»

Жүйенің мәртебесі: «Қазір техникалық жұмыстар бар ма?»

17) Қарсы үлгілер

Ассистенттің үзу мүмкіндігі жоқ ұзақ монологтары.
Ақша операцияларын анық растамау.
Таңдаусыз баламасыз «түсінбедім».
Қабылдауға кедергі келтіретін артық дыбыстар/джинглдер.
Егжей-тегжейлі визуалды таңдау қажет есептерді «дауыспен» шешу әрекеті.

18) Промт және жауап үлгілері

• Ассистент: «Шотты қандай сомаға толтыру керек?»
• Пайдаланушы: «Бес жүз.»
• Ассистент: "500 гривнаға толықтыру керек пе? Растаңыз"

• "500 гривнаға... 4581 картамен толықтырылғанын растаңыз. "Растаймын" немесе "болдырмау" деп айту"

• "Мен төлем әдісін естіген жоқпын. Ұсынамын: Apple Pay, карта, криптокошелек. Не таңдайсыз?"

• "Қол жетімді әдістерді экранға жібердім. Жалғастыру үшін "дайын" дегенді таңдаңыз"

19) SSML үлгілерінің мысалдары

xml
<speak>
Your current balance is
<say-as interpret-as="cardinal">1250</say-as>
<sub alias = "hryvnia"> UAH </sub>.
<break time="250ms"/>
Shall we continue?
</speak>

xml
<speak>
<emphasis level = "moderate "> Caution </emphasis>: Verification is required for output.
</speak>

xml
<speak>
Recharge with <say-as interpret-as = "characters"> IBAN </say-as>?
</speak>

20) Чек парақтары

Шығару алдындағы диалог/мазмұн

• Әрбір интентке - синонимдер/сөз тіркестерінің тізімі.
• Әрбір міндетті слотқа бір нақты сұрақ қойылады.
• Сезімтал әрекеттер - айқын растау.
• «экранға «/« оператор »деген қысқа балама бар.
• 2 сөйлемнен ≤ репликалар; ұзын - "Жалғастыру керек пе? ».

Техника және сапа

• barge-in қолданылды және үзілгеннен кейін диалогқа қайта оралды.
• Жасырындылық p95 қалыпты; кешігу кезінде earcons бар.
• SSML баптаулары: үзілістер, сандар, екпіндер.
• Логтар иесіз/бүркемеленген; тарихты басқару бар.
• Көп тілдік және жергілікті пішімдер тексерілді.

A11y және қауіпсіздік

• «Қайталау/Баяу/Қатты сөйлеу» жұмыс істейді.
• Толық дербес/төлем деректері айтылмайды.
• Әрекетті дауыспен болдырмау/қайтару бар.
• Жас және аймақтық шектеулер тексерілді.

21) Диалог спецификациясының қаңқасы (шаблон)

Сценарийдің мақсаты: (мысалы, «Депозит ≤ 90 сек»)

Интенттер мен синонимдер: сөз тіркестері мысалдарының тізімі.
Слоты: `amount` (req, confirm), `currency` (default=UAH), `method` (enum).
Растау ережесі: қандай мәндер/шектер үшін қайталау қажет.
Қате нұсқалары: ASR, NLU, сервис жоқ - мәтіндер + бұтақтар.
Мультимодальды шығулар: қандай карточкаларды/экрандарды көрсетеміз.
Логи және құпиялылық: нені және қалай бүркемелейміз, TTL сақтау.

Қорытынды шпаргалка

Алдымен интенттер/слоттар/растау ережелері, содан кейін мәтіндер.
Қысқаша сөйлесіңіз, үзіп, болдырмаңыз.
Мазмұн бойынша SSML, жергілікті пішімдер мен үндерді теңшеңіз.
Құпиялылық пен логиканы бақылауда ұстаңыз.
Intent/Slot/ASR метрикаларын, Task Success және жасырындылығын өлшеңіз.
Әрқашан экранға балама және адамға апаратын жол бар.