Barge-in: funkcja uznawana za darmową, a najdroższa
Umożliwienie użytkownikowi przerwania mówiącego urządzenia w pół zdania, po prostu przez odezwanie się, to problem systemowy, na który nie ma taniej i niezawodnej odpowiedzi w kosztach sprzętu konsumenckiego. Wdrożyliśmy w tym celu dedykowany układ IC redukcji szumów i algorytm, strojiliśmy je tygodniami i to nadal uczciwy wniosek.
Co próbowaliśmy zrobić
Barge-in (przerywanie wypowiedzi urządzenia głosem) wygląda banalnie. Zaczynasz mówić, urządzenie milknie i słucha. To podstawowa uprzejmość w rozmowie i każdy użytkownik zakłada, że asystent głosowy AI tak się zachowuje. Potraktowaliśmy to jako drobiazg, zarezerwowaliśmy na to budżet sprzętowy i trafiliśmy na lukę.
Gdzie to naprawdę się psuje
Podczas testów w naszym biurze obok rozmawiał przez telefon kolega. Urządzenie uznało jego głos za przerwanie i porzuciło kontekst rozmowy, którą prowadziło ze mną. Nie był to dźwięk z oddali ani głośny, tylko inny dorosły mówiący normalnym tonem kilka metrów dalej.
Przyczyna leży w tym, że barge-in nie jest kwestią głośności. Aby zdecydować poprawnie, urządzenie musi jednocześnie wiedzieć trzy rzeczy: kto mówi, gdzie się znajduje i czy to, co powiedział, było skierowane do tego urządzenia. Każda z nich z osobna jest trudna. Wszystkie trzy naraz, na płytce konsumenckiej o kontrolowanym koszcie, to niemal nierozwiązywalne zadanie.
Cztery podejścia i jak każde z nich zawodzi
Odległość
Dziecko nosi zabawkę ze sobą, kładzie ją na stole, unosi w górę. Odległość między ustami a mikrofonem nigdy nie jest stała, więc każdy próg oparty na niej stale się przesuwa. Ta droga jest zamknięta, zanim się zacznie.
Próg głośności
Dźwięki otoczenia pokrywają się poziomem z mową samego użytkownika. Telewizor, rozmowa obok, hałas ulicy wpadający przez okno trafiają w to samo pasmo co osoba, na której nam zależy. Ten sam zmierzony poziom może oznaczać właściciela albo telewizor, a sama amplituda niczego tu nie rozstrzyga.
Odcisk głosu
Technicznie najlepsza odpowiedź. Zablokować się na zarejestrowanym użytkowniku i ignorować wszystkich innych. Wymaga mocy obliczeniowej i licencji, których nie przewiduje BOM konsumenckiej zabawki, więc jest wykluczona ceną, a nie zasadą.
Lokalny układ IC redukcji szumów
To właśnie wdrożyliśmy. Pomaga, a w rozsądnie cichym pomieszczeniu zachowanie jest akceptowalne. W hałaśliwym otwartym otoczeniu nadal zdarzają się fałszywe wyzwolenia. Nie rozwiązaliśmy problemu, przesunęliśmy poziom błędów.
Dlaczego asystenci w telefonach sobie radzą
Asystent w telefonie dobrze obsługuje barge-in, bo ma układ mikrofonów, wydajny procesor aplikacyjny i obliczenia w chmurze. Po przeniesieniu ich do zabawki o kontrolowanym koszcie każdy z tych elementów coś psuje. Układ mikrofonów zwiększa rozmiar i koszt. Procesor rozsadza BOM. Wywołania do chmury dodają opóźnienie i zależność od sieci w produkcie, który musi działać przy słabym Wi-Fi.
To nie kwestia tego, czyj algorytm jest sprytniejszy. To inny zestaw ograniczeń.
Co wdrożyliśmy
Zacieśniliśmy granicę wyzwalania, by ograniczyć fałszywe alarmy, godząc się z tym, że urządzenie czasem przeoczy prawdziwe przerwanie, zamiast ciągle reagować na otoczenie. Reaguje niezawodnie, gdy użytkownik wypowiada jego imię lub mówi wyraźnie w jego stronę. Zero fałszywych wyzwoleń w otwartym, hałaśliwym otoczeniu nie jest dziś osiągalne przy tym koszcie i wolimy to powiedzieć, niż pozwolić, by kanał sprzedaży odkrył to po premierze.
Ogólna lekcja
W sprzęcie AI interakcje, które użytkownicy uważają za oczywiste, są często najdroższe w wykonaniu. Barge-in jest jedną z nich. Jeśli Państwo planują produkt głosowy, należy wycenić tę funkcję wprost, zamiast zakładać, że jest wliczona w stos głosowy, i z wyprzedzeniem zdecydować, w którą stronę mają wypadać błędy.
Powiązane
- Pluszowy brelok AI — jeden przycisk, ponad 50 języków, reakcje offline
- Projektor AI do bajek — głosowy pilot Bluetooth, 75 języków
- System cyfrowego człowieka AI dla ekranów informacyjnych
Chcą Państwo wypróbować sprzęt, o którym piszemy?
Sześć platform sprzętowych z AI jest w produkcji seryjnej. Prosimy podać rynek i kanał sprzedaży, a wyślemy próbkę do oceny.
Poproś o próbkę