Nová generace sluchadel by měla umožnit odezírání i ze zakrytých rtů

Přinášíme vám překlad článku o inovativním systému, který je schopný odezírat ze rtů s pozoruhodnou přesností, přestože mají mluvčí na obličeji roušky. Mezinárodní tým inženýrů a vědců z oblasti informatiky vyvinul technologii, která jako první propojuje radiofrekvenční snímání s umělou inteligencí k identifikaci pohybů rtů. Když se tento systém sjednotí s běžnou technologií sluchadel, mohl by pomoct řešit tzv. „efekt koktejlové party”, který je všeobecným nedostatkem tradičních sluchadel. 

V současné době sluchadla pomáhají lidem se sluchovým postižením tím, že zesilují všechny okolní zvuky kolem nich, což může být užitečné v mnoha aspektech každodenního života. Na místech, kde je hluk, jako jsou party, však může široké spektrum zesílených zvuků znesnadňovat uživatelům sluchadel soustředění se na konkrétní zvuky, například na konverzaci s určitým člověkem. Jedním z potenciálních řešení efektu koktejlové party, je vyrobit „chytrá” sluchadla, která by kombinovala konvenční zesílení zvuku s druhým zařízením tak, aby shromažďovala další data pro lepší výkon. 

Jiní výzkumníci uspěli v použití kamer pro odezírání ze rtů, ale shromažďování videozáznamů lidí bez jejich výslovného souhlasu vyvolává obavy o soukromí jednotlivců. Kamery také nejsou schopny číst ze rtů přes roušky, což znamená každodenní výzvu pro lidi, kteří si zakrývají obličej z kulturních nebo náboženských důvodů a zároveň je záležitost roušek spojena s dobou COVID-19.

V novém dokumentu, který byl zveřejněn v časopise Nature Communications, popisuje tým vedený Glasgowskou univerzitou, jak se rozhodl využít špičkovou technologii snímání pro odezírání ze rtů. Jejich systém zachovává soukromí, protože sbírá pouze radiofrekvenční data bez doprovodných videozáznamů. 

Tito vědci požádali dobrovolníky a dobrovolnice, aby opakovali pět samohlásek (a, e, i, o, u) nejprve bez nasazené roušky a pak s nasazenou rouškou. Dobrovolníci opakovali zvuky samohlásek a jejich tváře byly během toho skenovány pomocí radiofrekvenčních signálů ze specializovaného radarového senzoru i wifi vysílače. Skenování tváří probíhalo také tehdy, když dobrovolníci nepohybovali rty. Poté bylo 3600 vzorků dat shromážděných během skenování použito k „výuce” algoritmů tzv. strojového učení a hlubokého učení, jak rozpoznat charakteristické pohyby rtů a úst spojené s každým zvukem samohlásky. Vysokofrekvenční signály mohly snadno procházet rouškami, a tak se mohly algoritmy naučit rozeznávat tvorbu samohlásek.

Obr. 1 Strojové odezírání pomocí radiofrekvenčních signálů ze specializovaného radarového senzoru

Ukázalo se, že systém je schopen většinu času správně odezírat ze rtů. Wifi data byla správně interpretována „učícími“ algoritmy až v 95 % případů u rtů bez roušky a v 80 % případů u rtů s rouškou. Data z radaru byla interpretována správně až v 91 % případů bez zakrytých úst a v 83 % se zakrytými ústy.

Obr. 2 Vyslovované samohlásky a jejich reprezentace v signálu z radaru a wifi

a) vizuální znázornění vyslovovaných samohlásek

b) vzorky dat z wifi (během zakrytí úst rouškou) reprezentující různé třídy samohlásek

c) vzorky dat z radaru (během zakrytí úst rouškou) reprezentující různé třídy samohlásek

Vedoucí autorského kolektivu dr. Qammer Abbasi z Glasgowské univerzity, k tomu řekl: „Asi pět procent světové populace, cca 430 milionů lidí, má nějaký druh sluchového postižení. Sluchadla přinesla pro mnoho lidí se sluchovým postižením velkou změnu. Technologie nové generace, která shromažďuje široké spektrum dat pro rozšíření a zesílení zvuku, by mohla být dalším významným krokem ke zlepšení kvality života lidí se sluchovým postižením. Tímto výzkumem jsme ukázali, že radiofrekvenční signály lze použít k přesnému čtení samohlásek na rtech lidí, i když mají zakrytá ústa. Přestože výsledky odezírání pomocí signálů z radaru jsou o něco přesnější, signály wifi rovněž prokázaly působivou přesnost. 

Vzhledem k všudypřítomnosti a cenové dostupnosti technologií wifi jsou výsledky velmi povzbudivé, což naznačuje, že tato technika má hodnotu sama o sobě i jako součást budoucích víceúčelových sluchadel.”

Zdroj: University of Glasgow

Přeložila: Lucie Brandtlová, publicistka Informačního centra rodičů a přátel sluchově postižených, z.s., redakčně kráceno

Fotografie: Nature Communications, Shutterstock.com