VUT v Brně vyvíjí systém s AI pro včasné odhalení přetížení pilotů. Pomoci má výzkum EMPAT

Výzkumníci z Fakulty informačních technologií Vysokého učení technického v Brně (FIT VUT) pracují na využití umělé inteligence k včasnému rozpoznání kognitivního přetížení vojenských pilotů. Čtyřletý projekt EMPAT (Enhanced Monitoring for Pilot and Autonomy Teaming) se zaměřuje především na změny v řeči, které odborníci porovnávají s údaji o fyzickém stavu pilota získanými z dalších senzorů. Cílem je rozpoznat rizikovou situaci dříve, než ohrozí bezpečnost posádky nebo letadla.

Projekt začal v lednu 2026. VUT na něm spolupracuje se společností Lockheed Martin, psychology z Filozofické fakulty Masarykovy univerzity a odborníky z dalších fakult VUT. Zapojeni jsou také specialisté na biomedicínu, testovací letci a odborníci na letecké technologie.

AI má rozpoznat, že pilot přestává zvládat situaci

Vojenské letecké mise vyžadují rychlé zpracování velkého množství informací a řešení náročných situací. Při výrazném kognitivním přetížení může pilot ztrácet přehled o aktuálním dění a soustředit se na události, které už mezitím nastaly. Tento stav se mezi piloty označuje jako situace, kdy se dostanou „za letadlo“.

Výzkumníci chtějí najít způsob, jak takový stav rozpoznat s dostatečným předstihem. Výsledkem projektu má být systém, který upozorní obsluhu na možné přetížení pilota. Výzkum se tak zaměřuje na včasné rozpoznání rizika, nikoli na hodnocení pilota až poté, co udělá chybu.

Řeč doplňují údaje ze senzorů

Hlavním předmětem analýzy je mluvený projev, který může být dostupný například prostřednictvím mikrofonu v letecké náhlavní soupravě. Odborníci sledují zvukové spektrum hlasu, tempo a rytmus řeči, stabilitu hlasu, výplňová slova i změny v bohatosti a smysluplnosti sdělení.

Řeč porovnávají s dalšími údaji, které pomáhají ověřit, zda se pilot dostává pod zvýšenou zátěž. Mezi sledované ukazatele patří srdeční frekvence, stav zorniček a také aktivita frontálních mozkových laloků, kterou lze podle výzkumníků měřit neinvazivně pomocí senzorů.

Data z různých zdrojů se shromažďují prostřednictvím mobilního systému, který si pilot oblékne. Řeč je hlavním zdrojem informací, zatímco další měření mají pomoci potvrdit souvislosti mezi změnami v projevu a kognitivní zátěží.

Výzkumníci sbírají data od 26 pilotů

Jednou z hlavních výzev je nedostatek strukturovaných dat z podobných situací. Výzkumný tým proto vytváří vlastní databázi, do níž přispívá 26 pilotů. Každý z nich absolvuje čtyři simulační sezení. V jejich průběhu se mění letové scénáře a postupně roste složitost modelovaných situací, aby bylo možné sledovat reakce při různých úrovních zátěže.

První fáze projektu se soustředí na shromažďování údajů ze simulátorů a získávání zpětné vazby od pilotů. Vlastní rozpoznávání kognitivní zátěže z řeči má podle předpokládaného harmonogramu přijít na řadu ve druhém či třetím roce výzkumu.

Další fáze počítá s měřením přímo během letu

Po úvodním sběru dat na simulátorech má projekt pokračovat využitím navrženého mobilního nositelného systému při skutečném letu. Výzkumníci tak chtějí rozvíjet metody, které propojí analýzu řeči s dalšími měřenými údaji a umožní včas rozpoznat rizikovou zátěž v leteckém provozu.

Na projektu se podílí také společnost Lockheed Martin, která má využít získaná data, protokoly a postupy strojového učení pro vlastní výzkum. Projekt EMPAT propojuje odborníky z několika oblastí a jeho výsledkem mají být nové metody pro sledování kognitivního stavu pilotů a podporu bezpečnosti vojenského létání.