Čtyřproudová ulice se zužuje do dvou pruhů, protože dělníci opravují velký výmol. Jeden pracovník volně drží v levé ruce stopku, zatímco pravou dává pokyn autům, že mohou jet. Lidští řidiči se dvakrát nerozmýšlejí, jak budou postupovat podle gesta nebo znamení, pohybují se plynule vpřed bez zastavení. Autonomní vozidlo by ale zastavilo. Rozumělo by stopce a zareagovalo na ni. Gesto rukou je ale mnohem komplikovanější. Proto se herní vývojáři snaží autonomní auta naučit číst řeč těla, jak píše spectrum.ieee.org.
Na silnicích vzniká mnoho takových situací. Jeden chodec zastaví před přechodem, aby zkontroloval zprávu na telefonu a pokyne autu, že může jet. Jiný chodec zamává kamarádovi, kterého vidí nedaleko, ale pokračuje v chůzi přes přechod. Člověk těmto gestům rozumí a reaguje na ně, ale počítač v autonomním voze má problém. Proto se vývojáři autonomních systémů po celém světě snaží naučit je rozpoznávat alespoň základní gesta rukou, přičemž nejprve se zaměřili na signály od cyklistů. Vývojáři obecně spoléhají na strojové učení, aby zlepšili schopnosti vozidel identifikovat skutečné situace a pochopit, jak s nimi naložit.
Více než 200 testovacích vozů sbírá data v San Franciscu
Společnost Cruise shromažďuje tato data ze své flotily více než 200 autonomních vozů, které za posledních sedm let každý rok najezdily stovky tisíc kilometrů. Před příchodem pandemie vozy byly na silnici nepřetržitě a zastavovaly pouze kvůli dobití (protože jsou plně elektrické) a pravidelné údržbě. Rychle se učí, protože projíždějí kopcovitými ulicemi San Franciska, jednoho z nejsložitějších jízdních prostředí v USA.
Přesto však tyto modely strojového učení nemají vždy dostatek tréninkových dat, protože vozy nezažijí důležitá gesta ve skutečném světě dostatečně často. Tato vozidla musí každou z těchto situací rozpoznat z různých úhlů a vzdáleností a za různých světelných podmínek. Získání dostatečného množství informací o těchto událostech by nám trvalo roky, kdyby se vývojáři spoléhali pouze na reálné zkušenosti testovacích vozidel.
Vývojáři v Cruise tak našli kreativní řešení datové mezery v podobě zachycení pohybů (technologie motion capture) lidských gest. Jde o techniku, kterou vývojáři her používají k vytváření postav. Cruise najímá vývojáře her kvůli zkušenostem v simulaci reálného prostředí. Ti se chopili výzvy v podobě pořizování dat, která se pak použijí při výuce autonomních vozidel, aby rozuměla gestům.
