Az XR-piac globálisan dinamikusan növekszik, a hazai ipari alkalmazások azonban egyelőre nem árasztják el a gyártó cégeket. Hol találta meg itthon a helyét a technológia, és merre tartanak a fejlesztések? Erről beszélgettünk Sonkoly Balázzsal, a Budapesti Műszaki és Gazdaságtudományi Egyetem (BME) Távközlési és Mesterséges Intelligencia Tanszékének egyetemi docensével, a HUN-REN-BME Felhőalkalmazások Kutatócsoport kutatójával. 

GyártásTrend: A VR/AR/MR (Virtual Reality/Augmented Reality/Mixed Reality) piac globálisan már több tízmilliárd dolláros nagyságrend, és az elemzések szerint a növekedést egyre inkább a klinikai mellett az ipari képzés és szimuláció húzza (MarketsandMarkets). Miért éppen ezeken a területeken talált igazán alkalmazásra az immerzív technológia, és milyen más szegmensekben van jelentős szerepe? 

Sonkoly Balázs: Az immerzív technológiák – különösen a VR – azért találtak gyorsan alkalmazási területet az ipari képzésben, mert itt különösen nagy értéke van a biztonságos, kontrollált gyakorlásnak.

A virtuális környezetben valós munkafolyamatok modellezhetők, így a tanulás nemcsak interaktívabbá, de mérhetővé és visszakövethetővé válik. Ez egyszerre növeli a hatékonyságot és csökkenti a kockázatot: a felhasználók hibázhatnak anélkül, hogy valódi kárt okoznának.

A technológiai fejlődést egyébként részben a játékipar húzza, hiszen a szimulált környezetek és az immerzív élmény ott talált először jelentős piacra. De mára az ipari és oktatási alkalmazások is legalább ilyen jelentősek, különösen a gyakorlati készségek fejlesztésében.

Mi is részt veszünk egy uniós konzorciumi projektben, a Horizon Europe keretében futó Master-XR-projektben, amelynek célja, hogy korszerű XR- (VR/AR/MR) technológiákat alkalmazzon a robotikaoktatásban és -képzésben, különösen a gyártási környezetben. 

GyT.: Mi a kutatócsoport feladata ebben a projektben? 

S. B.: A MASTER-XR keretében elsősorban robotikai környezethez kapcsolódó oktatási anyagok fejlesztésén dolgozunk. A projekt célja egy olyan open source VR-platform kialakítása, amely csökkenti a technológia használatához szükséges belépési küszöböt.

Jelenleg ugyanis egy VR-alkalmazás létrehozásához szükség van olyan szoftverfejlesztőre, aki érti a technológiát, és képes felépíteni benne a szimulált környezeteket és alkalmazásokat – ez viszonylag magas belépési küszöböt jelent. Az uniós projekt ezt szeretné egyszerűsíteni: egy úgynevezett low-code programozási platform létrehozásán dolgozik, amely megkönnyíti az ilyen típusú oktatási tartalmak elkészítését. A koncepció része egy webes felület is, ahol drag and drop módszerrel lehet elemeket összeállítani, majd forgatókönyvet rendelni hozzájuk, így létrehozva a kívánt tananyagot.

Mi ebbe a rendszerbe kapcsoljuk be a mesterséges intelligenciát. A cél az, hogy ne mindent manuálisan kelljen felépíteni: például egy szakértő bemutat egy munkafolyamatot, az AI ezt lépésekre bontja, tutoriált készít belőle, és beépít egy ellenőrizhető, kiértékelő szakaszt is. Az így létrejövő folyamat ezután a szimulált környezetben gyakoroltatható.

GyT.: Miben jelent valódi előrelépést a VR-alapú robotikai képzés? A hatékonyságban, a biztonságban vagy a tudás minőségében hoz többet a hagyományos oktatáshoz képest?

S. B.: A robotika területén az egyik legnagyobb előny a biztonság. Mielőtt valaki élőben dolgozna ezekkel a drága és potenciálisan veszélyes robotkarokkal, lehetősége van egy szimulált, kockázatmentes környezetben gyakorolni. Ez nemcsak költséghatékonyabb, de jelentősen csökkenti a balesetek esélyét is.

Különösen érzékeny terület az ember-robot együttműködés. A mai kollaboratív rendszerekben a robot biztonsági okokból azonnal leáll, amint embert érzékel a közelben. Ez ugyan biztonságos, de nem feltétlenül hatékony megoldás. A jövő viszont abba az irányba halad, hogy az autonóm mobil robotok és az emberek egy térben, folyamatosan együttműködve dolgozzanak. Ilyen helyzetekben már nem elég az a stratégia, hogy a robot „lekapcsol”, ha valaki szembejön vele – adaptív, intelligens együttműködésre van szükség.

Ezt az ember-gép interakciót lehet biztonságosan gyakorolni szimulált környezetben.
A másik fontos hozadék a tesztelés. A robotikaialkalmazás-fejlesztők egy-egy új megoldást először virtuális térben próbálhatnak ki, így ha hiba van a rendszerben, az nem egy éles helyzetben, esetleg egy baleset során derül ki. A szimuláció tehát egyszerre oktatási és fejlesztési eszköz: csökkenti a kockázatot, növeli a hatékonyságot, és lehetővé teszi a komplex együttműködési helyzetek biztonságos modellezését.

GyT.: A VR-t, AR-t és MR-t gyakran együtt emlegetjük, pedig eltérő technológiai és használati logikát képviselnek. Ipari környezetben jelenleg melyik tekinthető a leginkább kiforrottnak, és mi határozza meg ezt az érettséget?

S. B.: Valóban érdemes elkülöníteni ezeket a technológiákat, mert mindegyik más működési logikára épül. A VR esetében a felhasználó teljesen kilép a fizikai világból: felveszi a headsetet, és egy szimulált környezetben mozog. Ez technológiai szempontból ma a legstabilabb és legkiforrottabb megoldás ipari alkalmazásban, különösen képzési és szimulációs célokra.

Az AR és az MR esetében a fizikai valóság továbbra is látható, amely virtuális elemekkel egészül ki. Az AR tipikus példája, amikor egy mobiltelefon képernyőjén jelennek meg digitális információk a valós térre vetítve. A Mixed Reality ennél egy lépéssel tovább megy: itt a virtuális és a fizikai világ már szervesebben integrálódik, és interakció is létrejön a kettő között. Például le lehet tenni egy virtuális tárgyat a fizikai asztalra, vagy egy virtuális labda visszapattan a valódi falról. 

Ez azonban fejlesztési szempontból jóval nagyobb kihívás, mert a rendszernek valós időben kell detektálnia a fizikai környezetet és az objektumok mozgását – különösen akkor, ha maga a környezet is dinamikus. Mi az egyetemen főként ilyen Mixed Reality-alkalmazásokkal foglalkozunk: például fizikai játék autókhoz rendelünk virtuális elemeket (pl. zászlót) vagy olyan rendszereket fejlesztünk, ahol a fizikai eszközök virtuális objektumokkal lépnek interakcióba, pl. a Rocket League játék keretében a távirányítós autók virtuális labdával, virtuális kapura lőnek. Ilyenkor a fizikai tárgyak mozgását folyamatosan követni és szinkronizálni kell a virtuális térrel. Ezekez a rendszerekhez azonban alapvetően már 6G-s hálózatokra van szükség azok mindenféle új képességével.

Tehát mondhatjuk, hogy jelenleg a VR a legelérhetőbb ipari alkalmazásra, főként képzési és szimulációs célokra. Az MR hatalmas potenciállal rendelkezik, de komplexebb technológiai háttérre és – a jövőben – nagyobb hálózati kapacitásra is szükség van ahhoz, hogy széles körben, stabilan alkalmazható legyen.

GyT.: A Mixed Reality a játékiparon túl milyen, társadalmilag is jelentős területeken kaphat szerepet?

S. B.: Ha visszalépünk az oktatás területére, ott már jól látszik a különbség a pusztán szimulált VR-környezet és a Mixed Reality között. Az MR annyival tud többet, hogy a fizikai környezet továbbra is jelen van: látom, sőt adott esetben tapinthatom is a valós eszközöket. Nem egy szimulált robottal dolgozom, hanem egy tényleges fizikai berendezéssel, miközben a szemüvegen keresztül hologramszerűen jelennek meg rajta az oktatási információk.

Ez azt jelenti, hogy nem egy teljesen virtuális folyamatot gyakorlok, hanem a valós objektumokon végzem el a feladatokat, kiegészítve digitális útmutatással. Ez különösen fontos lehet ipari képzésben, karbantartásban vagy egészségügyi alkalmazásokban, ahol a valós eszközhasználat elengedhetetlen.
Emellett az MR lehetőséget ad arra is, hogy egy távoli szakértő valós időben támogassa a munkát. Egy tapasztalt kolléga például úgy tud iránymutatást adni, hogy látja, mit csinálok, és közvetlenül a látómezőmben jelölheti ki a következő lépéseket. Ez elérhetőbbé teheti a magas szintű szakmai tudást.

GyT.: A piaci várakozások gyakran gyorsabb elterjedést jósolnak, mint amit az ipari gyakorlat mutat. Melyek azok a – kevésbé hangsúlyozott – technológiai korlátok, amelyek jelenleg leginkább lassítják a VR/MR megoldások széles körű elterjedését?

S. B.: Én elsősorban a technológiai és eszközoldali korlátokat látom fékező tényezőként. Jó példa erre a Microsoft HoloLens és a HoloLens 2: az amerikai hadsereg volt az egyik legnagyobb megrendelő, de nekik a szenzorok minősége nem felelt meg, ezért átterveztették a terméket. Ugyanakkor rendkívül drágák maradtak a szemüvegek – 3500–3800 eurós nettó áron voltak beszerezhetők még egy pár éve. Ez az árszint jelentősen korlátozza a széles körű ipari bevezetést.
A technológia működik, de nem sikerült igazán olcsóvá tenni. A nagyvállalatok – például autógyárak – képesek beruházni ilyen eszközökbe, de tömeges elterjedésről ezen az árszinten nem lehet beszélni.

A fejlesztési irány ezért részben elmozdult a teljesen szimulált VR-megoldásoktól és az úgynevezett optical see-through megoldásoktól (mint amilyen a HoloLens) a video see-through vagy pass-through néven hivatkozott eszközök felé. Az előbbinél a felhasználó közvetlenül látja a fizikai valóságot, amelyre digitális elemek vetülnek rá; itt a VR headsetre rögzített kamerák veszik fel a környezet képét, és azt vetítik be a virtuális térbe, erre jönnek a virtuális elemek. Ez technológiailag bizonyos szempontból egyszerűbb, és nagyobb látómezőt is lehetővé tesz – akár 200 fok körülit.

Az elképzelés az volt, hogy ezek az irányok olcsóbbá teszik az eszközöket, de az ár még így is magas: ma is több százezer forintos beruházásról beszélünk. Összességében tehát a legnagyobb fék, hogy a megfelelő minőségű hardver továbbra is drága és nehezen skálázható.

GyT.: Hol és milyen szerepben kapcsolódik be a mesterséges intelligencia az XR-technológiák működésébe?

S. B.: Az AI több szinten is jelen van ebben az ökoszisztémában. A legegyszerűbb és legklasszikusabb alkalmazás a környezet értelmezése: objektumdetektálás, anyagfelismerés, mozgáskövetés. Ahhoz, hogy a rendszer értse, mi történik a fizikai térben, és megfelelően reagáljon rá, ezek alapvető képességek.

Ezen túl a generatív AI is egyre fontosabb szerepet kap. Használható szimulált világok létrehozására, dinamikus környezet generálására vagy akár oktatási tartalmak automatizált előállítására. Ha például egy tanulási folyamatba virtuális asszisztenst szeretnénk beépíteni, akkor egy nagy nyelvi modell képes lehet emberszerű, agentszerű támogatást nyújtani – kérdésekre válaszolni, visszajelzést adni, irányítani a felhasználót.

Az alkalmazás jellege határozza meg, milyen típusú AI-ra van szükség, és az is fontos kérdés, hol történik a feldolgozás. A modellek futhatnak távoli szerveren, folyamatos adatkapcsolattal, de bizonyos egyszerűbb funkciók már a headseten is elhelyezhetők, ha a számítási kapacitás engedi. Az AI tehát egy olyan réteg, amely értelmezhetővé, adaptívvá és részben automatizálhatóvá teszi az XR-rendszereket. 

Cikkünk eredetileg a GyártásTrend magazin márciusi lapszámában jelent meg, amely ezen a linkenolvasható.