Rafael Ramirez professzor a barcelonai Pompeu Fabra Egyetem docense, a Music Technology csoport kutatója. Növendéke, Zacharias Vamvakousis, posztdoktori kutatóasszisztens ugyanott. Mindketten zenei háttérrel rendelkeznek: Vamvakousis végzett zenész, harmonikán játszik, Ramirez professzor pedig hegedűn és gitáron. Vamvakousis fejében akkor született meg egy szemmel irányítható hangszer elképzelése, amikor egy közeli barátja súlyos balesetet szenvedett. Célja az volt, hogy a hagyományos hangszertanulás előnyeit eljuttassa olyanokhoz is, akik fizikai mozgáskorlátozottságuk miatt ehhez egyébként nem férnének hozzá. Így született meg az EyeHarp, vagyis a szemhárfa.
Adaptált digitális hangszerek eddig is léteztek, de a legsúlyosabb mértékű mozgáskorlátozottság esetére egyik sem volt megfelelő, mert mind feltételezett bizonyos mértékű akaratlagos izommozgást. Az EyeHarp újdonsága, hogy szemkövető technológiát használ. Ez a komplex technológia összekapcsolja a szemből begyűjtött információkat a szoftverrel. Két részből áll a hangszer: a Step Sequence layerből, ahol akkordmeneteket lehet felépíteni, és a Melody layerből, ahol erre az alapra dallamot tudunk játszani. A hangot egy beépített szintetizátor adja, vagy csatlakoztatható külső digitális hangszerhez is.
Az EyeHarp bárki számára hozzáférhető, ingyenesen letölthető.
A nemrég publikált kutatási eredményekről az egyetemen beszélgettem Ramirez Professzorral.
– A finom szemmozgásokkal történő irányítás hibalehetőségeket rejt magában. Vajon lehet a szemet előzetes gyakorlatokkal szoktatni, felkészíteni a hangszerre?
– A program bizonyos elemei segítik a tekintet pontosságát. Be lehet állítani, hogy mi legyen az a megszabott idő, ami után a tekintet hatására megszólal egy hang. Mint bármely más hangszernél, a tanulás folyamata itt is időt kíván. A nehézség nem is annyira ezzel van, mint inkább az agyunk megszokott „működési sorrendjével”. Megszoktuk ugyanis, hogy először valamire ránézünk, utána pedig cselekszünk. Itt ez a folyamat lerövidül, hiszen a nézés már maga az akció. Vagyis a figyelem irányítása válik lényeges kérdéssé.
– Felmerülhetnek olyan aggodalmak az EyeHarppal kapcsolatban, hogy esetleg nem tesz jót a szemnek, ha valaki hosszú ideig nézi a képernyőt. Mennyi az ajánlott egyszeri gyakorlási idő ezen a hangszeren?
– Körülbelül egy óra, de általánosságban azt javaslom, ameddig kényelmes a gyakorlónak, és nem fárad el.
– Az eddig publikált kutatásaikat egészséges résztvevőkön végezték. Mikorra várható eredmény az érintett páciensekkel folytatott újabb kutatásaikról?
– Ez egy hosszú folyamat egyrészt a résztvevők toborzása miatt, másrészt pedig mert tíz hónapos tanulási folyamat eredményét teszteljük. Jelenleg két páciens fejlődését követjük nyomon.
Hallgasson bele ez az EyeHarppal készült demo-felvételbe:
– Az LIS (Locked-in Syndrome – Bezártságszindróma) betegségben szenvedők és a bénulással élők gyakran nem tudnak verbálisan kommunikálni. Hogy tudják jelezni, hogyha például változtatni, javítani akarnak valamin, vagy egyszerűen nem tetszik nekik a zene, amit megszólaltattak?
– Megfigyelhettük egy korai agysérülésben szenvedő kisfiún, aki kipróbálta a hangszert, hogy nyugtalan, ideges lett, amikor nem sikerült neki valami. Ezt csak úgy lehet kivédeni, ha megfelelő oktató kíséri a pácienst a tanulási úton, aki segít, és megérti a növendék jelzéseit. Önálló tanulást csak akkor javaslunk, ha a gyakorló már rendelkezik bizonyos zenei háttérrel, és gyakorlattal a szemkövető rendszerek használatában.
Ezen a videón egy mozgáskorlátozott kisfiú ismerkedik az EyeHarppal:
– Tervezik, hogy képzést nyújtsanak az EyeHarp használatáról zeneterapeutáknak? Ma már több adaptált hangszer létezik, de az aktuális zeneterápiai képzésekbe még nem került be ezek szisztematikus oktatása. Ahhoz, hogy a terapeuta tisztában legyen vele, melyik kondícióhoz, mely hangszer ajánlott, és élményszerűen tudjon dolgozni a páciensével, először saját magának kell megismernie a bennük rejlő lehetőségeket.
– Ez igaz, de ilyen rendszeres oktatásra még nem gondoltunk, egyelőre inkább önálló kezdeményezések léteznek. Például egy fiatal zeneterapeuta, aki nálunk végezte a gyakorlatát, már oktatja az EyeHarpot egy speciális zeneiskolában. Ezen kívül májusban fogunk tartani egy koncertet, amelyen az első EyeHarp-tanulók fognak játszani. Ez még mind meglehetősen járatlan terület.
– Ha jól értem, az EyeHarp esetében a hangszer rendkívül „alkalmazkodó”, sok irányba alakítható. Például kognitív problémák esetére a hangszerjáték egyszerűsíthető.
– Egyrészt lehetőség van rá, hogy csak a Melody layeren játsszunk, másrészt beállítható, hogy a Step Sequence layeren kevesebb hangból lehessen választani. Az alapbeállítás diatonikus skála, C-dúrban, de ez személyre szabható. További módosított hangok hozzáadhatók a skálához, mintha csak beillesztenénk a zongora fekete billentyűit. A tonalitás és a módok is alakíthatók.
– Kutatásaiból kiderül, hogy az EyeHarp tanulási folyamata hasonlít egy hagyományos hangszer elsajátításához. A zeneterápiában fontos szerepet kap az improvizáció. Vajon mennyiben hagy teret az EyeHarp az improvizációnak? Nem gátolják a pácienst a technikai nehézségek?
– Minden attól függ, a gyakorló hogyan használja a hangszert. Ugyanaz vonatkozik az EyeHarpra mint például a zongorára, vagyis lehetséges csak két ujjal lefogni néhány akkordot, de megvan a feltétele a komplex játékmódnak is.
– Használható a hangszer akár komponálásra is? Rögzíthető a hangszeren egy lejátszott akkordsor, vagy osztinátó például?
– Az EyeHarpban van egy beépített felvevőkészülék, amivel lementhető és visszajátszható a zene.
– Milyen módon alakították ki az EyeHarp vizuális megjelenését? Mennyiben határozták meg a kezelőfelületet a technikai szükségszerűségek?
– Az alapvetésünk az volt, hogy a szem minél hatékonyabban tudja működtetni a hangszert. A gombok közepén lévő fehér pontok segítenek a felhasználónak fókuszálni, a dallamnak kialakított felületen pedig a kör alakú forma azért szerencsés, mert így a gyakorló képes az egész tevékenységet egyben látni és egyben kezelni. Könnyen hozzá tud szokni, hogy ha a kör széle felé tekint, akkor a hangerő erősödik, ha pedig középre fókuszál, akkor a csendet hallja, és meg tud pihenni. Egy vízszintes skála választása esetén abba a problémába ütköztünk volna, hogy a skála kifut a képernyőről, azon kívül a szemmozgásnak túl nagy felületet kellett volna bejárnia, ami lelassította volna a tempót.
Így szól az EyeHarp egy zenei együttes részeként:
– A hagyományos hangszerek esetében a hangszerhez való viszony fontos eleme a fizikai kontaktus: az érintés, a hangszer anyaga, színe, formája. Hogy lehetne ezt elérni egy digitális hangszerrel? Arra gondolok, hogy esetleg vizuális úton pótolni lehetne ezt a kapcsolatot. Vajon személyre lehetne szabni a hangok színét?
– Lehet, hogy később erre is sor kerül. Egyelőre megfigyeljük a felhasználók igényeit, minden ettől függ. Ennek megfelelően alakítjuk majd tovább a hangszert.
– Milyen jövőt jósol az EyeHarpnak?
– Már most nagyon komoly az érdeklődés az EyeHarp iránt. Következő lépésként további támogatásokra pályázunk, hogy folytathassuk a kutatásokat és a fejlesztést.
