Teknologi Virtual Reality – Bagian 2

Teknologi VR tidak hanya terpusat di Head Mounted Device. Untuk memberikan pengalaman terbaik yang imersif didalam dunia maya, diperlukan interaksi selain dari sensorik pengelihatan dan suara yang sudah di tangani oleh piranti HMD. Interaksi penting lainnya adalah interaksi sentuh dan gerakan tangan beserta jarinya. Selain dari interaksi sentuh/gerakan tangan beberapa teknologi sedang dikembangkan termasuk interaksi pergerakkan seluruh tubuh, penciuman, pengecapan dan lainnya.

kali ini kita coba dalami beberapa teknologi terkait interaksi gerakan tangan, jari dan sentuhan yang memberikan kendali terhadap interaksi di dunia maya atau virtual world.

Berbeda dengan interaksi di PC console atau piranti smartphone dimana konteks visual secara dua dimensinya langsung terlihat berikut juga piranti pendukung yaitu keyboard, mouse, touchpad, layar sentuh dan sebagainya. Di dunia VR piranti tersebut menjadi sulit digunakan karena mata seluruhnya tertutup (kecuali memakai piranti Augmented Reality).

Untuk mengatasinya dibuatlah antarmuka/interface baru yang memungkinkan pemakai VR berinteraksi di dunia VR

Teknologi Remote Control

Interaksi termudah yang sudah ada cukup lama adalah menggunakan controller unit terpisah (sebenarnya mouse bisa dikatakan sebagai controller namun karena harus dipakai dimeja maka membatasi pergerakkan di dunia VR)

Solusi yang dipakai saat ini adalah wireless controller dimana Oculus awalnya menggunakan XBOX controller, dan sebuah remote control kecil untuk navigasi sederhana. Remote control bluetooth juga banyak ditemukan di pasar untuk digunakan bersama solusi VR google cardboard dan smartphone, disini remote control ada yang memiliki touch pad atau joystick yang dapat menggerakkan kursor baik di VR world seperti Oculus Home dan aplikasi lainnya, maupun di smartphone untuk memilih apps dan melakukan permainan di VR world Google Cardboard.

Oculus controller and remote

source: Scan.co.uk

Penggunaan XBox controller di Oculus Rift CV1 memberikan opsi lebih banyak untuk melakukan interaksi maupun bermain game secara lebih interaktif. Beberapa remote controller yang canggih sudah menyertakan 3DOF sensor sehingga remote bisa digunakan untuk menendalikan pitch, roll dan yaw di dalam dunia VR. Namun penggunaan remote controller umumnya tidak memiliki sensor posisi sehingga posisi remote di dalam dunia VR tidak terwakili dengan benar atau bahkan tidak bisa ditampilkan karena tidak sesuai dengan pergerakkan atau posisi di dunia nyata. Hal tersebut membatasi fungsi wireless remote controller ini hanya untuk navigasi menu melakukan pemilihan menu2 sederhana

Teknologi Wireless Controller dengan Deteksi Gerak dan Posisi

HTC Vive VR sejak diluncurkan langsung disertai dengan HTCVive Controller yang mirip dengan sebuah remote genggam (di Sony PS ada PS Move controller dengan bola bercahayanya, dan Nitendi Wii dulu sempat mengeluarkan nunchuck yang dapat memberikan deteksi pergerakkan tangan lebih baik).

HTC Vive controller, source Vive

Berbeda dengan PS Move nya Sony atau Nunchuck Niitendo Wii yang menggunakan satu sumber cahaya untuk mendeteksi posisi wand atau handheld remote di piranti consolenya. HTC Vive membuat controllernya dengan teknologi yang serupa dengan sensor posisi untuk HMD yaitu menggunakan tekonologi lighthouse dimana unit lighthouse yang dipasang di pojok dinding ruangan misalnya memancarkan sinar laser infra merah yang kemudian di deteksi HMD dan pada saat yang bersamaan Vive controller juga melakukan hal yang sama untuk menentukan posisinya reletif terhadap ruangan atau perimeter yang sudah ditentukan. Informasi posisi yang di deteksi oleh kedua controller Vive dikirim secara wireless ke unit HMD yang kemudian dikirimkan bersama informasi posisi dan gerak HMD ke PC melalui kabel USB.

Dalam hal ini HMD dan Vive controller di track secara bersamaan dan menggunakan teknologi yang sama. Di HTC Vive controller juga terdapat beberapa sensor posisi laser yang digunakan untuk menentukan dan mengukur jarak antara sensor dan controller.

Menurut beberapa review cara ini memberikan tingkat akurasi yang baik dalam satuan milimeter.

Oculus juga akhirnya meluncurkan controller yang menggunakan deteksi posisi dan disebut Oculus Touch. Prinsip kerjanya sama dengan deteksi HMD Oculus melalui sensor posisi kamera Infra merah yang mendeteksi pergerakkan lampu2 infra merah yang ada di seputar touch controller (kalau mau lihat harus pakai kamera dengan filter infra merah.

Oculus Touch Controller, source Oculus Rift website

Solusi HTC Vive dan Oculus Rift untuk mendeteksi posisi dan pergerakkan tangan (mendeteksi Posisi Controller) sudah jauh lebih akurat dibandingkan tenologi lama seperti PS Move dengan PSEye.

Untuk tracking pergerakkan sederhana, para penggemar VR juga melakukan hack menggunakan PS Move dan PSEye camera beserta software pendukungnya, sehingga PS Move controller bisa digunakan untuk VR. Umumnya VR gear yang tidak memiliki solusi controller 6DOF seperti untuk Pimax 4K HMD (Only)

Teknologi controller HTC Vive dan Oculus Touch masih dalam kategori “outside in” positional tracking. HTC Vive dan Oculus Touch juga mengandalkan remote tracker unit/camera IR atau pemancar laser infra merah external yang ditempatkan di beberapa titik yang digunakan untuk mendeteksi pergerakkan HMD dan Controller.

Bila hanya 1 sensor/pemancar sinar maka ruang deteksinya terbatas. Ruang deteksi diperluas dengan menambahkan sensor ke-2, ke-3 dan ke-4 (meski menurut Oculus untuk sistemnya cukup sampai 3 sensor, sedangkan HTC bisa mencapai 4 pemancar sinar laser IR atau lighthouse) agar mencakup 360 derajat.

Setup 3-4 camera/sensor di Oculus atau pemancar laser infra merah di HTC Vive dengan cakupan 360 derajat seringkali disebut dengan setup “room scale” karena membentuk suatu ruangan yang bisa mendeteksi pergerakkan si pemakai VR secara leluasa dan akurat.

HTC Vive juga sedang mengembangkan controller terbarunya dalam bentuk Knuckle controller yang memberikan tingat keleluasaan bergerak lebih tinggi dan simulasi tangan mengenggam-melepas object yang lebih akurat, dengan adanya berbagai sensor di masing2 jari dan genggaman tangan.

 

Kelebihan dan Kekurangan

Seperti yang sudah dibahas di bagian pertama, kelebihan sistem ini adalah umumnya akurasi deteksi posisi controller cukup akurat mencapai beberapa milimeter. Apabila digunakan sensor lebih dari 2 untuk mencakup 360 derajat atau cakupan Room Scale maka pergerakan controller dapat diteteksi meskipun pada kondisi yang cukup sulit misalnya controller diarahkan ke belakang tubuh padahal pandangan sedang kedepan. Katakanlah ingin menembak musuh di belakang tanpa melihat. Maka posisi controller akan tetap di deteksi oleh sensor ke 3 atau ke 4 secara baik atau sebaliknya.

Kekurangan deteksi posisi outside in seperti yang sudah dibahas di bagian pertama adalah repotnya men-setup atau melakukan kalibrasi awal terhadap penempatan sensor. Meskipun untuk Oculus Rift dan HTC Vive produsen membuat prosesnya cukup seerhana dan di pandu sepenuhnya oleh Software tahap demi tahap.

Masalah lain adalah apabila posisi sensor berubah atau misalnya di setup diruangan atau lokasi baru maka disarankan/diwajibkan untuk di kalibrasi ulang, karena akurasi deteksi posisi HMD dan controller bisa berubah.

Contoh paling sering dialami Hobby tech adalah, misalnya suatu waktu sedang memainkan game atau aplikasi yang membutuhkan room scale dengan 3 sensor di Oculus Rift, maka setelah sensor dipasang dan dikalibrasi, kita bisa bermain seperti Robo Recall, Arizona Sunshine atau Superhot secara leluasa. Namun pada saat ingin memainkan game simulasi seperti membalap di Project Cars atau aplikasi yang hanya perlu duduk seperti menonton sebenarnya hanya butuh 1 sensor, kalau kita ubah salah satu sensor untuk kegunaan Simulator misalnya maka sensor tersebut harus di kalibrasi ulang dan kalau kembali ke konfigurasi pertama hal yang sama perlu dilakukan lagi.

Tips untuk solusi yang lebih mudah nanti akan Hobby tech berikan terpisah.

Teknologi Kamera

Sebenarnya teknologi kamera sudah lama dipakai sejak Playstation dengan PSEYE dan XBOX Kinect 360 dan XBOX One. Berbagai 3rd party juga membuat solusinya masing2.

Penggunaan kamera sebagai antarmuka gerak dan sekaligus sebagai antarmuka untuk sentuhan, pengendalian di dalam dunia VR umumnya menggunakan sensor/kamera yang dapat mengukur kedalaman menggunakan algoritma atau perhitungan khusus. Contoh paling mudah ditemukan dengan XBOX Kinect yang memiliki kemampuan untuk mendeteksi obyek 3 dimensi yang dilihat oleh kamera. Sensor XBOX Kinect sendiri memiliki beberapa jenis kamera baik kamera resolusi tinggi, infra merah dan stereoscopic untuk memindai object atau dalam hal ini tubuh manusia beserta jari tangan secara 3 dimensi berikut pergerakkannya.

kinect depth sensor

source: blog.tarabishi.me

Data-data tersebut kemudian diolah oleh perangkat lunak untuk menentukan posisi tangan jari dan tubuh yang sedang di deteksi (yaitu pemakai VRGear).

hasilnya dalam bentuk skeleton atau struktur garis dan titik simpul yang mengikuti gerak tubuh beserta jari dan tangannya. Informasi gerak tangan tubuh dan juga jari jemari kemudian digunakan untuk berinteraksi dengan dunia VR. Misalnya posisi jari digunakan untuk menyentuh tombol yang mengaktifkan sesuatu, menarik dan menggenggam benda, dsb.

Perusahan inovator lain seperti Leam Motion juga melakukan riset dan membuat alat sensor kamera untuk mendeteksi posisi tangan berikut pergerakkan jarinya. Biasanya sensor Leapmotion ditaruh diatas meja, namun untuk VR dipasang di bagian depan HMD. Sensor dan aplikasi algoritma Leap motion awalnya cukup kurang andal karena beberapa gangguan seperti b ackground ruangan, pencahayaan dan sebagainya mempengaruhi akurasi deteksi pererakan tangan. Masalah lain yang juga ditemukan di tipe sensor kamera adalah bila tangan tidak terlihat sensor atau istilah oklusi (Occlusion) maka informasi posisi akan terhenti (stuck).

Inside Out Controller Tracking

Cara lain untuk mendeteksi controller mengkombinasikan kedua teknik untuk mendapatkan kemudahan setup yaitu menggunakan konfigurasi inside out tracking. Disini kamera yang mendeteksi lampu2 IR yang ditempatkan disekeliling controller (terutama pada bagian berbentuk bulat) berada di HMD itu sendiri.

Berbeda dengan deteksi posisi HMD menggunakan teknik inside out yang harus melakukan mapping terhadap ruangan yang cukup sulit dan kemungkinan bisa kurang presisi. Mendeteksi lampu2 IR yang ada di controller oleh kamera sensor di HMD cukup mudah dan memiliki akurasi yang baik. Hal ini membantu mengurangi kebutuhan sensor kamera external yang perlu dikalibrasi setiap ada perubahan.

oculus Go

Terlihat diatas ilustrasi Oculus inside out controller dengan sistem inside out tracking. Unit HMD Oculus (Santa Cruz/Go) selain mendeteksi pergerakan HMD terhadap ruangan dengan sistem mapping juga mendeteksi pergerakkan oculus touch controller terbaru (versi 2) secara akurat.

Ini merupakan salah satu kelebihan dari teknik deteksi posisi inside out yyang juga sudah dibahas di bagian pertama saat membahas tracking/deteksi posisi HMD.

Berbeda dengan masalah mapping yang dihadapi waktu menggunakan deteksi inside out oleh unit HMD, masalah yang dihadapi deteksi inside out untuk controller lebih pada cakupan sudutpandang sensor yang juga akan terbatas dari sudut pandang kamera sensor

inside out controller tracking.png

Terlihat cakupan dari inside out tracking untuk menjejak posisi dan pergerakkan controller. Disini menurut Oculus, jangkauan atau cakupan penjejakan sensor Oculus Santa Cruz (prototipe untuk Oculus standalone VR gear) lebih luas dengan cakupan penjejakan inside out dari piranti Windows Mixed Reality (MR).

Kelebihan sistem inside out controller tracking, seperti yang dijelaskan diatas tentunya kemudahan setup sama seperti unit HMD tidak diperlukan setup sensor/lighthouse seperti Oculus dan HTC dan tetap memiliki akurasi yang sama dengan sistem outside in. Namun seperti yang diperlihatkan diatas cakupan sudut pandang dari kamera/sensor posisi di HMD cukup terbatas terutama lebih difokuskan disekitar 180 derajat ke depan sudut pandang unit HMD, bila tangan kita berada di blind spot atau di luar sudut pandang sensor posisi HMD maka posisi controller atau tangan kita di dunia VR akan terlihat berhenti atau stuck istilahnya, sampai sensor kembali dapat melihat posisi controller lagi (dengan menoleh kembali ke controller atau sebaliknya tangan kita gerakkan masuk ke sudut pandang sensor di HMD). Pada sebagian besar aplikasi hal ini tidak bermasalah kecuali pada saat gerakan dalam permainan misalnya menembak ke belakang atau memukul atau menggerakkan tangan ke arah belakang.

Pada saat ini sistem dengan setup outside in tracking tetap memberikan solusi maksimal namun memang ditujukan pada setup yang sifatnya tetap/stasioner dan tidak dipindah-pindahkan (terbatas). Sedangkan sistem dengan inside out diarahkan untuk kemudahan pemakaian awam serta portabilitas (kemudahan berpindah tempat), tentunya dengan trade off baik secara akurasi, keleluasaan gerak dan kualitas konten yang berbeda (high fidelity vs standar).

Antarmuka Lainnya

Selain dari antarmuka controller yang sudah dibahas diatas masih banyak pengembangan antarmuka lainnya yang umumnya inovatif.

Glove Interface

Antarmuka sarung tangan adalah yang paling banyak dikembangkan ada beberapa perusahaan kickstarter yang sudah dan sedang meluncurkan produknya seperti GloveOne, Capto Glove, VR Glove, VRGluv, Manus VR, Control VR, Stretch Sense (ada beberapa kickstarter yang sudah colaps atau batal). Sebagian besar inovator dan produsen glove menerapkan yang disebut Haptic feedback sehingga ada umpan balik baik berupa getaran maupun sensasi lain yang dapat memberikan tingkat realisme yang mensimulasikan sensor sentuhan (meski tetap masih belum sempurna).

Beberapa inovator/produsen memberikan solusi pergerakan jari yang akurat dan tidak mengandalkan sensor kamera, saja, namun juga sensor gerak langsung di masing2 buku jari, sehingga pergerakkan jari dan tangan bisa lebih akurat dan tidak terpengaruh apabila tangan/jari terhalang sudut pandang sensor kamera. Termasuk didalamnya sensor 3-DOF dan 6-DOF.

 

Full Body Tracking

Beberapa inovator dan produsen sedang dan sudah memasarkan beberapa piranti untuk mendeteksi pergerakkan tubuh di dunia VR secara realistis. Virtuix Omni contohnya membuat dan memasarkan perangkat VR treadmill dimana pemakai bisa berjalan di tempat dengan natural ke berbagai arah 360 derajat, (bukan treadmil satu arah). Perangkat ini mensimulasikan gerak berjalan di dunia VR, misalnya untuk simulasi militer atau olah raga. Namun tentunya masih ada kekurangan karena sulit untuk berjongkok atau melompat.

Beberapa sedang merancang perangkat yang sifatnya melayang (agak extreme) dan tentunya harga perangkat2 ini masih sangat mahal dan bukan untuk pemakaian konsumen awam.

axonvr-render-jump.jpg

Beberapa inovator lainnya mensimulasikan gerakan tubuh menggunakan body suit. Terlihat si pemakai lebih mirip robot atau android ya. Pada tahap ini kebanyakan masih sifatnya riset inovatif dan masih banyak yang tidak atau belum bisa dipakai secara umum karena tingkat kesulitan produksi, pemakaian dan keandalannya.

sumber: berbagai sumber internet

Antarmuka lain yang juga dikembangkan termasuk untuk mensimulasikan sensor penciuman agar dapat memberikan kesan wangi atau bau tertentu sesuai dengan kondisi di dunia VR.

Sampai tahap ini semua antar muka masih berupa antarmuka yang bersifat fisik dan disesuikan dengan pergerakan anatomi tubuh manusia. Ada satu antarmuka yang cukup menjajikan dan lebih futuristik (seperti di film2) yaitu antarmuka langsung ke syaraf.

Namun tanpa perlu terhubung langsung dengan syaraf yang lebih berbahaya (seperti di film seperti ada konektor/socket yang menghubungkan alat dengan tubuh manusia). Saat ini pengembangan kendali menggunakan antarmuka sensor elektromagnetik. Seperti yang kita ketahui otak manusa sebenarnya memancarkan gelombang elektromagnetik dan hal inilah yang dicoba ditangkap. Masing2 bagian otak yang mengendalikan gerak, sensasi sensorik memiliki peta gelombang elektromagnetik yang ditangkap sensor untuk menentukan arti yang diinginkan oleh otak. Tentunya saat ini masih dalam tahap awal namun sudah ada beberapa yang membuat prototipenya.

Suatu saat bisa saja kendali pergerakkan tidak lagi membutuhkan controller fisik namun cukup seperti kita memikirkan pergerakkan atau keinginan tertentu. Pada tahap tersebut maka pergerakkan atau simulasi sensasi pemakainya di dunia VR bisa lebih leluasa. Tentunya tidak tanpa kekhawatiran tertentu dan bisa saja kesalahan antarmuka mungkin memberikan efek negatif kepada syaraf manusia? (kalau hanya mendeteksi atau sifatnya sensor pasif memang risikonya tidak ada/minim, namun kalau sudah memberikan umpan balik ke otak/syaraf nah ini perlu perhatian lebih karena sifatnya memberikan stimulasi ekternal ke tubuh manusia.

Mungkin cukup sampai disini dulu karena perkembangan teknologi VR dan antarmukanya memang masih panjang dan luas dan merupakan salah perkembangan yang patut di pantau karena bisa saja suatu saat teknologi ini mencoba menyatukan manusia dan mesin (agak menghayal sedikit, karena kebanyakan nonton film sci-fi).

Salam VR

brainwave-reading-e1319253548270.jpg

Note: Gambar di dalam artikel ini menggunakan berbagai sumber di internet yang tidak disebutkan satu persatu dan seluruhnya bukan gambar Hobby Tech

 

 

 

 

 

 

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout /  Ubah )

Foto Google

You are commenting using your Google account. Logout /  Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout /  Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout /  Ubah )

Connecting to %s