Bayangkan Anda sedang di meja Anda mengetik di papan ketik yang dibuat tepat untuk Anda, panjang jari Anda, rentang telapak tangan Anda, rasakan klik tombol … itu bahkan tidak ada. Bayangkan mendesing melalui menu di layar tanpa kabel atau dudukan, mengambang di depan Anda, dengan mouse di tempat sampah dan opsi disajikan kepada Anda bahkan sebelum Anda memintanya. Ini adalah kenyataan yang ditunjukkan Facebook kepada kami yang sedang dikerjakannya di laboratorium futuristiknya.
Ketika datang ke platform komputasi yang berpikiran maju, Facebook ingin berada di kursi pengemudi dengan cara yang sama seperti (masih) memiliki ruang jejaring sosial. Investasi berkelanjutannya di Oculus VR berbicara tentang ambisi ini, seperti halnya peluncuran Facebook Aria baru-baru ini – kacamata augmented reality yang dapat dipakai dalam pengembangan.
Tapi AR dan VR lebih dari sekadar headset yang nyaman dan resolusi serta kecepatan refresh yang terus meningkat. Jika pengguna tidak dapat berinteraksi dengan nyaman dan intuitif dengan lingkungan perangkat lunak yang mencakup semua ini, bekerja dengannya tidak akan menyenangkan, apalagi tinggal bersama.
Maka masuklah Facebook Reality Labs (FRL), divisi masa depan kerajaan Mark Zuckerberg, berfokus pada semua hal yang diperbesar dan virtual. Ini memiliki salah satu tantangan terberat dalam semua komputasi saat ini – meningkatkan mouse sederhana, dan membuat antarmuka dan sistem input cocok untuk masa depan augmented reality.
Jawabannya? Pergelangan tangan yang dapat dikenakan yang dikendalikan pikiran, mampu mencegat pikiran dan niat, dan antarmuka yang dikendalikan gerakan yang hanya membutuhkan lambaian tangan Anda. Bahkan dalam beberapa kasus, dan untuk menyenangkan pendukung aksesibilitas di seluruh dunia, tangan mungkin tidak diperlukan sama sekali.
“Ini adalah momen yang luar biasa, menyiapkan panggung untuk inovasi dan penemuan karena ini adalah perubahan ke dunia lama,” kata Direktur Sains Riset FRL Sean Keller, setelah TechRadar hadir untuk membuka mata.
“Ini adalah perubahan aturan yang telah kami ikuti dan andalkan untuk mendorong komputasi ke depan. Dan itu adalah salah satu peluang terkaya yang dapat saya bayangkan menjadi bagian darinya saat ini.”
Dari mouse ke pergelangan tangan
Krayon, pensil, pulpen, mouse, keyboard… dapat digunakan di pergelangan tangan? Itu mungkin lintasan yang kita tuju untuk gelombang perangkat input berikutnya, jika penelitian dan prototipe Facebook adalah segalanya. Pencarian yang tampaknya mustahil untuk mengganti mouse adalah sesuatu yang menurut Facebook dapat diselesaikan dengan menggunakan apa yang dipelajari dari VR
Sebagaimana dibuktikan dengan peningkatan dukungan untuk aplikasi pelacakan tangan yang digunakan pada perangkat keras realitas virtual Oculus Quest, ia ingin menjauh dari perangkat yang kita pegang saat berkomputasi, memungkinkan tangan dan jari kita memanfaatkan berbagai fungsi dan potensinya. .
Pengguna VR mungkin sudah terbiasa dengan “cubitan” realitas virtual – mengarahkan kursor ke item dan mendekatkan ibu jari dan telunjuk untuk membuat pilihan. Tapi itu adalah interaksi yang terbatas, rentan terhadap ketidakakuratan, dan hanya mampu memproses serumit antarmuka yang ‘disentuh’.
Facebook percaya bahwa perangkat yang dikenakan di pergelangan tangan, memanfaatkan elektromiografi (EMG, evaluasi dan perekaman aktivitas listrik yang dihasilkan oleh otot rangka) adalah langkah pertama menuju interaksi yang lebih kompleks dan intuitif dengan antarmuka komputasi ambien yang akan digunakan oleh augmented reality. dunia nyata.
Prototipe Facebook memanfaatkan sensor yang dapat menginterpretasikan dan menerjemahkan sinyal saraf motorik yang bergerak dari otak ke lengan ke pergelangan tangan, yang mampu memahami gerakan jari dalam jarak “milimeter” gerakan.
Sehubungan dengan sistem pelacakan kamera yang ada (ditempatkan dengan sempurna di pergelangan tangan untuk melihat tangan), ini akan memungkinkan pengguna memanipulasi objek virtual dan digital secara bebas, tanpa mencegah mereka berinteraksi dengan dunia nyata juga.
Satu langkah lebih jauh, dan kebutuhan akan tangan sama sekali bisa menjadi mubazir, dengan sistem yang dilatih untuk “merasakan niat untuk menggerakkan jari”.
“Apa yang kami coba lakukan dengan antarmuka saraf adalah membiarkan Anda mengontrol mesin secara langsung, menggunakan output dari sistem saraf tepi — khususnya saraf di luar otak yang menggerakkan otot tangan dan jari Anda,” kata FRL Director of Neuromotor Interfaces Thomas Reardon.
Memang, Facebook menunjukkan demo di mana seorang pria, yang lahir tanpa tangan, dalam beberapa menit dapat menggunakan perangkat yang dipasang di pergelangan tangan untuk memanipulasi tangan virtual dengan tingkat ketangkasan yang luar biasa. Reardon bahkan menyarankan suatu hari nanti kita dapat mengontrol perangkat semacam itu dengan cara yang akan meniru memiliki “enam atau tujuh jari” di masing-masing tangan.
Tujuan dari antarmuka saraf adalah untuk mengacaukan sejarah panjang interaksi manusia-komputer ini dan mulai membuatnya sehingga manusia sekarang memiliki kendali lebih besar atas mesin daripada yang mereka miliki atas kita.
Thomas Reardon
Sistem input hands-free sudah ada tentu saja – asisten suara seperti Amazon Alexa mampu memahami perintah dan menyimpulkan makna kontekstual melalui basis pengetahuan AI yang berkembang, tanpa perlu menekan tombol.
Tetapi tim FRL percaya bahwa suara “tidak cukup pribadi untuk ruang publik atau cukup dapat diandalkan karena kebisingan latar belakang.”
Dengan kedekatan pergelangan tangan dengan tangan, bagian tubuh interaktif utama kami, perangkat yang dapat dikenakan di sana paling masuk akal – meskipun cara data saraf ditangkap, disimpan, dan diinterpretasikan akan membuka semua masalah privasi baru yang bahkan tidak dapat diatasi oleh suara saat ini, dan perlu diselesaikan jauh sebelum peluncuran konsumen dipertimbangkan.
Wearable Facebook agak jauh dari melihat aplikasi konsumen, atau bahkan komersial. Tetapi segala sesuatunya “bergerak cepat” menurut Reardon, menunjukkan bahwa beberapa perangkat serupa mungkin muncul untuk pengujian tidak lama lagi.
Antarmuka AR dan VR
Facebook percaya antarmuka komputasi saat ini tidak cukup responsif. Mereka bereaksi, tetapi tidak mengantisipasi, belajar tetapi jarang mengontekstualisasikan. Akibatnya, kami terus berjuang melawan perangkat lunak dan sistem yang mengambil beberapa langkah input untuk menyelesaikan tugas yang dapat kami visualisasikan secara instan.
“Tujuan dari antarmuka saraf adalah untuk mengacaukan sejarah panjang interaksi manusia-komputer ini dan mulai membuatnya sehingga manusia sekarang memiliki kendali lebih besar atas mesin daripada yang mereka miliki atas kita,” jelas Reardon.
“Kami ingin pengalaman komputasi di mana manusia menjadi pusat mutlak dari seluruh pengalaman.”
Tapi tujuan seperti itu tidak akan mungkin terjadi tanpa antarmuka yang cocok. Kacamata AR seperti Facebook Aria, akan menawarkan informasi setiap saat di bidang penglihatan kita, dan akan menarik data dari segala macam sumber untuk menyesuaikan dengan kebutuhan saat ini.
Menarik data lokasi, data sensor ambien seperti suhu dan tata letak ruangan, dan bahkan sesuatu yang sederhana seperti waktu, tujuannya adalah agar antarmuka AR memahami konteks untuk menyajikan hanya apa yang dibutuhkan, mendahului maksud yang diungkapkan pengguna .
“AI yang mendasari memiliki beberapa pemahaman tentang apa yang mungkin ingin Anda lakukan di masa depan,” jelas Tanya Jonker, Manajer Ilmu Riset FRL.
“Mungkin Anda pergi ke luar untuk joging dan, berdasarkan perilaku Anda di masa lalu, sistem mengira Anda kemungkinan besar ingin mendengarkan playlist lari Anda. Ini kemudian menyajikan opsi itu kepada Anda di layar: ‘Mainkan daftar putar yang sedang berjalan?’ Itulah antarmuka adaptif yang sedang bekerja.
“Maka Anda cukup mengonfirmasi atau mengubah saran itu menggunakan gerakan mikro. ‘Klik cerdas’ [the tap of the AR interface that’s presented you information relevant to your current needs without having first summoned it] memberi Anda kemampuan untuk mengambil tindakan yang sangat kontekstual ini dengan cara yang sangat mudah karena antarmuka menampilkan sesuatu yang relevan berdasarkan riwayat dan pilihan pribadi Anda, dan memungkinkan Anda melakukannya dengan gerakan input minimal.”
Keindahan augmented reality adalah dapat langsung membuat perangkat yang sempurna untuk Anda. Bayangkan sebuah keyboard digital, dibentuk dan berukuran hingga milimeter agar sesuai dengan ukuran tangan dan pola pengetikan Anda, daripada ukuran biasa yang diperlukan manufaktur fisik.
Nuansa fisik dalam lingkungan digital sangat penting, karena bahkan keyboard digital berukuran terbaik pun tidak akan memuaskan untuk digunakan tanpa adanya tekanan di bawah tekanan.
Tim FRL memamerkan dua perangkat yang ingin menjawab masalah seputar haptics di pergelangan tangan. Yang pertama adalah “Bellowband”, gelang berisi delapan bellow pneumatik yang dapat dikontrol untuk memberikan pola tekanan dan getaran.
Perangkat kedua adalah Tasbi (Tactile and Squeeze Bracelet Interface), yang menggunakan enam “aktuator vibrotactile” yang menekan pergelangan tangan. Bersama-sama, keduanya dapat memberikan umpan balik yang memberikan sensasi menekan tombol virtual atau menyentuh tekstur yang berbeda.
Saat ini, tidak ada yang siap untuk prime time, tidak praktis untuk dipakai dan membutuhkan catu daya eksternal. Tapi mereka menunjuk pada jenis sensasi yang menurut Facebook akan sangat penting untuk interaksi yang intuitif dan dapat dipercaya dengan barang-barang digital.
Tujuan akhirnya bukan hanya agar dunia komputasi dan realitas hidup berdampingan, tetapi untuk bersatu. Sementara smartphone mungkin telah menurunkan penghalang masuk untuk komputasi, AR bertujuan untuk menghilangkan hambatan sepenuhnya.
Menemukan antarmuka pengguna yang alami dan sarana untuk berinteraksi akan menjadi kunci untuk menghilangkan gesekan antara dunia digital dan fisik, dan eksperimen semacam ini yang dilakukan Facebook tentu saja melumasi roda.