Merekam suara spasial dengan ARKit & bergerak melalui bentuk gelombang 3D virtual

Artis kode Zach Lieberman telah memanfaatkan kerangka kerja ARKit baru Apple di iOS 11 untuk membangun aplikasi audio spasial proof-of-concept trippy yang dapat digunakan untuk merekam suara dalam augmented reality dan memutarnya kembali dengan benar-benar bergerak melalui bentuk gelombang 3D virtual.

Berikut adalah video cepat yang menunjukkan tindakan ini (pastikan untuk mengaktifkan suara)

Tes cepat untuk merekam suara di luar angkasa dan memutar ulang dengan bergerak melewatinya (video memiliki audio!) #Openframeworks pic.twitter.com/GdZcK3rj1L

- zach lieberman (@zachlieberman) 6 September 2017

Dia membangunnya menggunakan ARKit dan OpenFrameworks, toolkit C ++ open source untuk pengkodean kreatif.

Saya dapat melihat kegunaan untuk ini di museum sebagai instalasi seni interaktif: bayangkan merekam komposisi musik dengan cara ini dengan catatan dan ritme yang menempati pola spasial yang dapat diputar ulang oleh orang-orang dengan bergerak melalui bentuk gelombang 3D.

Seseorang bahkan dapat mengatur instalasi atau jalur kebugaran khusus di mana orang dapat berlari melalui kursus untuk memutar musik yang direkam sebelumnya. Atau, bagaimana dengan perburuan pemulung di augmented reality di mana Anda harus menemukan petunjuk audio di seluruh rumah?

Kemungkinannya tidak terbatas - jika Anda dapat melakukan audio spasial dengan ARKit, itu tidak sulit untuk membayangkan kata-kata augmented reality, tweet, emoji, lembaran musik mengambang dan sebagainya.

Berikut adalah lebih banyak demo dari Zach yang menunjukkan bagaimana ARKit mendeteksi titik objek secara real time.

Uji cepat menganimasikan data cloud titik pic.twitter.com/34mQvuKXNd

- zach lieberman (@zachlieberman) 1 September 2017

Satu lagi pic.twitter.com/5RSFSzSg5N

- zach lieberman (@zachlieberman) 31 Agustus 2017

Sangat keren untuk melihat poin fitur dan melihat model yang dibuatnya (thx @xavitribo) pic.twitter.com/8rqObs8seI

- zach lieberman (@zachlieberman) 31 Agustus 2017

Demo Zach mengingatkan seri Light Barrier oleh studio Kimchi and Chips, sebuah proyek yang menciptakan gambar volumetrik di udara menggunakan ratusan proyeksi video yang dikalibrasi. Seperti diperlihatkan dalam video yang disematkan di bawah ini, proyeksi cahaya ini bergabung dalam bidang kabut untuk membuat objek grafik yang hidup melalui ruang fisik seperti yang terjadi pada waktunya..

Sebelumnya hari ini, kami menunjukkan kepada Anda aplikasi pengukuran terbaik oleh pengembang Rinat Khanov, yang disebut MeasureKit, yang dapat Anda gunakan untuk mengukur apa saja - seperti ketinggian seseorang, jarak ke objek, sudut antara dua titik dan lebih banyak lagi - dengan mengarahkan iPhone Anda ke objek.

Bagaimana Anda menyukai demo ARKit baru ini?