Sabtu, 13 November 2010

Manusia-komputer pertunjukan musik menggunakan sistem yang menghubungkan musik dan gerakan musik

04.26    1 comment

Dalam gambar dari video di bawah ini, komputer, robot, dan manusia tampil bersama dalam Orchestra Mesin, yang menggunakan gerakan musik ditangkap


     Di kutip dari (PhysOrg.com) - Setiap suara musik berasal dari cara tertentu yang instrumen dimainkan. Dengan teknologi modern seperti sensor, pengolahan sinyal, dan algoritma mesin kadang-kadang belajar, peneliti dapat menentukan isyarat musik yang tepat digunakan untuk menghasilkan suara tertentu pada instrumen. Kemampuan untuk menciptakan isyarat musik dari suara dapat digunakan untuk pertunjukan musik interaktif manusia-komputer, transkripsi musik, dan aplikasi inovatif lainnya.
Dalam sebuah studi baru, peneliti telah mengembangkan metode untuk menangkap gerakan musik dan pemetaan mereka untuk suara yang mengatasi beberapa kelemahan dari metode sebelumnya. Adam Tindale, Ajay Kapur, dan George Tzanetakis - semua musisi yang terlatih dan ilmuwan komputer yang bekerja di University of Victoria di Victoria, Kanada - telah menjelaskan metode baru dalam penelitian yang akan diterbitkan dalamTransaksi IEEE di Multimedia. Metode ini tumbuh dari penulis pengalaman dalam mengembangkan instrumen untuk pertunjukan musik manusia-komputer interaktif. Pada saat itu, Tindale dan Kapur keduanya menyelesaikan PhD di University of Victoria. Tindale sekarang bekerja di College Alberta Seni dan Desain dan Kapur bekerja di California Institute Seni dan New Zealand School of Music.
Sebagai peneliti menjelaskan dalam studi mereka, ada dua pendekatan utama untuk menangkap gerakan musik. Satu pendekatan adalah akuisisi langsung, yang melibatkan melampirkan permanen  dengan instrumen untuk menciptakan hyper-instrumen. "Namun", pendekatan ini sering invasif untuk artis dan membutuhkan modifikasi instrumen mahal. Pendekatan kedua adalah akuisisi tidak langsung, yang melibatkan menggunakan mikrofon untuk menangkap suara, serta canggih  dan mesin belajar algoritma untuk mengekstrak isyarat dari suara, yang memerlukan sejumlah besar pelatihan.

metode baru para peneliti agak merupakan suatu gabungan dari dua pendekatan. Mereka sementara melampirkan sensor untuk instrumen untuk menangkap gerakan musik dan mikrofon untuk menangkap suara. Data ini dianalisis, dan pemetaan gerakan-suara yang digunakan untuk melatih mesin model pembelajaran untuk mengekstrak isyarat dari suara saja. Mesin model ini kemudian menciptakan apa yang para peneliti sebut "sensor pengganti," yang berperilaku seperti sensor invasif asli namun tidak melekat pada instrumen tersebut. Sensor pengganti dapat menentukan gerakan musik hanya berdasarkan suara dianalisa diambil dari mikrofon. 


"Keuntungan utama dari metode ini adalah bahwa hal itu memungkinkan data dalam jumlah besar pelatihan untuk mesin belajar algoritma yang akan dibeli tanpa penjelasan manusia hanya dengan memainkan instrumen ditingkatkan dengan sensor," kata Tzanetakis PhysOrg.com. "Setelah sensor pengganti telah dilatih dan dievaluasi kinerjanya, maka dapat digunakan di tempat sensor fisik yang sebenarnya dari instrumen tidak dimodifikasi dari jenis yang sama."
Sistem ini mengatasi kesulitan sebelumnya bahwa hal itu tidak menghalangi pemain atau instrumen mereka ketika melakukan, dan tidak memerlukan jumlah besar pengolahan dan analisis, sangat mengurangi kebutuhan waktu.Sebagai contoh, data dari snare drum yang mengambil sampel hampir seminggu kerja manual dapat diproses dalam waktu kurang dari satu jam dengan metode baru.
Para peneliti menunjukkan sistem dengan musisi profesional bermain sitars elektronik dan snare drum elektronik. Hasil penelitian menunjukkan bahwa sensor pengganti yang terlatih secara akurat dapat menentukan gerakan musik ketika sedang melakukan musisi yang berbeda, dan tidak hanya pemain yang digunakan untuk melatih sensor pengganti. Selanjutnya, segala jenis bermasalah (seperti improvisasi atau memainkan lagu) bisa digunakan untuk melatih sensor pengganti.
Di masa mendatang, para peneliti berencana untuk membuat sistem tersebut lebih sensitif terhadap fitur tambahan, seperti pelatihan untuk mengenali jenis juru bicara yang digunakan oleh alat woodwind dan string yang catatan dimainkan pada biola. Baik Tindale dan Kapur saat ini menggunakan sistem selama pertunjukan musik, seperti yang ditunjukkan dalam video yang menyertainya.
"Pada dasarnya, informasi gerakan diekstraksi biasanya digunakan dengan cara berikut," jelas Tzanetakis. "(1) Untuk informasi peta kinerja untuk suara dan generasi musik algoritma yang bereaksi secara real-time ekspresif untuk musik, (2) untuk mendorong animasi dan visual, (3) untuk mensintesis suara parametrically (misalnya, disintesis suara gendang mungkin berubah berdasarkan mana snare drum terkena), dan (4) untuk melakukan analisis dari musik yang dimainkan (misalnya, secara otomatis pelacakan tempo) dalam konteks instrumen robot yang dikendalikan komputer berinteraksi dengan manusia ".

1 komentar:

Langganan: Posting Komentar (Atom)