Personal Audiovisual Performance Project at the Group Exhibition, 'Project Gogunbuntu'
Concept
This art project aims to reflect the story of Mr. Woo in a performance. As the owner of the live club 'Salon Badabie', he has been keeping the value of the small space that offers chances for obscure or new musicians to play their own songs in front of audiences at a slight charge. Also, as a poet, he has written several poems about his life and affection for the club and held poetry readings with other poets including himself at his club. The Project Gogunbuntu is to make the stories of these store owners, who retain their values about arts and culture, into works of art in collaboration with artists. Taking part in it as an artist, I decided to create the audiovisual performance that allusively expresses Mr. Woo's value and story to the audience by sonifying and visualizing the recitation of his own poems.
Method
To make a performer move freely around the stage during the performance, a Bluetooth microphone was used to read the poems. Furthermore, the additional button that blocks or passes sound input was attached between the sound input module and the main board of the microphone to reduce unnecessary background sound and control the start and end time of an intended speaking moment, as shown in the above figure. The main application made by Processing receives spoken sounds from the microphone via Bluetooth communication. Using the Speech-To-Text Processing library based on online Google Speech API, acquired spoken sounds were recognized as text to be processed in the audiovisual mapping.
In the audiovisual mapping process, the recognized text was displayed as characters on a screen in the form of kinetic typography to depict the poetic meaning of 'Badabie' - falling rain under the sea in Korean. The characters appeared at the top of the screen and dropped down to the bottom at a slow pace as if inside the sea, being piled up on other characters at the bottom. While dropping, each character played a specific sound sequentially in the order in which they appeared in the text at an even tempo. Whenever the character played the sound, it not only became brighter for a short time but also formed bubbles, as if it was gradually melting down. In turn, when the character wholly melted down, the sound also disappeared.
For sonification, the Unicode value of each character was utilized. Each Unicode value was changed into a MIDI message by using bitwise operations and then it was transmitted to a digital audio workstation software, Ableton Live. The characters were mapped into several virtual instruments with different notes and sound effects. According to the themes of poems, instrument sets were applied differently.
Result
In the performance, Mr. Woo recited his poems by using the modified Bluetooth microphone, moving around the stage extemporaneously. His spoken sounds were turned to text and the text was visualized on the wall of the stage, while playing musical notes. The audience was able to hear the music that was mingled with his spoken sounds.
Conclusion
This art project tried to make a computer listen to human poems and read them again in an audiovisual way. As a result, by utilizing spoken sounds as fundamental resources for sonification and visualization, the performance provided audiences with a new musical experience.
However, overcoming the time delay caused by the online based Speech-To-Text library and finding the better mapping strategies between text and sound should be considered to enrich the performance.
Interactive Installation Version at the 'Project Gogunbuntu' Group Exhibition
Artist's Note(Korean)
바다 속에 내리는 비라는 시적인 이름을 가진 살롱 바다비. 그 곳은 단순한 공연장의 느낌은 아니였다. 그 공간을 거쳐가고 찾아오는 수 많은 소리들은 자신들의 이야기를 노래하고 들려주고 있다. 무엇보다도 늘 그 공간을 채우고 이끌어 나가며 온전히 자신의 삶을 함께 투영하고 있는 시인 우중독보행씨의 이야기가 중요했다. 그의 현재를 말해주는 이 공간과 함께 삶이 녹아 있는 그의 시들이 매력적으로 읽혀졌다.
이번 작업을 구상하면서 내가 어떤 주관적 의도를 가지고 이 공간을 표현하고 드러내는 것은 이 공간에 대한 주인장의 애정에 비하면 너무 건방진 행위 같았다. 얼마나 그의 진정성을 표현해 줄 수 있겠는가 라는 생각이 먼저 들었다. 그래서 주인장의 이야기와 이 공간의 울림이 그대로 전달 될 수 있다면 가장 좋겠다고 생각했다.
그가 시를 읽으면 글자들이 음악이 되고 그 음악 소리와 발화된 말소리가 섞여서 다시 글자가 되어 시가 된다면 그것이 이 공간을 있는 그대로 들려줄 수 있는 방법이 될 것이라 보고 작업 방향을 정하였다.
우리는 이미 휴대폰에 말을 걸고, TV에 명령을 하고, 심지어 세탁기에게도 질문을 할 수 있는 기술의 향연 속에 살고 있다. 이번 작업에서 이런 음성 인식 기술을 통해 기계에게 시를 읽어 주고자 한다. 기계는 만들어진 ‘지능’을 가지고 말을 글자로 바꿀 것이다. 시가 가진 운율과 리듬이 사람의 읽힘에 의해 완성 되듯이 기계도 인지된 글자가 가진 코드에 따라 소리로 바꾸어 표현하게 만들 것이다. 여기에 더해 음성 인식 기술의 약점으로 인해 말을 정확히 인식하지 못하는 기계의 ‘실수’도 그대로 노출 시켜 예측할 수 없는 결과를 보는 작업이 될 것이다.
아리스토텔레스는 그의 저서 에서 시작(詩作)은 일종의 자연에 대한 미메시스(mimesis, 모방)라고 하며 이 모방은 인간의 기본 본능이라고 말한다. 이번 작업을 통해 이러한 인간의 예술적 창조 행위를 기계가 어떻게 모방하고 표현할 수 있을 지 생각해볼 기회가 되었으면 한다.
More About Project Gogunbuntu
Project Gogunbutu Project Site
Project Gogunbuntu e-book