Rona와 Sl은 키스를 하게 될까? 그리고 그들은 영원히 커플로서 남게 될까?, 또는 Sol이 전화를 받을 것인가?, 역사의 과정이 변할 것인가? 텔아이브대학에서 개발한 새로운 영화 포맷은 관객들이 직접 이를 결정할 수 있도록 해준다.

복잡한 비디오 코딩 절차를 이용한 새로운 영화 포맷은 관객들이 보고 있을 때 영화장면에 대하여 원활하게 상호작용할 수 있고, 장면을 전환할 수 있도록 해준다. 이것은 터뷸런스(Turbulence)라는 것으로서 텔아비브대학 영화 및 TV학부의 Nitzan Ben Shaul 교수가 개발하였다. 이와 같이 독특한 영화장면 시퀀싱(scene-sequencing) 기술을 이용하여 만들어진 터뷸런스는 최근에 버클리 비디오 및 영화 페스티벌에서 기술혁신상을 받게 되었다.

“슬라이딩 도어wm(Sliding Doors) 또는 롤라 런(Run Lola Run)과 같은 다양한 영화로부터 사람들은 긴장감과 흥분을 느끼게 된다. 그러나 이 기술을 사용하게 된다면, 사람들이 영화의 주요장면이 어떻게 이어가게 될지를 선택할 수 있고, 영향력을 갖도록 해줄 것이다.” 라고 Ben Shaul 교수가 말했다. 또한 호기심 많은 관객들은 다시 되돌아갈 수도 있다. 그들은 이전에 본 것에서 이야기의 전환점으로 되돌아갈 수도 있다. 즉, 같은 결말을 두 번 볼 수 없다는 것이다.

Ben Shaul 교수의 혁신적인 포맷을 사용하여, 관객들은 영화를 일반적인 모니터 또는 터치스크린 모니터를 통하여 보게 된다. 그리고 보는 각도에 따라서 색깔이 변화하는 빛은 중심이 되는 장면에서 특정 액션 아이템으로 보여지게 된다. 관객들은 상호작용을 할 것인지 선택할 수 있다. Sol이 문자메시지를 보내야만 하나? 만약, 관객이 그렇게 생각한다면, 그는 클릭하거나 스크린을 터치할 수 있다. 그러면 배우가 가지고 있는 핸드폰은 문자를 보내게 된다.

Turbulence는 멋진 장면을 포함하고 있지만, 영화는 끝나가게 된다. 3명의 이스라엘 친구인 Edi, Sol, Rona는 맨하탄에서 우연히 만나게 된다. 과거 20년 동안 레바논전쟁에 저항하던 사람들은 체포되었고, 3명의 친구들은 각자의 길을 걷고 있다. 지금 뉴욕에서 그들은 과거의 일을 떨쳐버리고, 그들 중 2명은 연애사건을 통하여 다시 가까워지게 되었다.

어떻게 결론이 날까? 당신이 결정하면 된다. 어떤 관객들과의 상호작용이 없이 83분간 지속되어지며, 상호작용을 갖게 된다면, 1시간에서 2시간 정도 다양하게 지속된다. 관객들이 만드는 선택이 무엇이든지간에 결론은 나게 되고, 관객들은 만족을 느끼게 된다고 Ben Shaul 교수가 말했다.

“슬라이딩 도어즈와 롤라 런은 나를 감동시켰다. 그것은 인생에서 선택하는 것에 대하여 나를 생각하도록 만들었다. 그러나 중요한 결정의 순간에 책임감을 느끼도록 하지는 않는다. 우리 영화에서 당신은 주인공이 가야만 하는 곳을 선택하는 것이며, 선택한 장면으로 돌아가기 위하여 결정할 수 있다. 그것을 선택하기만 하면 되는 것이다.” 라고 Ben Shaul 교수가 말했다.

텔아비브대학 과 과학위원회에서 자금을 지원받은 이 영화는 아이패드 또는 개인용 기내영화 플레이어와 같은 새로운 터치스크린 기술에서 완벽하게 실행된다. 그리고 또한 이 영화는 그룹들내에서도 볼 수 있다. 개인들은 결정을 내리기 위해서 선택할 수 있지만, 다수의 표에 따라서 결정된다.

“이것은 선택적인 사고를 개발하고 있다. 그리고 사람들이 미디어와 광고를 이용하는 방법을 변화시킬 것이다.” 라고 Ben Shaul 교수가 말했다. 그는 영화제작에 대한 완전히 새로운 패러다임이 될 수 있기를 바라고 있으며, ‘선택적 사고 및 서술적 영화(What If:Optional Thinking and Narrative Movies)란 무엇인가’ 라는 제목의 책을 저술하고 있다.

영상을 통하여 컴퓨터에서 포옹과 키스를 하는 사람들을 자동으로 감지해내는 기술이 개발되었다. Oxford대학에서 개발된 이 기술은 악수와 하이파이브 같이 상호작용하는 것을 자동으로 인식할 수 있다. 이것은 컴퓨터가 방대한 비디오 영상 컨텐츠를 자동으로 해석해내는 연구의 일부분으로 진행된 것으로서 TV, 영화, 유튜브 및 CCTV와 같은 곳에서 생성되는 영상을 이용하고 있다.

‘사람들의 행동과 활동이 비디오 해석을 위해 가장 중요한 점이다. 이 새로운 연구는 두 사람의 포옹, 키스 및 악수와 같은 행동을 통하여 자동으로 상호작용을 인식하도록 해준다. 이러한 상호작용을 인식할 수 있다면, 이용할 수 있는 애플리케이션은 다양하다. 예를 들어, 가정용 비디오와 유튜브에서 키스와 악수를 자동으로 찾을 수 있으며, CCTV에서 사건의 단서를 빠르게 찾아낼 수 있을 것이다.’ 라고 Oxford대학 과학공학부의 Alonso Patron-Perez가 말했다.

Alonso Patron-Perez, Ian Reid 박사, Marcin Marszalek 박사, Andrew Zisserman 교수가 속한 Oxford대학팀이 개발한 방법은 컴퓨터 비전과 기계학습을 통해서 알고리즘을 개발하였다.

상호작용을 인식하는 교육용 컴퓨터는 여러 단계를 거치게 된다. 먼저 사람들이 감지되고 비디오 영상을 통해서 추적하게 된다. 그러면 비디오상에서 사람들의 위치가 확인되며, 머리의 움직임과 이와 관련된 신체의 움직임과 같은 다른 단서들을 통해서 상호작용이 만들어지는지, 어떤 종류의 상호작용인지를 추정하게 된다.

이러한 모든 정보는 몇가지 상호작용을 통해서 산출되며(이 팀은 악수, 하이파이브, 포옹 및 키스와 같은 4가지 종류에 초점을 맞추고 있다.), 이러한 몇가지 사례를 통해서 각각 상호작용 모델을 배우는데 기계 학습방법이 사용되게 된다.

Alonso Patron-Perez는 ‘컴퓨터가 이러한 모델을 배우게 되면, 사람들의 상호작용이 비디오와 컴퓨터에서 어떤 위치에서 일어나고 있는지를 알아낼 수 있게 된다. 그리고 어떤 종류의 상호작용이 포함되고 있는지를 알아낼 수 있다. 이 연구는 이전에는 가능하지 않았던 방법으로서 비디오 영상을 통해서 컴퓨터가 사람들의 행동을 알아내는 것이다.’ 라고 말했다.