어떤 사람이 매우 큰 거짓말을 있다는 것을 단서로 사람의 얼굴을 연구하고 있는 심리학자들의 연구에서 영감을 얻은 UB의 컴퓨터과학자들은 머신들이 속임수를 보여주는 시각적 단서를 읽어낼 수 있는지에 대하여 연구하고 있다.

현재까지 이 연구결과는 전망이 밝다. 40개의 비디오 테잎으로 녹화된 대화를 가지고 진행된 연구에서, 눈의 움직임을 분석한 자동화된 시스템은 인터뷰에서 거짓말을 하는지 또는 진실을 말하고 있는지에 대하여 82.5%의 정확도를 가지고 감지할 수 있다.

UB 의 통합 생체인식 및 센서센터(Center for Unified Biometrics and Sensors (CUBS))의 Ifeoma Nwogu 교수는 거짓말 탐지 판단 실험에서 전문가인 질문자보다 더 높은 정확도를 보여주었다고 말했다. 논문에 실린 연구결과에서, 숙련된 전문가들도 65% 정도의 결과만을 보여주었다고 Nwogu가 말했다.

“우리가 이해하고자 하는 것은 거짓말하고 있는 사람이 보여주는 신호변화가 어떤한지 그리고 그것을 머신이 감지할 수 있는지에 대한 것으로서 우리는 그것을 할 수 있다는 것을 보여주었다.” 라고 Nwogu가 말했다. 이 연구는 2011 IEEE 자동얼굴 및 제스처 인식 컨퍼런스(2011 IEEE Conference on Automatic Face and Gesture Recognition)에서 발표되었다.

Nwogu 와 함께 연구에 참여한 사람들은 CUBS 과학자 Nisha Bhaskaran, Venu Govindaraju 및 UB 통신학과 Mark G. Frank 교수이다. Frank 교수는 얼굴 표현과 속임수에 관하여 연구하고 있는 행동과학자이다. 과거에 Frank가 시도했던 자동화된 속임수 감지기는 체온의 변화를 분석하거나 여러 가지 무의식적인 얼굴 표현을 조사하기 위한 시스템을 사용했다.

자동화된 UB 시스템은 눈의 움직임과 같은 다른 특성들을 추적하게 된다. 이 시스템은 다른 두가지 상황에서 얼마나 눈을 움직이는지를 모델링한 통계학적 기술을 사용하였다. 즉, 일반적인 대화와 거짓말을 유도하도록 만드는 질문을 받는 두 가지 상황에서 관찰하였다.

첫 번째와 두 번째 시나리오 사이에 눈이 변화하는 움직임의 패턴을 가진 사람들은 거짓말을 하는 것으로 예상되며, 일정한 눈의 움직임을 유지하는 사람들은 진실을 말하는 것으로 예상된다. 즉, 중요한 질문을 했을 때, 정상적인 눈의 움직임 패턴으로부터 강한 편차가 발생하는 것은 거짓말을 하고 있다고 말할 수 있다. 코드화된 얼굴의 움직임으로 판단했던 이전 실험들에서 큰 거짓말을 하고 있을 때는 시선을 마주치는데 큰 차이점이 발견되었다.

Nwogu 와 동료 컴퓨터 과학자들이 했던 것은 거짓말을 하는 사람과 진실을 말하는 사람들을 성공적으로 분류하여 자동화된 시스템이 정보를 확인하고 향상시키도록 해주는 것이었다. 다음 단계는 연구해야 될 주제의 수를 증가시켜서 시선을 마주치는 것 뿐만 아니라 신체언어를 분석하는 자동화된 시스템을 개발하는 것이다. Nwogu는 샘플 크기가 작다면 발견되는 것이 흥미롭다고 말했다.

숙련된 질문자들이 도전할 수 있는 작업을 단기간에 도와주기 위해서 사람들의 행동에 관하여 컴퓨터가 충분히 배울 수 있다고 그들은 주장했다. 연구에서 사용되어진 비디오에서는 다양한 피부색, 머리 자세, 조명 및 안경과 같은 장애물들을 가진 사람들을 보여주고 있다. 이것은 머신이 질문자를 교체할 준비가 되어있다는 것을 의미하지는 않지만, 컴퓨터가 거짓말쟁이를 감지하는 좋은 툴이 될 수 있다고 Nwogu가 말했다.

그녀는 이 기술이 매우 간단하지는 않다고 말했다. 연구대상 중의 일부는 아주 능숙한 거짓말쟁이로서 거짓말을 할 때 매우 일정하게 눈이 움직이는 패턴을 유지하고 있다. 또한 질문의 성격과 질문자의 전문성은 거짓말을 감지하는 방법의 효율성에 영향을 미칠 수 있다. 이 연구에 사용된 비디오는 Frank가 이전 실험에서 사용하기 위해 기록했던 132개로부터 모아졌다. Frank의 원래 연구에서 132개의 인터뷰 참가자들은 정당을 위해 만들어진 체크를 훔치기 위해 옵션을 제공받거나, 강력하게 반대하는 이유를 제공했다.

은퇴한 법집행 질문자에게 성공적으로 거짓말을 하여 체크를 받은 참가자들은 그들 자신을 위한 보상과 그들이 지지하는 그룹에 속하게 되었다. 그러나 거짓말을 한 것에 대하여 처벌을 받게 되어 그들과 그들이 속한 그룹은 돈을 받지 못하였고 그들을 그룹을 멸시하게 되었다. 체크를 훔치지 않은 참가자들도 거짓말을 판단하는 같은 상황에 놓이기 되었지만 진실을 판단한 것에 대하여 약간의 돈을 받게 되었다.

질문자들은 기본적이며, 매일의 질문을 부과함으로서 각 인터뷰를 시작하였다. 이러한 일상적인 대화를 통하여 질문자들은 체크에 관하여 물어보았다. 중요한 순간에 금전적인 보상과 처벌이 거짓말에 대한 근거를 높여주게 되었다.

자동화된 속임수 감지에 대한 그들의 연구에서 Nwogu와 그녀의 동료들은 40개의 비디오 테잎으로 녹음된 질문을 선택하였다. 그들은 처음에 각 참가자들의 정상적이며, 일반적인 눈의 움직임이 어떤지를 알아내고, 깜빡이는 회수 및 주시하는 방향으로 시선을 이동하는 빈도를 체크하였다.

그때 과학자들은 각 참가자들의 정상적인 눈의 움직임을 비교하기 위해서 그들이 개발한 자동화된 시스템을 사용하였다. 질문자들은 일상적인 질문을 멈추고, 체크에 관하여 질문하기 시작했으며, 정상적인 눈의 움직임과 중요한 질문에 대하여 비교하게 되었다. 만약 머신이 이 순간에 눈 움직임에 대한 이상한 변화를 감지했다면, 연구자들은 참가자들이 거짓말하고 있다고 예상하였다.