'악의적인 말' 태그의 글 목록

'악의적인 말'에 해당되는 글 1건

2010.05.31 웹사이트에서 악의적인 말을 찾아내는 알고리즘

2010. 5. 31. 14:52

웹사이트에서 악의적인 말을 찾아내는 알고리즘 재미있는 미래기술2010. 5. 31. 14:52

KISTI 미리안 『글로벌동향브리핑(GTB)』 2010-05-28

인간과 컴퓨터가 더욱 정교하게 통신을 하는 방법은 인공지능이라는 것이다.

예루살렘의 Hebrew 대학 컴퓨터과학자가 개발한 알고리즘은 아이러니를 표시하는데 자주 사용되는 문구나 구두점의 패턴을 분석하여 긴 문장 내에서 악의적인 말을 알아낼 수 있도록 프로그램되었다. 아마존 쇼핑 웹사이트에 올려진 66,000개의 상품 리뷰에서 테스트되어진 이 알고리즘은 악의적인 커맨트를 찾아내는데 77%의 성공률을 보여주었다. 일부에서는 이보다 성공률이 더 높다고 주장하고 있다.

연구자들은 사람들이 악의적인 문장이 맞는지를 일일이 찾아냈고, 이 5,500개의 문장을 알고리즘에 입력하여 만들게 되었다. 이 연구에서는 아마존 리뷰풀에서 보여지는 “불면증 환자들을 위한 것(Great for insomniacs)”, “아이팟이 2년 뒤에 사라지기 위해 디자인되었는가?(Are these iPods designed to die after two years?)”, “디자인의 동작불량(Defective by design)”과 같은 악의적인 문구는 포함되어 있다. 이러한 악의적인 문구를 통하여 글을 쓰는 사람은 문자 그대로의 의미를 전달하려는 것이 아니라는 것을 알게 되었으며, 일반적으로 쓰여지는 단어들의 패턴을 알고리즘이 학습할 수 있게 되었다.

학자들은 이 연구에서 “우리는 악의적인 발언을 인식하는 강력한 기능을 개발했다. 그리고 아주 미묘한 특징들의 조합이 다양한 악의적인 말들을 골라내는데 가장 적합한 역할을 하고 있다.” 라고 말했다.

알고리즘의 찾는 기술은 아마존에서 악의적인 태그를 올린 수만개의 리뷰에서 테스트되어졌다. 그리고 또한 사람들에게도 테스트되었다. 이것은 약 77%의 정확성을 보여주었다. 주요한 성공률을 가진 알고리즘을 만들어냄과 동시에, 연구자들은 또한 왜 사람들이 악의적인 말을 온라인에서 사용하는지에 대한 흥미로운 결과를 보여주었다.

그들은 아마존에서 가장 악의적인 커멘트를 만드는 상품들이 가장 인기 있고 대중적인 것이라는 것을 알아냈다. 즉, 댄 브라운의 다빈치코드와 아마존의 킨들 e-리더와 같은 것들이다. 학자들은 “온라인 커뮤니티에서 악의적인 말을 사용하는 가장 큰 동기 중에서 하나는 대중들을 ‘구하거나(save)` 또는 ’계몽(enlighten)`하기 위한 시도이다. 그리고 부당한 선전을 보상해주는 것이다.” 라고 말했다.

이 연구의 저자인 Oren Tsur, Dmitry Davidov와 Ari Rappoport는 악의적인 언어의 인식기술이 아마존과 같은 리뷰통합 웹사이트에서 어느 날 갑자기 사용되어져 리뷰와 커멘트를 평가하는데 사용될 수 있게 될 것이라고 말했다. 그러나 그들은 어떻게 알고리즘이 논문제목의 아이러니를 감지해낼 수 있는지에 관한 단서를 제공하지 못했다. 논문 제목은 “가장 기억하기 쉬운 이름: 온라인 상품리뷰에서 악의적인 문장을 일정부분 감시하여 인식(Semi-Supervised Recognition of Sarcastic Sentences in Online Product Reviews)”이다.