2010. 10. 12. 16:51
미래의 "예측형" 검색 엔진 재미있는 미래기술2010. 10. 12. 16:51
반응형
Recorded Future라 불리는 신생기업이 미래에 무엇이
일어날지에 대한 힌트를 찾기 위해 인터넷으로부터 실시간 데이터를 수집하는 툴을 개발했다. 이 회사의 검색 툴은 과거 뿐만 아니라
미래로 확장되는 시간축에 대한 결과들을 쏟아낸다. 18개월 된 회사는 올해초 Google과 CIA의 벤처 캐피탈로부터 자금을 받은
이후로 주목을 받았다. 이제 회사는 그들의 기술이 어떻게 동작하는지에 대한 짧은 경험을 제공했다.
Google과 같은 기존의 검색 엔진들은 순위를 매기고 다른 웹페이지를 연결하기 위해 링크들을 사용한다. Recorded Future의 소프트웨어는 온라인에 서술된 사람, 장소, 이벤트간의 "보이지 않는" 연결들을 추적하기 위해 페이지들의 내용을 분석함으로써 더 깊은 수준으로 간다.
"그것은 머지않아 Apple이 출시할 전망인 제품 또는 어떤 회사가 언제 인도에 투자하거나 인도에 확장할 것인지를 인식하는 것과 같이 특정 패컨을 조사하는 것을 가능하게 해준다"라고 회사 설립자인 Christopher Ahlberg는 말한다.
가령, 약품 회사인 Merck에 대한 정보 검색은 매출에 대한 최신 뉴스 뿐만아니라 웹사이트 임상시험에 다양한 약물의 시험이 등록되었는지에 대한 시간 정보를 보여준다.또다른 검색은 다양한 뉴스들이 Facebook을 언제 처음 공개할지를 예측하는 내용들을 쏟아내는 것을 보여주었다.
그러한 것은 Ahlberg가 "스트리밍 데이터"라고 무르는 것에 대한 인덱스를 지속적으로 업데이트하는 것을 통해 수행된다. 이러한 스트리밍 데이터는 새로운 기사, 정부 기관들의 문서, Twitter 업데이트, 실적 바료 또는 정치적/경제적 발표의 원고등을 포함한다. Recorded Future는 특정 이벤트를 인식하기 위해 언어적 알고리즘을 사용한다. 이러한 이벤트들에는 가령 제품 출시, 합병, 자연재해, 언제 이러한 이벤트들이 일어날 것인지 날짜, 그리고 사람, 회사, 국가와 같이 관련된 개체들이 포함된다. 툴은 또한 회사들에 대한 뉴스의 정서를 추적하여, 좋은지 또는 나쁜지를 분류할 수 있다.
Recorded Future의 고객 기반은 현재 "100개 이하"라고 Ahlberg는 말한다. 여기에는 다양한 금융 회사들, 정부 분석가, 그리고 매체 분석가들이 포함되는데, 온라인 툴에 접속하기 위해 매달 비용을 지불한다. "정부 분석가들은 사람들과 장소들을 추적하는데 관심이 있고, 반면에 금융 서비스들은 특정 회사들과 관련된 향후 이벤트들을 얻어내는 것을 원한다"라고 Ahlberg는 말한다.
결과를 보여주는 시간표를 만들어내는 검색을 수행하기 위해 온라인 인터페이스를 제공하는 것 뿐만아니라, Recorded Future는 특정 영역에서의 예측에 대하여 사용자들에게 조언을 제공하는 무료 이메일 뉴스레터를 제공한다. 또한 소비자들이 애플리케이션 프로그래밍 인터페이스(API)를 통해 툴의 데이터와 분석을 도표화하는 소프트웨어를 작성하는 것을 가능하게 해준다.
시간이 지나면, 이것은 소비자들을 목표로하는 애플리케이션의 개발을 유도할 것이라고 Ahlberg는 말한다. "만일 내가 iPhone을 구매할 예정이라고 한다면, Apple이 다음주 신제품을 발표할 것인지 또는 경쟁사들이 새로운 Apple 출시이후 경쟁 제품을 출시하기까지 얼마나 걸릴지를 알고 싶을 것이다." 금융 분석가들은 Recorded Future의 데이터와 자신들의 모델을 더하거나 통합하기 위해 이미 회사의 API를 사용하고 있다고 그는 말한다.
Recorded Future의 결과와 특정 금융 주식과 관련된 물량 변화를 비교한 보고서를 인용하면서 "우리는 우리의 데이터가 강력한 예측을 만들어낼 수 있다는 것을 증명해왔다"라고 Ahlberg는 말한다. "우리의 모멘텀 메트릭(이벤트 또는 개체와 관련된 활동 강도를 알려주는 지표)와 우리의 미래 이벤트가 시장 활동 크기와 유사하다는 것을 발견했다"라고 Ahlberg는 말한다.
이 툴은 또한 어떠한 정보원이 미래의 이벤트에 가장 좋은 단서를 제공하는지를 찾아내기 위해 사용될 수 있다. 최근 분석은 Financial Time의 블로그중의 하나의 포스트가 S&P 500 지수상의 회사의 업적을 예측하는데 있어 다른 정보원들보다 뛰어나다는 것을 보여주었다.
"그들이 실제로 하는 것은 미래에 대해 서술한 선언들을 확인하고 수집/분석하는 것이다"라고 State University of New Yor의 Steven Skiena는 말한다. Skiena는 뉴스와 블로그로부터 정보를 캐내기 위해 또다른 신생기업 General Sentiment에 의해 사용되는 비슷한 기술을 개발했다. "분석가는 Recorded Future가 만들어낸 예측보다 덜 위험한 예측을 알리기 위해 이러한 것(정보)을 사용할 수 있다."
다양한 툴들이 텍스트로부터 이벤트, 사람, 회사를 추출할 수 있지만 그러한 정보를 시간적으로 정리하는 것은 더욱 까다로운 장업이라고 New York University의 Leonard Stern School of Business의 Panagiotis Ipeirotis는 말한다. 그는 경제적으로 중요한 데이터가 어떻게 온라인 뉴스와 소셜 미디어로부터 추출될 수 있는지에 대하여 연구한다."일련의 이벤트에 대한 분석은 매우 흥미롭고 연구 측면에서 미개척된 분야이다"라고 그는 말한다. "심지어 적절한 이벤트 순서를 만들기 위해 뉴스 기사의 시간 데이터를 얻는것도 어려운 문제이다."
이것은 Recorded Future가 뉴스와 다른 데이터들을 얻어냄으로써 통찰력을 얻고자하는 다른 회사들과 구분하게 해주는 시간표 세트에 초점을 맡추게 한다. "다른 텍스트 분석 회사들도 언제 이러한 트렌트에 참여할지 궁금하다."
Recorded Future는 아라비아어와 중국어 정보원을 포함하기 위해 서비스를 확장할 예정이다. 인덱스들을 더 크게 만드는 것은 중요한 우선순위이다. "나는 전세계의 모든 스트리밍 데이터를 얻을 수 있기를 바란다"고 Ahlberg는 말한다.
Recorded Future, General Sentiment, 그리고 다른 툴들이 차지하는 데이터베이스가 증가함에 따라, 더욱 강력한 분석이 가능해질 것이라고 Skiena는 말한다. "현재 거의 무명인 사람이 미래에 갑자기 매우 유명해지는 확률이 얼마인지를 예측하는 모델에 대하여 사회 과학자와 연구하고 있다."
Google과 같은 기존의 검색 엔진들은 순위를 매기고 다른 웹페이지를 연결하기 위해 링크들을 사용한다. Recorded Future의 소프트웨어는 온라인에 서술된 사람, 장소, 이벤트간의 "보이지 않는" 연결들을 추적하기 위해 페이지들의 내용을 분석함으로써 더 깊은 수준으로 간다.
"그것은 머지않아 Apple이 출시할 전망인 제품 또는 어떤 회사가 언제 인도에 투자하거나 인도에 확장할 것인지를 인식하는 것과 같이 특정 패컨을 조사하는 것을 가능하게 해준다"라고 회사 설립자인 Christopher Ahlberg는 말한다.
가령, 약품 회사인 Merck에 대한 정보 검색은 매출에 대한 최신 뉴스 뿐만아니라 웹사이트 임상시험에 다양한 약물의 시험이 등록되었는지에 대한 시간 정보를 보여준다.또다른 검색은 다양한 뉴스들이 Facebook을 언제 처음 공개할지를 예측하는 내용들을 쏟아내는 것을 보여주었다.
그러한 것은 Ahlberg가 "스트리밍 데이터"라고 무르는 것에 대한 인덱스를 지속적으로 업데이트하는 것을 통해 수행된다. 이러한 스트리밍 데이터는 새로운 기사, 정부 기관들의 문서, Twitter 업데이트, 실적 바료 또는 정치적/경제적 발표의 원고등을 포함한다. Recorded Future는 특정 이벤트를 인식하기 위해 언어적 알고리즘을 사용한다. 이러한 이벤트들에는 가령 제품 출시, 합병, 자연재해, 언제 이러한 이벤트들이 일어날 것인지 날짜, 그리고 사람, 회사, 국가와 같이 관련된 개체들이 포함된다. 툴은 또한 회사들에 대한 뉴스의 정서를 추적하여, 좋은지 또는 나쁜지를 분류할 수 있다.
Recorded Future의 고객 기반은 현재 "100개 이하"라고 Ahlberg는 말한다. 여기에는 다양한 금융 회사들, 정부 분석가, 그리고 매체 분석가들이 포함되는데, 온라인 툴에 접속하기 위해 매달 비용을 지불한다. "정부 분석가들은 사람들과 장소들을 추적하는데 관심이 있고, 반면에 금융 서비스들은 특정 회사들과 관련된 향후 이벤트들을 얻어내는 것을 원한다"라고 Ahlberg는 말한다.
결과를 보여주는 시간표를 만들어내는 검색을 수행하기 위해 온라인 인터페이스를 제공하는 것 뿐만아니라, Recorded Future는 특정 영역에서의 예측에 대하여 사용자들에게 조언을 제공하는 무료 이메일 뉴스레터를 제공한다. 또한 소비자들이 애플리케이션 프로그래밍 인터페이스(API)를 통해 툴의 데이터와 분석을 도표화하는 소프트웨어를 작성하는 것을 가능하게 해준다.
시간이 지나면, 이것은 소비자들을 목표로하는 애플리케이션의 개발을 유도할 것이라고 Ahlberg는 말한다. "만일 내가 iPhone을 구매할 예정이라고 한다면, Apple이 다음주 신제품을 발표할 것인지 또는 경쟁사들이 새로운 Apple 출시이후 경쟁 제품을 출시하기까지 얼마나 걸릴지를 알고 싶을 것이다." 금융 분석가들은 Recorded Future의 데이터와 자신들의 모델을 더하거나 통합하기 위해 이미 회사의 API를 사용하고 있다고 그는 말한다.
Recorded Future의 결과와 특정 금융 주식과 관련된 물량 변화를 비교한 보고서를 인용하면서 "우리는 우리의 데이터가 강력한 예측을 만들어낼 수 있다는 것을 증명해왔다"라고 Ahlberg는 말한다. "우리의 모멘텀 메트릭(이벤트 또는 개체와 관련된 활동 강도를 알려주는 지표)와 우리의 미래 이벤트가 시장 활동 크기와 유사하다는 것을 발견했다"라고 Ahlberg는 말한다.
이 툴은 또한 어떠한 정보원이 미래의 이벤트에 가장 좋은 단서를 제공하는지를 찾아내기 위해 사용될 수 있다. 최근 분석은 Financial Time의 블로그중의 하나의 포스트가 S&P 500 지수상의 회사의 업적을 예측하는데 있어 다른 정보원들보다 뛰어나다는 것을 보여주었다.
"그들이 실제로 하는 것은 미래에 대해 서술한 선언들을 확인하고 수집/분석하는 것이다"라고 State University of New Yor의 Steven Skiena는 말한다. Skiena는 뉴스와 블로그로부터 정보를 캐내기 위해 또다른 신생기업 General Sentiment에 의해 사용되는 비슷한 기술을 개발했다. "분석가는 Recorded Future가 만들어낸 예측보다 덜 위험한 예측을 알리기 위해 이러한 것(정보)을 사용할 수 있다."
다양한 툴들이 텍스트로부터 이벤트, 사람, 회사를 추출할 수 있지만 그러한 정보를 시간적으로 정리하는 것은 더욱 까다로운 장업이라고 New York University의 Leonard Stern School of Business의 Panagiotis Ipeirotis는 말한다. 그는 경제적으로 중요한 데이터가 어떻게 온라인 뉴스와 소셜 미디어로부터 추출될 수 있는지에 대하여 연구한다."일련의 이벤트에 대한 분석은 매우 흥미롭고 연구 측면에서 미개척된 분야이다"라고 그는 말한다. "심지어 적절한 이벤트 순서를 만들기 위해 뉴스 기사의 시간 데이터를 얻는것도 어려운 문제이다."
이것은 Recorded Future가 뉴스와 다른 데이터들을 얻어냄으로써 통찰력을 얻고자하는 다른 회사들과 구분하게 해주는 시간표 세트에 초점을 맡추게 한다. "다른 텍스트 분석 회사들도 언제 이러한 트렌트에 참여할지 궁금하다."
Recorded Future는 아라비아어와 중국어 정보원을 포함하기 위해 서비스를 확장할 예정이다. 인덱스들을 더 크게 만드는 것은 중요한 우선순위이다. "나는 전세계의 모든 스트리밍 데이터를 얻을 수 있기를 바란다"고 Ahlberg는 말한다.
Recorded Future, General Sentiment, 그리고 다른 툴들이 차지하는 데이터베이스가 증가함에 따라, 더욱 강력한 분석이 가능해질 것이라고 Skiena는 말한다. "현재 거의 무명인 사람이 미래에 갑자기 매우 유명해지는 확률이 얼마인지를 예측하는 모델에 대하여 사회 과학자와 연구하고 있다."
반응형
