웹과 모바일 환경에서의 멀티미디어 데이터 소비량은 계속 증가하고 있으며, 사용자가 소비 중인 멀티미디어의 내용을 인식하고 이에 맞추어 관련 정보를 제공할 수 있다면 사용자에게 보다 나은 경험을 제공할 수 있습니다. 미래의 멀티미디어 제공 플랫폼에 있어서 검색이란 단순 텍스트 질의에 기반한 것이 아닌, 다양한 멀티미디어 정보 사이의 연관성에 의하여 사용자가 원하는 정보를 원하는 미디어 형태로 얻는 과정이 될 것입니다. 엔써즈는 사용자에게 보다 나은 가치를 줄 수 있는 멀티미디어 검색 기술을 개발하기 위하여 최선을 다하고 있습니다.

멀티미디어 핑거프린트 및 인식 기술

엔써즈는 다년간의 연구 개발에 바탕하여 세계 최고 수준의 대용량 멀티미디어 핑거프린트 및 인식 기술을 보유하고 있습니다. 멀티미디어 핑거프린트 및 인식 기술은 멀티미디어 데이터의 내용을 분석하여 서로 다른 내용의 데이터끼리 구분이 가능한 최소한의 정보를 추출하는 기술로써, 지문으로 특정인을 인식할 수 있는 것과 마찬가지로 임의의 기기에서 재생되는 멀티미디어 데이터의 내용을 인식할 수 있습니다. 또한 엔써즈는 인터넷의 멀티미디어를 메타 정보와 함께 수집한 후 멀티미디어 핑거프린트에 바탕하여 메타 정보들의 연관성을 파악하고 중요 정보를 추출해 내는 기술 역시 보유하고 있으며, 이에 기반하여 사용자에게 보다 나은 멀티미디어 검색 경험을 제공합니다.

멀티미디어 핑거프린트 기술의 핵심은 데이터에 가해질 수 있는 다양한 왜곡에 둔감한 최소한의 정보를 데이터로부터 추출하는 것입니다. 엔써즈는 다양한 현실 상황의 왜곡에 강인하여 99% 이상의 성능을 보이면서도 작은 용량을 가지는 비디오 / 오디오 / 이미지 핑거프린트를 보유하고 있으며, 수백만 시간의 비디오 / 오디오와 수억 장의 이미지를 효율적으로 인덱싱하여 초당 수백에서 수천 회의 콘텐츠 인식 요청을 처리할 수 있습니다. 이를 위하여 저용량의 핑거프린트와 함께 분산 시스템에 기반한 멀티미디어 인덱서를 개발하여 대용량의 요청을 처리하고 필요에 따라 스케일링할 수 있습니다.

또한 단순히 비디오 / 오디오 / 이미지 각각을 인식하는 것에 그치지 않고, 이들 상호간의 매칭을 통한 멀티미디어 정보의 연결을 수행합니다. 예를 들어 비디오 내에 등장했던 한 장면의 스크린샷 이미지에 기반하여 원본 비디오의 해당 부분을 검색하거나, 더 나아가 그 부분에서 재생되었던 음악을 다운로드 받는 일이 가능합니다.

멀티미디어 소비에서 특징적인 부분 중 하나는 실시간성입니다. 엔써즈는 임의의 실시간 방송 채널에서 핑거프린트를 추출하고 이를 인덱싱하여 사용자의 인식 요청을 바로 처리할 수 있으며, 다양한 파일 포맷과 스마트 디바이스로부터 핑거프린트를 추출하여 인식을 수행할 수 있습니다.

멀티미디어 검색과 통계 정보 추출 기술

사용자가 웹에서 소비하는 멀티미디어의 양은 계속 증가하고 있으나 그 정확한 추세와 통계 자료를 얻기는 쉽지 않습니다. 엔써즈는 다양한 온라인상의 멀티미디어 제공 경로에 대해 모니터링을 수행하고 시간에 따른 통계 자료를 축적함으로써 이로부터 수익을 창출할 수 있는 기회를 제공합니다. 또한 메타 정보가 명확하지 않은 동영상들에 대해 통계 처리에 기반하여 신뢰성 있는 메타 정보를 다양한 언어로 제공합니다.

현재 백여 개 이상의 온라인 동영상 사이트를 크라울링하고 메타데이터를 수집하고 있으며, 이들 동영상의 상호 겹침 관계에 기반하여 주요 클러스터를 판별하고 시간순으로 나열하여 메타 정보를 추출할 수 있습니다. 또한 추출된 메타 정보에 기반하여 관련 동영상을 추출하는 기술 역시 보유하고 있습니다.

유니버설 인터넷 비디오 수집기(크롤러) - DIS.CO

DIS.CO는 통합 온라인 비디오 수집기로 인터넷의 웹 전체에서 비디오를 찾아내고 수집을 합니다. 이 동영상 수집 로봇은 지능적 분석력을 기반으로 비디오의 포멧과 속성에 관계없이 주변의 메타데이터까지 효율적으로 수집해 오며 오늘도 엔써미의 검색 인덱스를 증가시키고 있습니다.

음성/영상 신호 처리 및 대용량 클러스터링 기술 - VideoFuse

VideoFUSE는 엔써즈에서 자체적으로 연구하여 개발되어진 음성/영상 신호 기반의 단시간 영상 분석 기술과 대용량 클러스터링 기술을 말합니다. 엔써즈의 신호 추출기술은 포멧, 코덱, 자막여무, 화질, 크기, 편집 여부와 관계없이 각 비디오의 고유 지문(fingerprint)을 추출해 낼 수 있습니다. 추출된 이 비디오 지문은 기존의 추출된 지문들과 비교 되어 중복 여부와 겹치는 부분에 대한 분석과 판단이 이루어 집니다. 엔써즈 고유의 알고리즘은 수천만개의 비디오에 대해서 이 과정을 매우 빠르고 효율적으로 처리하면서도 10초 이상의 중복이 있는 경우 99% 이상의 정확도를 유지 합니다.

비디오 검색 알고리즘 - ClusterRank

클러스터랭크는 수집되는 동영상과 함께 클러스터링 되어진 메터데이터 및 공유도(중복률) 등 VideFuse를 통해서만 추출될 수 있는 판단값을 기준으로 만들어진 새로운 동영상 검색 전용 알고리즘 입니다. 클러스터랭크는 지금도 고도화 되어가고 있으며 엔써미에서 제공하는 다양한 고급 정렬 기준을 통해 더 정확하게 원하는 비디오로 접근할 수 있습니다.

비디오 시간순 정렬 - TimeTrack

이 혁신적인 인터페이스는 사용자가 전체 원본 영상에서 원하는 부분을 선택할 수 있는 최적의 환경을 제공합니다.
클러스터링 되어진 중복되는 동영상 들은 길이와 편집 형태가 매우 다양합니다. 비디오 시간순 정렬 인터페이스는 사용자가 원하는 화질, 장면, 그리고 길이의 영상을 손쉽게 선택하여 볼 수 있게 합니다.

미래의 멀티미디어 기술

엔써즈의 연구와 기술 개발은 현재 진행형입니다. '상용화 가능한 대용량 데이터 기반 인공지능 기술' 을 모토로 하여 음성 인식, 문자 인식, 얼굴 인식, 상황 분석과 이벤트 인식 등 다양한 분야에 대해 완벽하게 상용화 가능한 솔루션을 제공할 수 있을 때까지 연구를 진행하고 있습니다.