• 전자공학회논문지CI
• /
• 제47권1호
• /
• pp.73-79
• /
• 2010

감성 지능형 컴퓨팅은 컴퓨터가 학습과 적응을 통하여 인간의 감성을 처리할 수 있는 감성인지 능력을 갖는 것으로 보다 효율적인 인간과 컴퓨터의 상호 작용을 가능하게 한다. 감성 정보들 중 시각과 청각 정보인 음악 이미지는 짧은 시간에 형성되고 기억에 오랫동안 지속되기 때문에 성공적인 마케팅에 있어서 중요한 요인으로 꼽히고 있으며, 인간의 정서를 이해하고 해석하는데 있어서 매우 중요한 역할을 한다. 본 논문에서는 사용자의 감성키워드(짜증, 우울, 차분, 기쁨)를 고려하여 매칭된 음악과 이미지를 검색하는 시스템을 구축하였다. 제안된 시스템은 인간의 감성을 4단계 경우로 상황을 정의하며, 정규화 된 음악과 이미지를 검색하기 위해 음악 이미지 온톨로지와 감성 온톨로지를 사용하였으며, 이미지의 특징정보를 추출, 유사성을 측정하여 원하는 결과를 얻게 하도록 하였다. 또한, 이미지 감성인식정보를 분류하기위해 대응일치분석과 요인분석을 통한 성컬러와 감성어휘를 하나의 공간에 매칭하였다. 실험결과 제안된 시스템은 4가지 감성상태에 대해 82.4%의 매칭율를 가져올 수 있었다.

• 인터넷정보학회논문지
• /
• 제20권6호
• /
• pp.1-10
• /
• 2019

객체기반 이미지 매칭 알고리즘 기술은 이미지 프로세싱 및 컴퓨터 비전 분야에서 광범위하게 사용되어 왔다. 이러한 이미지 매칭 알고리즘 기반의 수 많은 응용 프로그램은 객체인식, 3D 모델링, 비디오 추적 및 바이오 정보학 분야에서 개발되어 왔다. 이미지 매칭 알고리즘의 좋은 예는 Scale invariant Feature Transform(SIFT) 이다. 하지만 SIFT 알고리즘 기술을 이용한 많은 응용 프로그램은 클라이언트-서버 구조가 아닌 하나의 시스템으로 운영되어 왔다. 본 논문은 모바일 플랫폼 기반에서 SIFT 알고리즘 기술을 이용하여 클라이언트-서버 구조로 이미지 매칭 시스템을 구현하였다. 제안된 시스템은 바이오 이미지 객체를 매칭하고 식별하여 사용자에게 유용한 정보를 제공한다. 또한 본 논문의 주요 방법론적 기여는 모바일 장치에 유비쿼터스 인터넷 연결을 활용하여 편리한 사용자 인터페이스와 객체간의 상호작용적인 묘사, 분할, 표현, 매칭 및 바이오 이미지를 검색한다. 본 논문은 이러한 기술과 함께 바이오 정보학에 대한 의미론적 이미지 검색을 수행하며 응용 프로그램에서 객체 이미지의 다른 점을 추출하여 신뢰할 수 있는 이미지 매칭을 수행하는 예를 제시해주었다.

• 대한전자공학회논문지SP
• /
• 제41권6호
• /
• pp.271-278
• /
• 2004

본 논문에서는 디지털 신호처리를 이용하여 Classic, Hiphop, Jazz, Rock, Speech 등 5개의 오디오 장르를 자동적으로 분류하는 내용기반 오디오 장르 분류기를 제안하였다. 20초 분량의 질의 오디오로부터 23ms 크기의 Hamming window를 이동시켜 가며 Spectral Centroid, Rolloff, Flux 등 STFT 기반의 특징 계수들과 MFCC, LPC 등의 계수들을 구하여 총 54차에 해당하는 특징 벡터 열을 추출하였으며 분류 알고리즘으로는 k-NN, Gaussian, GMM 분류기를 사용하였다. 최적의 특징 벡터를 선별하는 알고리즘으로 총 54차의 특징벡터 중 가장 성능이 좋은 특징 계수들을 찾아 순차적으로 재배치하는 SFS(Sequential Forward Selection)방법을 사용하였고, 이를 이용하여 최적화 된 10차의 특징 벡터만을 선정해서 오디오 장르 분류에 사용하였다. SFS를 적용한 실험 결과 약 90% 가까운 분류 성공률을 보이고 있어 기존 연구에 비하여 약 10%∼20% 정도의 성능 향상을 꾀 할 수 있었다. 한편 실제 사용자들이 오디오 자동 장르 분류 시스템을 사용할 때 일어날 수 있는 상황을 가정하여 임의 구간에서 질의 데이터를 추출하여 실험을 수행하였으며 실험 결과 오디오 파일의 맨 앞과 맨 뒤 등 worst-case 질의를 제외하고는 약 80%대의 분류 성공률을 얻을 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제11권5호
• /
• pp.125-137
• /
• 2011

최근 휴대폰 카메라로 촬영한 영상을 입력으로 사용하는 시스템에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 와인라벨의 문자를 인식한 후, 데이터베이스내의 와인이미지들 중에서 입력 와인라벨 이미지와 유사한 순서대로 사용자에게 보여주는 시스템을 제안한다. 이미지의 유사도 계산을 위해 본 논문에서는 이미지의 각 영역별 대표색상, 텍스트 영역의 텍스트 색상과 배경색상, 그리고 특징점의 분포를 특징으로 사용한다. 이미지의 색상차를 계산하기 위해 RGB색상을 CIE-Lab색상으로 변환하여 사용하고, 특징점은 해리스코너 검출 알고리즘을 사용하여 추출한다. 각 셀의 대표 색상차와 텍스트 색상차 및 배경 색상차는 가중치를 적용하여 색상차 유사도를 계산하고 색상차 유사도와 특징점 분포 유사도를 정규화하여 최종 이미지 유사도를 구한다. 본 논문에서는 입력 이미지와 데이터베이스내의 이미지 간의 유사도를 계산하여 유사도 순으로 사용자에게 검색 결과를 보여줌으로써 검색 결과로부터 다시 최대 유사 와인라벨을 수동으로 찾는 노력을 줄일 수 있다.

• 정보처리학회논문지B
• /
• 제12B권3호
• /
• pp.357-364
• /
• 2005

본 논문에서는 두 단계 이미지 매칭을 이용하여 한글 문서영상에서 사용자 검색어를 빠르고 정확하게 검색할 수 있는 시스템을 제안한다. 본 시스템은 문자 분리, 검색어 영상 생성, 특징 추출 그리고 이미지 매칭 과정으로 구성된다. 매칭 과정에서 차원이 다른 두 가지 특징 벡터를 이용한다. 8쪽 분량의 문서 영상을 한국정보과학회 웹사이트에서 다운로드하였고, 그 문서로부터 1600개의 한글단어 영상을 획득하여 실험데이터로 사용하였다 그 결과 제안한 시스템은 기존에 제안된 영상-기반 한글 단어 검색 시스템보다 성능이 크게 향상되었음을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.72-75
• /
• 2020

조립 부품 이미지에 해당하는 3D CAD 모델 매칭 기술은 최근 로봇 조립 기술의 발전으로 필요성이 대두되고 있다. 이미지 기반 3 차원 모델 매칭 연구는 진행되어 왔지만 가구 부품 이미지와는 특성이 다른 RGB[5] 이미지나 스케치 이미지를 다루는[1] 접근들이었다. 딥러닝을 사용하는 스케치 이미지 기반 3 차원 물제 검색 연구에서는 대부분 3 차원 이미지를 다각도에서 렌더링한 view 이미지들에서 feature를 추출하고 pooling 하여 하나의 feature를 출력한다. 그러나 기존의 view pooling 방식은 단순한 평균 방식으로, 부품 이미지에 따른 view를 반영하기에는 한계가 있었다. 따라서 본 논문에서는 조립 부품 이미지 기반 3 차원 물체 검색을 위해 query 부품 이미지에 따라 다른 view 이미지에 집중할 수 있는 방식의 attentional view pooling을 제안한다. 또한 조립 부품 데이터의 특성 상 class 당 CAD 모델이 하나인 상황이므로 학습 데이터가 터무니없이 부족하여 이를 해결하기 위한 학습 데이터 증강 방법을 제안한다. 실험은 의자 부품 11가지에 대해 진행하였고 이를 통해 제안하는 방식의 성능을 입증하였다.

• 전자공학회논문지CI
• /
• 제47권1호
• /
• pp.1-14
• /
• 2010

3D 콘텐츠 산업 분야의 급격한 성장과 더불어, 3D 콘텐츠 인증 및 신뢰, 검색을 위한 콘텐츠 해싱 기술이 요구되어지고 있다. 그러나 영상 및 동영상과 같은 2D 콘텐츠 해싱에 비하여 3D 콘텐츠 해싱에 대한 연구가 아직까지 미비하다. 본 논문에서는 키 기반의 3D 표면 계수 분포를 이용한 강인한 3D 메쉬 모델 해싱 기법을 제안한다. 제안한 기법에서는 기본적인 Euclid 기하학 변환에 강인한 3D SSD와 표면 곡률의 평면계 기반의 블록 표면 계수를 특징 벡터로 사용하며, 이를 치환 키 및 랜덤 변수 키에 의하여 최종 이진 해쉬를 생성한다. 실험 결과로부터 제안한 해싱 기법은 다양한 기하학 및 위상학 공격에 강인하며, 모델 및 키별로 해쉬의 유일성을 확인하였다.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.102-112
• /
• 2000

기존의 비디오 구조화 기법은 주로 샷 또는 샷 그룹 레벨에서 이루어져 왔다. 그러나 이러한 샷 레벨 구조는 사용자에게 의미(semantics)를 충분히 전달할 수 없는 단점이 있다. 이런 단점을 극복하기 위해, 최근 샷 보다 상위 레벨 구조인 비디오 씬 분할에 관한 연구가 진행되고 있다. 본 논문에서는 이러한 샷 레벨 구조의 단점을 극복하기 위해서 칼라와 모션 특징을 기반으로 한 비디오 씬 분할 기법을 제안한다. 샷 내의 다양한 칼라 분포를 반영하기 위해서 각 샷을 sub-shot으로 재분할하고, 이를 이용해 대표 프레임을 추출한다. 샷 내의 모션 특징은 MPEG-1 비디오 내의 모션 벡터를 이용한다. 유사한 컨텐트를 가지고 있는 샷을 찾기 위해서 탐색 구간내의 모션 특성을 반영한 적응적 가중치를 칼라와 모션 특징에 적용한다. 실험 결과 비교를 통해 씬의 과다 분할이나 의미 반영 면에서 기존의 씬 분할 기법보다 우수함을 보였다. 제안된 기법은 비디오를 의미 있는 계층 구조로 분할해서, 사용자에게 의미를 반영하는 씬 단위로의 브라우징이나 검색을 가능케 한다.

• 정보처리학회논문지D
• /
• 제15D권4호
• /
• pp.463-474
• /
• 2008

정보 기술과 인터넷의 발전은 멀티미디어 컨텐츠의 양에 있어서 폭발적인 성장을 가져 왔으며 이러한 멀티미디어 컨텐츠 양의 증가는 이용자의 요구에 맞는 멀티미디어 컨텐츠 추천에 대한 필요성을 더 증가 시켰다. 현재까지 일반상품과 멀티미디어 컨텐츠 추천을 위한 기법에는 협업필터링 (CF: Collaborative Filtering)이 있다. 하지만 기존의 CF 기법은 이미지가 갖고 있는 시각적 특징을 제대로 표현하지 못하고 있으며, 입력 데이터의 희박성 (Sparsity) 문제와 신상품 추천 문제 그리고 선호도의 동적인 변화 문제를 포함하고 있기 때문에 이미지 컨텐츠 추천에는 적합하지 않다. 이와 같은 기존의 CF기법의 단점을 해결하기 위해서 본 논문에서는 새로운 이미지 추천 방법으로 FBCF (Feature Based Collaborative Filtering) 기법을 제안한다. FBCF 기법은 시각적 특징을 선호도에 따라 군집화한 새로운 사용자 프로파일 구성방법을 제시하며, 선호도 피드백을 통하여 구매자의 현재 성향을 추천에 반영할 수 있다. 실제 모바일 이미지 데이터를 사용한 실험에서 FBCF 기법이 기존의 CF 기법보다 400% 향상된 성능을 보임을 확인할 수 있다.

• 정보처리학회논문지D
• /
• 제13D권7호
• /
• pp.857-866
• /
• 2006

질의 이미지의 시각적 특징이 사용자의 상위 수준 개념을 잘 표현하지 못하기 때문에 이미지 검색 시스템의 성능은 보통 매우 낮다. 의미적으로 유사한 이미지들이 매우 다른 시각적 특징을 보일 수도 있으며 따라서 여러 개의 군집에 분산될 수 있다. 본 논문에서는 영역기반 이미지 검색과 군집-합병을 이용한 새로운 적합성 피드백 방법을 결합한 내용기반 이미지 검색 방법을 제안한다. 주요 목표는 의미적 차이를 줄이기 위해 의미적으로 관련된 군집들을 찾는 것이다. 제안된 방법은 영역기반 군집 과정과 군집-합병 과정으로 이루어진다. 적합한 이미지들의 모든 분할된 영역들을 의미적으로 관련된 계층적인 군집으로 구성한다. 잠재된 군집의 개수를 결정하고 근접한 군집들을 합병한 후 최종 군집의 대표점들로 다중 질의를 표현한다. 군집-합병 과정에서 군집의 개수를 찾고 고차원에서 특이점 문제를 해결하기 위하여 호텔링의 $T^2$ 대신에 v개의 주성분을 이용하는 $T_v^2$를 적용하였으며 $T^2$의 성능과 $T_v^2$의 성능의 차이가 없음을 보인다. 실험 결과는 제안된 방법이 내용기반 이미지 검색 시스템의 성능을 개선하는 데 효율적임을 보여준다.