• 한국콘텐츠학회논문지
• /
• 제16권8호
• /
• pp.427-434
• /
• 2016

본 논문은 인간이 인지할 수 있는 감각들 중 인체의 회전, 방향 변화 및 움직임의 정도를 알 수 있는 근감각에서 시각 및 청각 요소로의 변환 알고리즘을 이용하여 ARM Cortex-M4에 기반한 실시간 임베디드시스템으로 구현한 방법에 초점을 맞추었다. 근감각의 입력 방식으로는 자세측정장치(AHRS : Attitude Heading Reference System)를 이용해 롤(Roll), 피치(Pitch) 및 요(Yaw) 값을 실시간 획득하고, 이들 각각의 색을 표현하는 HSI 컬러 모델의 명도(Intensity), 색상(Hue) 및 채도(Saturation)에 대응하여 변환하였다. 최종 컬러신호는 HSI 에서 RGB 컬러모델로 변환하여 획득하였다. 또한, 근감각의 세 가지 입력 값들을 음을 표현하는 요소인 옥타브(Octave), 음계(Scale) 및 음의 세기(Velocity)에 대응하여 변환한 값을 MIDI(Musical Instrument Digital Interface)를 이용해 사운드를 합성하여 출력하였다. 출력 컬러신호 및 사운드를 분석한 결과, 근감각 입력 신호가 제안한 변환 방식에 따라 실시간으로 정확하게 색과 음으로 변환, 출력됨을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제15권12호
• /
• pp.8-17
• /
• 2015

본 논문은 공감각의 한 부분인 색청(colored-hearing) 공감각을 이용한 사운드-컬러 신호 변환에 관한 연구로서, 인간이 인지 할 수 있는 오감 중 공감각적 변환이 가장 많이 일어나는 청각과 시각을 이용한 실시간 변환 시스템의 구축을 목표로 한다. 본 논문에서 제안하는 음-색 실시간 변환 방법으로서, 입력으로 사용하는 MIDI(Musical Instrument Digital Interface) 신호에서 음계(scale), 옥타브(octave) 및 음의 세기(velocity)를 추출한 후 HSI 컬러모델의 기본 요소인 색상(hue), 명도(intensity) 및 채도(saturation)에 각각 대응하여 변환하는 방법으로 단순하지만 직관적인 방법을 사용한다. 변환된 HSI 컬러 모델은 모니터 출력을 위해 RGB 컬러 모델로 최종 변환하여 출력한다. 실험에서, MIDI 입력신호 전송 H/W 시스템과 VC++ 기반 해당 사운드-컬러 변환 입 출력 S/W 모니터링 시스템을 구축하여 사운드에서 컬러로의 출력이 제안한 방식에 따라 값이 출력됨을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제20권2호
• /
• pp.251-256
• /
• 2010

본 논문은 컬러이미지에서 소리를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 위하여 색-음 상호변환에 기초한 응용 시스템의 구축을 목표로 하고 있다. 그 첫 번째 단계로서 컬러 이미지를 소리로 변환하는 방법론에 관한 기초 연구 및 이에 기반한 기본 시스템을 구현하고자 한다. 본 연구에서는 컬러 영상이 갖고 있는 색상과 소리의 파동, 즉 상호 주파수 특성에서의 유사성을 이용하여 가시영역에서 가청영역으로 변환하는 방법을 제시하고, 컬러모델 변환 및 변환된 모델에서의 히스토그램을 이용하여 컬러 영상을 소리의 청각적인 요소로 변환 가능하게 하는 색-음 변환 방법을 제시하고 있다. 또한 본 연구에서 제시된 색-음 변환 방법을 토대로 Microsoft Visual C++을 이용하여 코딩하고 실제 기본 응용 시스템을 구현해 보았다. 그 결과 색채와 소리의 상호 연관성 즉, 색채의 색상(Hue), 채도(Saturation)및 명도(Intensity)를 음의 높이(Fundamental Frequency), 하모닉(Harmonics) 및 옥타브(Octave)에 각각 대응시키고, 변환된 음향 요소를 Csound로 합성하여 웨이브 파일로 변환됨을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제24권5호
• /
• pp.462-469
• /
• 2014

본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및 청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와 청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.3-6
• /
• 2005

본 논문에서는 Deway order기법을 이용하여 관계형 데이터베이스 환경에서 효율적으로 XML 문서를 저장, 검색, 결과값을 반환하기 위한 XQuery 질의 처리기를 설계하고 구현한다. 우선 첫 번째로 dewey order기법을 이용하여 XML문서를 저장하기 위한 색인 모델을 관계형 데이터 베이스에 설계하고 XML문서를 저장한다. 두 번째로 이를 기반으로 XML 전문검색 언어인 XPath식을 SQL로 변환하는 전체적인 알고리즘을 제시한다. 세 번째로 위에서 변환된 SQL문의 질의 결과값을 처 음에 저장될 당시의 XML문서의 형태와 Text를 그대로 유지하면서 사용자에게 반환하는 알고리즘을 제시한다. 이 부분은 기존의 발표된 논문에서는 좀처럼 보기 드문 내용으로 XQuery에 포함되는 다양 한 형태의 Xpath식을 SQL문으로 변환할 수 있는 정확한 방법 뿐만 아니라 각각 한번의 질의로 얻고 하는 엘리먼트들과 어트리뷰트들을 찾아 XML문서 그대로 출력하는 방법에 초점을 두어 본 논문을 기 술한다. 마지막으로 이를 실제로 구현하고 Test한 결과를 바탕으로 Dewey order기법을 이용하여 XML 색인 모델을 설계 할 경우 SQL문으로 변환하여 질의를 처리하는 측면에서나 질의한 결과값을 XML문서 형태로 반환하는 측면에서나 이 기법을 사용하지 않는 Local order방식보다 성능이 훨씬 우수하다라는 결론을 제시한다.

• 한국멀티미디어학회논문지
• /
• 제19권3호
• /
• pp.642-649
• /
• 2016

This paper presents a method for conversion of muscular sense into both visual and auditory senses based on synesthetic perception. Muscular sense can be defined by rotation angles, direction changes and motion degrees of human body. Synesthetic interconversion can be made by learning, so that it can be possible to create intentional synesthetic phenomena. In this paper, the muscular sense was converted into both color and sound signals which comprise the great majority of synesthetic phenomena. The measurement of muscular sense was performed by using the AHRS(attitude heading reference system). Roll, yaw and pitch signals of the AHRS were converted into three basic elements of color as well as sound, respectively. The proposed method was finally applied to a wearable device, Samsung gear S, successfully.

• 정보관리학회지
• /
• 제30권3호
• /
• pp.23-48
• /
• 2013

본 연구는 웹에서 접근 가능한 내용기반 음악검색(CBMR) 시스템들을 조사하여, 탐색질의의 종류, 접근점, 입출력, 탐색기능, 데이터베이스 성격과 크기 등의 관점에서 특성을 비교 분석하고자 하였다. 비교 분석에 사용된 특성을 추출하기 위해 내용기반 음악정보의 특성과 시스템 구축에 필요한 파일의 변환, 멜로디 추출 및 분할, 색인자질 추출과 색인, 매칭에 사용되는 기술들을 선행연구로 리뷰하였다. 15개의 시스템을 분석한 결과 다음과 같은 특성과 문제점이 분석되었다. 첫째, 도치색인, N-gram 색인, 불리언 탐색, 용어절단검색, 키워드 및 어구 탐색, 음길이 정규화, 필터링, 브라우징, 편집거리, 정렬과 같은 텍스트 정보 검색 기법이 CBMR에서도 검색성능을 향상시키는 도구로 사용되고 있었다. 둘째, 시스템들은 웹에서 크롤링하거나 탐색질의를 DB에 추가하는 등으로 DB의 성장과 실용성을 위한 노력을 하고 있었다. 셋째, 개선되어야 할 문제점으로 선율이나 주선율을 추출하는데 부정확성, 색인자질을 추출할 때 사용되는 불용음(stop notes)을 탐색질의에서도 자동 제거할 필요성, 옥타브를 무시한 solfege 검색의 문제점 등이 분석되었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.268-273
• /
• 2008

본 연구에서는 사용자 의도를 의도 범위(intention range)에 따라 정의하고, 이를 다양하게 변화시켜 반영한 인터렉티브 사운드 인스톨레이션을 제안한다. 사용자 의도는 요소(element), 부분(part), 전체(entire) 등의 다양한 계층 범위로 분류하여 정의되었다. 또한, 분류된 각 범위는 서로 소속/포함 관계로 정의되었다. 요소 의도를 반영하기 위해 우리는 사용자의 반응에 따라 색과 음이 인터렉티브하게 표시되는 Color note 라는 인터페이스를 제작하였다. 부분 의도를 반영하기 위해 요소 의도를 화성학 규칙으로 보정하기 위한 화성 정리 방법(HD)을 제안한다. 마지막으로 전체 의도는 요소 의도의 거시적 방향성으로써 추정된다. 추정 기법으로서 칼루엔-뢰브 변환(K-L Transform) 등과 같은 통계적 기법을 적용하였다. 제안한 인터페이스인 Color note와 다양한 기법들의 유효성을 확인하기 위해, 전시설치가 되었고, 다양한 사용자에게 평가 설문을 시행하였다. 또한, 전체 의도를 표현하기 위해 사용된 다양한 통계적 기법의 만족도를 조사하였다.