• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제12권2호
• /
• pp.101-107
• /
• 2012

This study describes a proposed method of converting an input sound signal into a color image by emulating human synesthetic skills which make it possible to associate an sound source with a specific color image. As a first step of sound-to-image conversion, features such as fundamental frequency(F0) and energy are extracted from an input sound source. Then, a musical scale and an octave can be calculated from F0 signals, so that scale, energy and octave can be converted into three elements of HSI model such hue, saturation and intensity, respectively. Finally, a color image with the BMP file format is created as an output of the process of the HSI-to-RGB conversion. We built a basic system on the basis of the proposed method using a standard C-programming. The simulation results revealed that output color images with the BMP file format created from input sound sources have diverse hues corresponding to the change of the F0 signals, where the hue elements have different intensities depending on octaves with the minimum frequency of 20Hz. Furthermore, output images also have various levels of chroma(or saturation) which is directly converted from the energy.

• 한국게임학회 논문지
• /
• 제11권1호
• /
• pp.147-157
• /
• 2011

웹캠은 영상 데이터의 전송시간을 줄이기 위해 메모리 정렬은 고려하지 않는다. 메모리 정렬이 되지 않은 영상 데이터는 GPU에서 처리하기 부적합하며 고속의 영상처리를 위해서는 GPU에서 메모리 최적화가 가능한 색상 형식으로 변환되어야 한다. 본 논문은 웹캠 영상의 색상 형식 변환을 NVIDIA CUDA를 이용하여 가속하는 최적화 기법을 제안한다. 메모리 접근과 쓰레드 구성에 대한 최적화를 진행하였고, 제안하는 구조의 성능 측정과 최적화 정도를 분석하기 위해 GPU 메모리와 연산의 성능을 제한하여 실험하였다. 그 결과 최적화 방법에 따라 최대 68% 이상 성능이 향상됐다.

• 한국음향학회지
• /
• 제30권3호
• /
• pp.142-148
• /
• 2011

본 연구는 컬러이미지에서 특정 사운드를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 최종 목표로 하고 있으며, 이는 컬러이미지와 사운드의 상호변환에 기초하여 이루어질 수 있다. 최종 목표의 첫 번째 단계로서, 본 연구는 컬러 이미지에서 사운드로의 변환을 이용한 기본 시스템의 구축에 초점을 맞추었다. 본 연구에서는 빛과 소리사이의 물리적 주파수 정보로부터 그 유사성에 기초하여 컬러이미지에서 사운드로 변환하는 방법을 제시한다. 컬러이미지에서 사운드로 변환하는 방법은 RGB-to-HSI 컬러모델 변환을 통한 HSI 히스토그램을 사용하고 Microsoft Visual C++을 이용하여 코딩함으로써 구현되었다. 두 가지 컬러이미지를 사용하여 시뮬레이션 실험을 하였고, 그 결과, 각각의 입력 컬러이미지의 색상(Hue), 채도 (Saturation) 및 명도 (Intensity)를 사운드의 기본주파수 (F0: Fundamental Frequency), 하모닉 (Harmonics) 및 옥타브 (Octave)로 각각 변환한다. 제안된 시스템을 통하여 변환된 사운드 요소들을 Csound를 이용, 합성함으로써 웨이브(wav) 파일 포맷 음원을 최종 생성하였다.

• 감성과학
• /
• 제16권2호
• /
• pp.187-194
• /
• 2013

본 연구는 컬러영상에서 특정소리를 연상시킬 수 있는 공감각 인지현상에 기반하여 컬러이미지에서 음악요소로 변환하는 시스템의 구현을 최종 목표로 한다. 이는 빛과 소리의 물리적 주파수정보사이의 유사도를 기반으로 이루어진다. 입력 컬러영상은 우선 컬러모델변환이론에 기초하여 색상(Hue), 채도(Saturation) 및 명도(Intensity)영역으로 변환된다. 음계, 옥타브, 크기 및 시간길이 등의 음악적 성분들이 HSI 컬러모델의 각 영역으로부터 추출된다. 기본주파수(F0, Fundamental Frequency)는 색상 및 명도 히스토그램에서 추출되고, 크기 및 시간길이성분은 명도와 채도 히스토그램에서 추출된다. 실험에서, 제안된 시스템은 표준 C 및 VC++ 기반에서 실현되었고, 최종적으로 WAV 포맷의 사운드파일이 생성되었다. 시뮬레이션 결과를 통해서 입력 컬러영상에서 추출된 음악적 요소들이 출력 사운드신호에 반영됨을 알 수 있었다.

• 감성과학
• /
• 제15권2호
• /
• pp.231-238
• /
• 2012

본 연구는 하나의 감각으로 인해 다른 영역의 감각을 불러일으키는 공감각 현상을 기초로 하여 사운드에서 컬러이미지를 유추하여 생성하는 응용 시스템의 구현을 최종 목표로 한다. 이를 위해 사운드의 특징정보인 기본주파수(F0, Fundamental Frequency)에서 음계(Scale) 및 옥타브(Octave) 성분을 추출한 후, HSI 컬러모델인 색상(Hue), 명도(Intensity) 성분에 각각 매핑한다. 본 논문에서 채도(saturation)값은 고정된 값을 사용한다. 이를 다시 RGB 컬러모델로 변환한 후 최종 BMP 포맷으로 컬러 이미지를 출력한다. 본 연구에서 제시한 사운드-컬러이미지 변환 방법을 토대로 기본 변환 시스템을 구현해 본 결과, 기본주파수에서 추출된 음계 및 옥타브 성분의 변화에 따라 색상 및 명도가 상이한 다양한 컬러가 나오는 것을 확인할 수 있었다. 또한 하드웨어적 구현을 위해 TMS320C6713 DSP Board에 포팅하여 실험한 결과 제안된 시스템의 시뮬레이션 결과와 동일한 컬러 이미지가 출력됨을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권3호
• /
• pp.117-124
• /
• 2017

기존 책 문서인 PDF문서를 전자책에서 사용 가능하도록 전자책의 표준 형태로 변환하는 과정이 필요하다. PDF문서를 전자책의 표준 형태인 EPUB으로 변환할 때, 인쇄 색상 표현방법인 CMYK를 디지털 색상 RGB 형태로 변환하는 과정에서 형태의 차이로 인해 색감이 제대로 변환되지 못하는 문제점이 있다. 그리고 EPUB은 동영상, 자바스크립트 등을 이용해서 시각적인 효과를 줄 수 있으며, 사용자와의 상호작용이 가능하다. 본 연구는 PDF를 EPUB으로 변환 시 발생할 수 있는 문제점에 대해서 연구를 하였다. (1) 첫 번째는 색감을 잃지 않도록 ICC 프로파일을 이용한 변환 연구를 수행하였다. (2) 두 번째는 변환 과정에서 레이아웃 구성에 대한 연구를 수행하였다. (3) 세 번째는 전자책 독자들과 상호작용할 수 있는 시각적인 효과를 제공하기 위하여, 텍스트 중 특정 부분을 인식하여 시각적인 효과를 주는 연구를 수행하였으며 기존 책에서의 퀴즈를 추출하여 변환 시 자바스크립트를 이용한 퀴즈 플랫폼 프로토타입을 구현하였다. 또한 PDF문서를 EPUB에 기반 한 전자책 문서로 변환 후 사용자 평가를 통해 변환유효성 및 편의성을 검증하였다.

• 한국지능시스템학회논문지
• /
• 제20권2호
• /
• pp.251-256
• /
• 2010

본 논문은 컬러이미지에서 소리를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 위하여 색-음 상호변환에 기초한 응용 시스템의 구축을 목표로 하고 있다. 그 첫 번째 단계로서 컬러 이미지를 소리로 변환하는 방법론에 관한 기초 연구 및 이에 기반한 기본 시스템을 구현하고자 한다. 본 연구에서는 컬러 영상이 갖고 있는 색상과 소리의 파동, 즉 상호 주파수 특성에서의 유사성을 이용하여 가시영역에서 가청영역으로 변환하는 방법을 제시하고, 컬러모델 변환 및 변환된 모델에서의 히스토그램을 이용하여 컬러 영상을 소리의 청각적인 요소로 변환 가능하게 하는 색-음 변환 방법을 제시하고 있다. 또한 본 연구에서 제시된 색-음 변환 방법을 토대로 Microsoft Visual C++을 이용하여 코딩하고 실제 기본 응용 시스템을 구현해 보았다. 그 결과 색채와 소리의 상호 연관성 즉, 색채의 색상(Hue), 채도(Saturation)및 명도(Intensity)를 음의 높이(Fundamental Frequency), 하모닉(Harmonics) 및 옥타브(Octave)에 각각 대응시키고, 변환된 음향 요소를 Csound로 합성하여 웨이브 파일로 변환됨을 확인하였다.

• 한국가구학회지
• /
• 제20권5호
• /
• pp.467-479
• /
• 2009

The high-tech computer technology developments have greatly affected the area of design education. Starting from the mid 80s, innovations in visual presentation methods have heightened with 2D computer graphic programs, CAD & 3D modeling, and Rapid Prototype that allows dimensional generation. The specialty and quality in design studio education have advanced due to the development in presentation methods such as Power Point and Keynote. But there are many problems with the current method of presenting the visual outcome in a data format using beam projectors, which is a vertical presenting method compared to the old studio study method of conducting discussions and reviews based on the substantial outcome. The essence of studio study that allows for comparisons and analysis by horizontally opening up the various work outcomes is being offset. Also the requirement for manual idea sketching work that plays an important role in the initial design phase continuing to decrease due to the digital working process dependence and cumbersome procedures in the presentation. In order to resolve this problem, the CALM system (Class Applied LCD Modular System) has been developed that replaces the method of attaching the sketches or renderings on the wall with a digital multi-display system. In a nutshell, individuals will upload the outcomes online and display them on the CALM system studio that is composed of 32 LCD (Columns: 4 $\times$ Rows: 8) monitors that are 19 inches in size so that various personnel can openly study the design outcomes. Also the central 42 inch PDP monitor that offers touch pad capability allows each design outcome to be described and examined by expanding. The concept phase of this development process has elevated to the production of an operating prototype that is being reviewed of its practicality. It is considered that the development of this system will decrease the extreme tendency of depending on digital operation but achieve revitalization of a more realistic and opened studio study environment compared to the individual consulting method of the old study approach.