• 한국지능시스템학회논문지
• /
• 제20권2호
• /
• pp.251-256
• /
• 2010

본 논문은 컬러이미지에서 소리를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 위하여 색-음 상호변환에 기초한 응용 시스템의 구축을 목표로 하고 있다. 그 첫 번째 단계로서 컬러 이미지를 소리로 변환하는 방법론에 관한 기초 연구 및 이에 기반한 기본 시스템을 구현하고자 한다. 본 연구에서는 컬러 영상이 갖고 있는 색상과 소리의 파동, 즉 상호 주파수 특성에서의 유사성을 이용하여 가시영역에서 가청영역으로 변환하는 방법을 제시하고, 컬러모델 변환 및 변환된 모델에서의 히스토그램을 이용하여 컬러 영상을 소리의 청각적인 요소로 변환 가능하게 하는 색-음 변환 방법을 제시하고 있다. 또한 본 연구에서 제시된 색-음 변환 방법을 토대로 Microsoft Visual C++을 이용하여 코딩하고 실제 기본 응용 시스템을 구현해 보았다. 그 결과 색채와 소리의 상호 연관성 즉, 색채의 색상(Hue), 채도(Saturation)및 명도(Intensity)를 음의 높이(Fundamental Frequency), 하모닉(Harmonics) 및 옥타브(Octave)에 각각 대응시키고, 변환된 음향 요소를 Csound로 합성하여 웨이브 파일로 변환됨을 확인하였다.

• 스마트미디어저널
• /
• 제11권1호
• /
• pp.31-37
• /
• 2022

본 논문은 일상생활에서 흔히 들을 수 있는 소리(비명소리, 박수 소리, 여러 명의 박수 소리, 자동차 지나가는 소리, 배경음 등)를 감지하는 음향 인식을 위하여, 신호처리 및 딥러닝을 적용하는 연구에 관한 것이다. 제안된 음향 인식에서는, 인식 정확도의 향상을 위해서 음향 파형의 스펙트럼, 음향 데이터의 증강, 2차원(2-D) 이미지 변환에 관한 기술들이 사용되었고, 예측의 정확도를 향상을 위한 앙상블 학습, Convolution Neural Network(CNN) 딥러닝 기술들이 적용된다. 제안된 음향 인식 기술은 실험을 통해 다양한 음향을 정확하게 인식할 수 있음을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.720-723
• /
• 2017

돼지 호흡기 질병은 돈사에 막대한 경제적 손실을 초래하는 질병들 중 하나이다. 본 논문에서는 저비용으로도 구축이 가능한 소리 센서 기반의 돼지 호흡기 질병 탐지 시스템을 제안하며, 특히 잡음 환경에서도 강인한 시스템의 구성에 초점을 두었다. 제안하는 시스템은 먼저, 돈사 내의 소리 센서로부터 취득한 돼지 소리를 2차원 회색조 이미지로 변환한다. 이후, 잡음에 강인한 성능을 보이는 Dominant Neighborhood Structure(DNS) 알고리즘을 이용하여 질감정보를 추출한다. 마지막으로, 이미지 분류에서 그 성능이 이미 입증된 딥러닝의 대표적 모델인 Convolutional Neural Network(CNN)에 사용하여 돼지 호흡기 질병을 탐지 및 분류한다. 실제 국내 돈사에서 취득한 돼지 소리를 이용하여 제안하는 시스템의 성능을 실험적으로 검증한 바 96%가 넘는 안정적인 시스템임을 확인하였다.

• 한국음향학회지
• /
• 제30권3호
• /
• pp.142-148
• /
• 2011

본 연구는 컬러이미지에서 특정 사운드를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 최종 목표로 하고 있으며, 이는 컬러이미지와 사운드의 상호변환에 기초하여 이루어질 수 있다. 최종 목표의 첫 번째 단계로서, 본 연구는 컬러 이미지에서 사운드로의 변환을 이용한 기본 시스템의 구축에 초점을 맞추었다. 본 연구에서는 빛과 소리사이의 물리적 주파수 정보로부터 그 유사성에 기초하여 컬러이미지에서 사운드로 변환하는 방법을 제시한다. 컬러이미지에서 사운드로 변환하는 방법은 RGB-to-HSI 컬러모델 변환을 통한 HSI 히스토그램을 사용하고 Microsoft Visual C++을 이용하여 코딩함으로써 구현되었다. 두 가지 컬러이미지를 사용하여 시뮬레이션 실험을 하였고, 그 결과, 각각의 입력 컬러이미지의 색상(Hue), 채도 (Saturation) 및 명도 (Intensity)를 사운드의 기본주파수 (F0: Fundamental Frequency), 하모닉 (Harmonics) 및 옥타브 (Octave)로 각각 변환한다. 제안된 시스템을 통하여 변환된 사운드 요소들을 Csound를 이용, 합성함으로써 웨이브(wav) 파일 포맷 음원을 최종 생성하였다.

• 융합신호처리학회논문지
• /
• 제21권3호
• /
• pp.121-126
• /
• 2020

소리 기반 기계 고장 진단은 기계의 음향 방출 신호에서 비정상적인 소리를 자동으로 감지하는 것이다. 수학적 모델을 사용하는 기존의 방법은 기계 시스템의 복잡성과 잡음과 같은 비선형 요인이 존재하기 때문에 기계 고장 진단이 어려웠다. 따라서 기계 고장 진단의 문제를 딥러닝 기반 이미지 분류 문제로 해결하고자 한다. 본 논문에서 스펙트로그램 이미지를 이용한 CNN 기반 자동화 기계 고장 진단 기법을 제안한다. 제안한 방법은 기계의 결함 시 발생하는 주파수상의 특징 벡터를 효과적으로 추출하기 위해 STFT를 사용하였으며, STFT에 의해 검출된 특징 벡터들은 스펙트로그램 이미지로 변환하여 CNN을 이용해 기계의 상태별로 분류한다. 그 결과는 제안한 방법은 효과적으로 결함을 탐지할 뿐만 아니라 소리 기반의 다양한 자동 진단 시스템에도 효과적으로 활용될 수 있다.

• 감성과학
• /
• 제16권2호
• /
• pp.187-194
• /
• 2013

본 연구는 컬러영상에서 특정소리를 연상시킬 수 있는 공감각 인지현상에 기반하여 컬러이미지에서 음악요소로 변환하는 시스템의 구현을 최종 목표로 한다. 이는 빛과 소리의 물리적 주파수정보사이의 유사도를 기반으로 이루어진다. 입력 컬러영상은 우선 컬러모델변환이론에 기초하여 색상(Hue), 채도(Saturation) 및 명도(Intensity)영역으로 변환된다. 음계, 옥타브, 크기 및 시간길이 등의 음악적 성분들이 HSI 컬러모델의 각 영역으로부터 추출된다. 기본주파수(F0, Fundamental Frequency)는 색상 및 명도 히스토그램에서 추출되고, 크기 및 시간길이성분은 명도와 채도 히스토그램에서 추출된다. 실험에서, 제안된 시스템은 표준 C 및 VC++ 기반에서 실현되었고, 최종적으로 WAV 포맷의 사운드파일이 생성되었다. 시뮬레이션 결과를 통해서 입력 컬러영상에서 추출된 음악적 요소들이 출력 사운드신호에 반영됨을 알 수 있었다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2005년도 추계 종합학술대회 논문집
• /
• pp.559-563
• /
• 2005

본 연구는 이미지와 영상의 내용을 인간의 시각과 촉각에 전달하는 방법에 관한 것으로서, 더욱 상세하게는 색상의 파장과 진폭을 소리와 진동으로 변환하기 위한 원리와 방법을 찾고 이것을 통해 얻어진 에너지를 다시 인간의 감각기관에 전달하는 방법을 제시하고자 한다.

• 만화애니메이션 연구
• /
• 통권35호
• /
• pp.329-346
• /
• 2014

미술은 한 사회의 정치, 경제, 사회, 문화가 만들어낸 시대적 산물이다. 최근의 디지털 매체의 발전은 예술에서 표현을 확장하는데 기여하였다. 디지털 매체는 이미지뿐만 아니라 소리나 물리적 지각 반응을 예술 창작의 한 요소로써 활용하는 것을 가능하게 한다. 또한 디지털 매체는 이미지, 소리, 빛, 그리고 다양한 조형 요소들 간의 재 융합이나 관객의 물리적 반응의 결합을 통해서 작품과 관객과 상호소통적인 공감각적이고 시지각적인 환경을 창출하도록 돕는다. 본 연구에서는 최근에 소리에 반응하는 다양한 미디어아트 작품들이 제작되고 있는데, 주로 관객이나 외부의 자극으로부터 발생되는 소리의 물리적 데이터를 시각화하는 작업에 초점을 두고 시지각적 관점에서 소리의 반응에 따른 데이터의 시각화와 작품의 이미지와 관객의 반응 관계 등을 분석하였다. 외부의 소리로부터 생성되는 물리적 데이터는 여러 가지 관점에서 분석될 수 있다. 예를 들면, 음성이나 외부 소리의 고저(pitch), 음량, 또는 주파수 분석을 통해서 데이터 분류가 가능하다. 본 연구자는 관객의 음성이나 외부의 물리적 자극을 통해서 발생되는 소리의 주파수를 분석하여 이에 상응하여 발광하는 LED기반 시각화 연구를 통해서 최근 새로운 미디어아트의 가능성을 모색하고, 실시간으로 생성될 수 있는 물리적 데이터들을 빛(LED)의 환영적 특성으로 변환함으로써 우연하게 관객에 반응하여 생성되는 다양한 시각이미지의 연출 가능성을 탐구하였다. 결과적으로 연구자는 사운드에 반응하는 시지각적인 인터랙티브 작품을 구현해보기 위하여 피에트 몬드리안(Piet Mondrian, 1872~1944)의 브로드웨이 부기우기(Broadway Boogie Woogie, 1942~3)작품을 모티브로 삼았다. 몬드리앙은 회화의 본질적인 표현 요소들을 단순화하는 작업으로 불필요하다고 생각된 요소들을 하나씩 제거하여 색, 수직선, 수평선으로 대상을 추상화시킴으로써 그 대상의 본질에 다가가고자 하였다. 연구자는 몬드리앙의 이러한 단순화된 구성을 외부의 소리 자극을 단순화하여 빛(LED)의 요소로 재현하는 시각적 표현의 메타포로 사용하였고, 몬드리앙의 정적 구성에서 빛과 소리의 공감각적인 표현을 극대화하는 동적 구성으로의 관객의 참여를 유도하는 환경을 구현해 보았다.

• 지능정보연구
• /
• 제29권3호
• /
• pp.57-78
• /
• 2023

2019년 11월 중국 우한시에서 발병한 코로나19는 2020년 중국을 넘어 세계로 퍼져나가 2020년 3월에는 전 세계적으로 확산되었다. 코로나19와 같이 전염성이 강한 바이러스는 예방과 확진시 적극적인 치료도 중요하지만 우선 전파 속도가 빠른 바이러스인 점을 감안할 때, 확진 사실을 재빠르게 파악하여 전파를 차단하는 것이 더욱 중요하다. 그러나 감염여부를 확인하기 위한 PCR검사는 비용과 시간이 많이 소요되고, 자가키트검사 또한 접근성은 쉽지만 매번 수시로 받기에는 키트의 가격이 부담이 될 수밖에 없는 실정이다. 이러한 상황에서 기침 소리를 기반으로 코로나19 양성 여부를 판단할 수 있게 된다면 누구나 쉽게 언제, 어디서든 확진 여부를 체크할 수 있어 신속성과 경제성 측면에서 큰 장점을 가질 수 있을 것이다. 따라서 본 연구는 기침 소리를 기반으로 코로나19 확진 여부를 식별할 수 있는 분류 모델을 개발하는 것을 목적으로 하였다. 이를 위해, 본 연구에서는 먼저 MFCC, Mel-Spectrogram, Spectral contrast, Spectrogram 등을 통해 기침 소리를 벡터화 하였다. 이 때, 기침 소리의 품질을 위해 SNR을 통해 잡음이 많은 데이터는 삭제하였고, chunk를 통해 음성 파일에서 기침 소리만 추출하였다. 이후, 추출된 기침 소리의 feature를 이용하여 코로나 양성과 음성을 분류하기 위한 모델을 구축하였으며, XGBoost, LightGBM, FCNN 알고리즘을 통해 모델 학습을 수행하고 각 알고리즘별 성능을 비교하였다. 또한, 기침 소리를 다차원 벡터로 변환한 경우와, 이미지로 변환한 경우에 대해 모델 성능에 대한 비교 실험을 수행하였다. 실험 결과, 건강상태에 대한 기본정보와 기침 소리를 MFCC, Mel-Spectogram, Spectral contrast, 그리고 Spectrogram을 통해 다차원 벡터로 변환한 feature를 모두 활용한 LightGBM 모델이 0.74의 가장 높은 정확도를 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권3호
• /
• pp.91-98
• /
• 2018

집단으로 사육되는 돼지 농장에서 돼지 소모성 질환의 자동 탐지는 매우 중요한 문제이다. 특히, 밀집된 돈사에서 사육되는 돼지들의 호흡기 질환은 축산 농가의 막대한 경제적 손실을 야기하는 대표적 질병들 중 하나이다. 본 논문에서는 소리 신호 해석에 기반하여 돼지의 호흡기 질환을 조기 탐지 및 식별하는 잡음에도 강인한 시스템을 제안한다. 제안하는 시스템은, 먼저 1차원의 소리 신호를 2차원의 회색조 영상으로 변환한 후, DNS기법으로 질감 특징 정보를 갖는 이미지를 생성한다. 마지막으로, 이를 CNN에 입력함으로써 잡음에도 강인한 돼지 호흡기 질병 탐지 및 식별 시스템을 구현하고자 한다. 실제 국내 돈사에서 취득한 돼지의 발성음을 이용하여 제안하는 시스템의 성능을 실험적으로 검증한바, 제안된 시스템은 경제적인 비용(저가의 소리 센서)과 시스템 정확도(96.0% 정확도)로 다양한 잡음 환경에서도 돼지의 호흡기 질병들을 탐지할 수 있음을 실험적으로 확인하였다. 제안된 시스템은 독자적인 혹은 기존 방법들의 보완책으로 사용될 수 있다.