• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제8권2호
• /
• pp.105-110
• /
• 2008

Human being recognizes emotion fusing information of the other speech signal, expression, gesture and bio-signal. Computer needs technologies that being recognized as human do using combined information. In this paper, we recognized five emotions (normal, happiness, anger, surprise, sadness) through speech signal and facial image, and we propose to method that fusing into emotion for emotion recognition result is applying to multimodal method. Speech signal and facial image does emotion recognition using Principal Component Analysis (PCA) method. And multimodal is fusing into emotion result applying fuzzy membership function. With our experiments, our average emotion recognition rate was 63% by using speech signals, and was 53.4% by using facial images. That is, we know that speech signal offers a better emotion recognition rate than the facial image. We proposed decision fusion method using S-type membership function to heighten the emotion recognition rate. Result of emotion recognition through proposed method, average recognized rate is 70.4%. We could know that decision fusion method offers a better emotion recognition rate than the facial image or speech signal.

• 대한인간공학회지
• /
• 제30권1호
• /
• pp.195-202
• /
• 2011

Objective: The aim of this study is to investigate and review the previous researches about objective measuring fatigue caused by visual stimuli. Also, we analyze possibility of alternative visual fatigue measurement methods using facial expression recognition and gesture recognition. Background: In most previous researches, visual fatigue is commonly measured by survey or interview based subjective method. However, the subjective evaluation methods can be affected by individual feeling's variation or other kinds of stimuli. To solve these problems, signal and image processing based visual fatigue measurement methods have been widely researched. Method: To analyze the signal and image processing based methods, we categorized previous works into three groups such as bio-signal, brainwave, and eye image based methods. Also, the possibility of adopting facial expression or gesture recognition to measure visual fatigue is analyzed. Results: Bio-signal and brainwave based methods have problems because they can be degraded by not only visual stimuli but also the other kinds of external stimuli caused by other sense organs. In eye image based methods, using only single feature such as blink frequency or pupil size also has problem because the single feature can be easily degraded by other kinds of emotions. Conclusion: Multi-modal measurement method is required by fusing several features which are extracted from the bio-signal and image. Also, alternative method using facial expression or gesture recognition can be considered. Application: The objective visual fatigue measurement method can be applied into the fields of quantitative and comparative measurement of visual fatigue of next generation display devices in terms of human factor.

• 반도체디스플레이기술학회지
• /
• 제10권3호
• /
• pp.53-59
• /
• 2011

This paper proposes a new method of traffic signal detection and recognition in an RGB color model. The proposed method firstly processes RGB-filtering in order to detect traffic signal candidates. Secondly, it performs adaptive threshold processing and then analyzes connected components of the binary image. The connected component of a traffic signal has to be satisfied with both a bounding box rate and an area rate that are defined in this paper. The traffic signal recognition system is implemented using C language in an embedded Linux system for a high-speed real-time image processing. Experiment results show that the proposed algorithms are quite successful.

• 반도체디스플레이기술학회지
• /
• 제21권4호
• /
• pp.92-98
• /
• 2022

This paper proposes a new method of the traffic signal detection and the recognition in an HSI color model. The proposed method firstly converts a ROI image in the RGB model to in the HSI model to segment the color of a traffic signal. Secondly, the segmented colors are dilated by the morphological processing to connect the traffic signal light and the signal light case and finally, it extracts the traffic signal light and the case by the aspect ratio using the connected component analysis. The extracted components show the detection and the recognition of the traffic signal lights. The proposed method is implemented using C language in Raspberry Pi 4 system with a camera module for a real-time image processing. The system was fixedly installed in a moving vehicle, and it recorded a video like a vehicle black box. Each frame of the recorded video was extracted, and then the proposed method was tested. The results show that the proposed method is successful for the detection and the recognition of traffic signals.

• 스마트미디어저널
• /
• 제8권3호
• /
• pp.62-69
• /
• 2019

심전도 신호는 위조가 불가능하며 양쪽 손목에서 신호를 간편히 취득할 수 있는 장점이 있다. 본 논문에서는 심전도 신호의 방향 정보를 이용해 커플링 이미지를 생성하고, 이를 이용한 개인 인식 방법을 제안한다. 제안하는 커플링 이미지는 정방향 심전도 신호와 R-peak를 기준으로 회전된 역방향 심전도 신호를 이용해 생성하며, 생성한 커플링 이미지는 개인별로 고유한 패턴과 명암을 나타낸다. 또한 같은 주기의 심전도 신호 연산을 통해 R-peak 영역 데이터가 증가하여 개인 인식 성능 향상이 가능하다. 생성한 커플링 이미지는 제안한 합성곱 신경망을 이용해 패턴 및 명암에 대한 특징을 추출하며, 네트워크 속도 향상을 위해 다수의 풀링층을 사용해 데이터 크기를 축소한다. 실험은 47명의 공개된 심전도 데이터를 이용하며, 공개된 네트워크 중 top-5 성능이 상위권인 5개 네트워크와 제안한 네트워크를 이용해 비교 실험을 진행한다. 실험 결과 제안한 네트워크의 개인인식 성능이 99.28%로 가장 높게 나타남에 따라, 제안한 커플링 이미지를 이용한 개인 인식 방법이 유효함을 확인하였다.

• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2003년도 하계학술대회 논문집
• /
• pp.94-97
• /
• 2003

본 논문에서는, 웨이브렛 변환과 잡음 섞인 숫자 영상에 대한 최적화 인식 훈련기법을 사용한 다계층 신경망을 제안하고, 이 시스템을 아라비아숫자 인식에 적용한다. 웨이브렛 변환을 이용해 원 영상 정보의 중요한 부분은 최대한 보존하면서 입력벡터의 크기를 줄임으로써 신경망의 노드 수와 학습 수렴시간이 줄어들도록 하였고, 최적화 인식 훈련기법은 데이터의 잡음을 점차적으로 높여가면서 훈련벡터에 적용, 인식률의 변화에 대해 살펴보았다. 잡음이 섞인 숫자 영상의 인식율을 높이기 위해 원 영상에 0, 10, 20, 30, 40, 50㏈의 잡음을 섞은 영상을 훈련에 함께 사용하였다. 테스트 영상에 잡음이 30∼50㏈정도 섞였을 경우에는 원 영상만을 훈련에 이용했을 패와 잡음이 섞인 영상을 이용하여 훈련시켰을 경우에 인식율의 차이가 별로 없지만, 0∼20㏈정도 섞인 영상을 테스트에 사용할때에는 0, 10, 20, 30, 40 , 50㏈의 잡음이 있는 영상을 훈련에 사용했을 때가 원 영상만을 훈련에 이용했을 경우에 비해 인식율이 9% 향상된다.

• 제어로봇시스템학회논문지
• /
• 제13권8호
• /
• pp.754-759
• /
• 2007

In this paper, we proposed the Bi-Modal Sensor Fusion Algorithm which is the emotional recognition method that be able to classify 4 emotions (Happy, Sad, Angry, Surprise) by using facial image and speech signal together. We extract the feature vectors from speech signal using acoustic feature without language feature and classify emotional pattern using Neural-Network. We also make the feature selection of mouth, eyes and eyebrows from facial image. and extracted feature vectors that apply to Principal Component Analysis(PCA) remakes low dimension feature vector. So we proposed method to fused into result value of emotion recognition by using facial image and speech.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 1997년도 한국자동제어학술회의논문집; 한국전력공사 서울연수원; 17-18 Oct. 1997
• /
• pp.1375-1378
• /
• 1997

In this paper, we presents the algorithm which is to recognize the traffic sign on the road the traffic signal in a video image for autonomous navigation. First, the rocognition of traffic sign on the road can be detected using boundary point estimation form some scan-lines within the lane deducted. For this algorithm, index matrix method is used to detemine what sign is. Then, the traffic signal recognition is performed by usign the window minified by several scan-lines which position may be expected. For this algoritm, line profile concept is adopted.

• 한국공작기계학회:학술대회논문집
• /
• 한국공작기계학회 1999년도 추계학술대회 논문집 - 한국공작기계학회
• /
• pp.119-124
• /
• 1999

This paper presents new approach to technology pattern recognition of camera back cover and test of soldering. In real-time implementing of pattern recognition camera back cover and test of soldering, the MVB-03 vision board has been used. Image can be captured from standard CCD monochrome camera in resolutions up to 640$\times$480 pixels. Various options re available for color cameras, a synchronous camera reset, and linescan cameras. Image processing os performed using Texas Instruments TMS320C31 digital signal processors. Image display is via a standard composite video monitor and supports non-destructive color overlay. System processing is possible using c30 machine code. Application software can be written in Borland C++ or Visual C++

• 융합신호처리학회논문지
• /
• 제11권4호
• /
• pp.289-297
• /
• 2010

본 논문에서는 음성인식을 위한 음성구간 검출과정에서 유입될 수 있는 동적인 음향에너지 이외에 화자의 입술움직임 영상신호까지 확인함으로써 외부 음향잡음이 음성인식 대상으로 오인식되는 것을 방지하기 위한 한 가지 방법이 제시된다. 우선, 연속적인 영상이 PC용 영상카메라를 통하여 획득되고 그 입술움직임 여부가 식별된다. 다음으로, 입술움직임 영상신호 데이터는 공유메모리에 저장되어 음성인식 프로세서와 공유한다. 한편, 음성인식의 전처리 단계인 음성구간 검출과정에서 공유메모리에 저장되어진 데이터를 확인함으로써 화자의 발성에 의한 음향에너지인지의 여부가 입증된다. 최종적으로, 음성인식기와 영상처리기를 연동시켜 실험한 결과, 영상카메라에 대면해서 발성하면 음성인식 결과의 출력에 이르기까지 연동처리가 정상적으로 진행됨을 확인하였고, 영상카메라에 대면치 않고 발성하면 연동처리시스템이 그 음성인식 결과를 출력치 못함을 확인하였다. 또한, 오프라인하의 입술움직임 초기 특정값 및 템플릿 초기영상을 온라인하에서 추출된 입술움직임 초기특정값 및 템플릿 영상으로 대체함으로써 입술움직임 영상 추적의 변별력을 향상시켰다. 입술움직임 영상 추적과정을 시각적으로 확인하고 실시간으로 관련된 패러미터를 해석하기 위해 영상처리 테스트베드를 구축하였다, 음성과 영상처리 시스템의 연동결과 다양한 조명환경 하에서도 약 99.3%의 연동율을 나타냈다.