• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권8호
• /
• pp.3917-3941
• /
• 2019

The recent interest in artificial intelligence and machine learning has partly contributed to an interest in the use of such approaches for hyperspectral remote sensing (HRS) imagery classification, as evidenced by the increasing number of deep framework with deep convolutional neural networks (CNN) structures proposed in the literature. In these approaches, the assumption of obtaining high quality deep features by using CNN is not always easy and efficient because of the complex data distribution and the limited sample size. In this paper, conventional handcrafted learning-based multi features based on expert knowledge are introduced as the input of a special designed CNN to improve the pixel description and classification performance of HRS imagery. The introduction of these handcrafted features can reduce the complexity of the original HRS data and reduce the sample requirements by eliminating redundant information and improving the starting point of deep feature training. It also provides some concise and effective features that are not readily available from direct training with CNN. Evaluations using three public HRS datasets demonstrate the utility of our proposed method in HRS classification.

• 대한치과교정학회지
• /
• 제51권2호
• /
• pp.77-85
• /
• 2021

Objective: To evaluate the accuracy of a multi-stage convolutional neural network (CNN) model-based automated identification system for posteroanterior (PA) cephalometric landmarks. Methods: The multi-stage CNN model was implemented with a personal computer. A total of 430 PA-cephalograms synthesized from cone-beam computed tomography scans (CBCT-PA) were selected as samples. Twenty-three landmarks used for Tweemac analysis were manually identified on all CBCT-PA images by a single examiner. Intra-examiner reproducibility was confirmed by repeating the identification on 85 randomly selected images, which were subsequently set as test data, with a two-week interval before training. For initial learning stage of the multi-stage CNN model, the data from 345 of 430 CBCT-PA images were used, after which the multi-stage CNN model was tested with previous 85 images. The first manual identification on these 85 images was set as a truth ground. The mean radial error (MRE) and successful detection rate (SDR) were calculated to evaluate the errors in manual identification and artificial intelligence (AI) prediction. Results: The AI showed an average MRE of 2.23 ± 2.02 mm with an SDR of 60.88% for errors of 2 mm or lower. However, in a comparison of the repetitive task, the AI predicted landmarks at the same position, while the MRE for the repeated manual identification was 1.31 ± 0.94 mm. Conclusions: Automated identification for CBCT-synthesized PA cephalometric landmarks did not sufficiently achieve the clinically favorable error range of less than 2 mm. However, AI landmark identification on PA cephalograms showed better consistency than manual identification.

• 말소리와 음성과학
• /
• 제15권4호
• /
• pp.71-80
• /
• 2023

본 연구는 말더듬 화자들의 음성 데이터를 기반으로 하여, 인공지능 기술을 활용한 말더듬 자동 식별 방법을 개발하는 것을 주목적으로 진행되었다. 특히, 한국어를 모국어로 하는 말더듬 화자들을 대상으로 CNN(convolutional neural network) 알고리즘을 활용한 식별기 모델을 개발하고자 하였다. 이를 위해 말더듬 성인 9명과 정상화자 9명을 대상으로 음성 데이터를 수집하고, Google Cloud STT(Speech-To-Text)를 활용하여 어절 단위로 자동 분할한 후 유창, 막힘, 연장, 반복 등의 라벨을 부여하였다. 또한 MFCCs(mel frequency cepstral coefficients)를 추출하여 CNN 알고리즘을 기반한 말더듬 자동 식별기 모델을 수립하고자 하였다. 연장의 경우 수집결과가 5건으로 나타나 식별기 모델에서 제외하였다. 검증 결과, 정확도는 0.96으로 나타났고, 분류성능인 F1-score는 '유창'은 1.00, '막힘'은 0.67, '반복'은 0.74로 나타났다. CNN 알고리즘을 기반한 말더듬 자동분류 식별기의 효과를 확인하였으나, 막힘 및 반복유형에서는 성능이 미흡한 것으로 나타났다. 향후 말더듬의 유형별 충분한 데이터 수집을 통해 추가적인 성능 검증이 필요함을 확인하였다. 향후 말더듬 화자의 발화 빅데이터 확보를 통해 보다 신뢰성 있는 말더듬 자동 식별 기술의 개발과 함께 이를 통한 좀 더 고도화된 평가 및 중재 관련 서비스가 창출되기를 기대해 본다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.668-673
• /
• 2017

최근 몇 년간 딥러닝(deep learning)은 음성 인식, 영상 인식, 물체 검출을 비롯한 다양한 패턴인식 분야에서 혁신적인 성능 발전을 거듭해왔다. 그에 비해 네트워크가 어떻게 작동하는지에 대한 깊은 이해는 잘 이루어지지 않고 있다. 본 논문은 효과적인 신경망 네트워크를 구성하기 위해 네트워크 파라미터들이 신경망 내부에서 어떻게 작동하고, 어떤 역할을 하고 있는지 분석하였다. Faster R-CNN 네트워크를 기반으로 하여 신경망의 과적합(overfitting)을 막는 드랍아웃(dropout) 확률과 앵커 박스 크기, 그리고 활성 함수를 변화시켜 학습한 후 그 결과를 분석하였다. 또한 드랍아웃과 배치 정규화(batch normalization) 방식을 비교해보았다. 드랍아웃 확률은 0.3일 때 가장 좋은 성능을 보였으며 앵커 박스의 크기는 최종 물체 검출 성능과 큰 관련이 없다는 것을 알 수 있었다. 드랍아웃과 배치 정규화 방식은 서로를 완전히 대체할 수는 없는 것을 확인할 수 있었다. 활성화 함수는 음수 도메인의 기울기가 0.02인 leaky ReLU가 비교적 좋은 성능을 보였다.

• International Journal of Computer Science & Network Security
• /
• 제23권11호
• /
• pp.59-66
• /
• 2023

Text mining (TM) is most widely used to find patterns from various text documents. Cyber-bullying is the term that is used to abuse a person online or offline platform. Nowadays cyber-bullying becomes more dangerous to people who are using social networking sites (SNS). Cyber-bullying is of many types such as text messaging, morphed images, morphed videos, etc. It is a very difficult task to prevent this type of abuse of the person in online SNS. Finding accurate text mining patterns gives better results in detecting cyber-bullying on any platform. Cyber-bullying is developed with the online SNS to send defamatory statements or orally bully other persons or by using the online platform to abuse in front of SNS users. Deep Learning (DL) is one of the significant domains which are used to extract and learn the quality features dynamically from the low-level text inclusions. In this scenario, Convolutional neural networks (CNN) are used for training the text data, images, and videos. CNN is a very powerful approach to training on these types of data and achieved better text classification. In this paper, an Ensemble model is introduced with the integration of Term Frequency (TF)-Inverse document frequency (IDF) and Deep Neural Network (DNN) with advanced feature-extracting techniques to classify the bullying text, images, and videos. The proposed approach also focused on reducing the training time and memory usage which helps the classification improvement.

• 지능정보연구
• /
• 제29권2호
• /
• pp.129-148
• /
• 2023

블록체인 기술이 적용되어 있는 암호화폐는 높은 가격 변동성을 가지며 투자자 및 일반 대중으로부터 큰 관심을 받아왔다. 이러한 관심을 바탕으로 암호화폐를 비롯한 투자상품의 미래가치를 예측하기 위한 연구가 이루어지고 있으나 예측모형에 대한 설명력 및 해석 가능성이 낮아 실무에서 활용하기 어렵다는 비판을 받아왔다. 본 연구에서는 암호화폐 가격 예측모형의 성과를 향상시키기 위해 금융투자상품의 가치평가에 활용되는 기술적 지표들과 함께 투자자의 사회적 관심도를 반영할 수 있는 구글 키워드 검색량 데이터를 사용하고 설명 가능한 인공지능을 적용하여 모형에 대한 해석을 제공하고자 한다. 최근 금융 시계열 분야에서 예측성과의 우수성을 인정받고 있는 LSTM(Long Short Term Memory)과 CNN(Convolutional Neural Networks)을 활용하고, 'bitcoin'을 검색어로 하는 구글 검색량 데이터를 적용해 일주일 후의 가격 등락 예측모형을 구축하였다. LSTM과 CNN을 활용해 구축한 모형들이 높은 예측성능을 보였으며 구글 검색량을 반영한 모형에서 더 높은 예측성과를 확인할 수 있었다. 딥러닝 모형의 해석 가능성 및 설명력을 위해 XAI의 SHAP 기법을 적용한 결과, 구글 검색량과 함께 과매수, 과매도 정도를 파악할 수 있는 지표들이 모형의 의사결정에 가장 큰 영향들을 미치고 있음을 파악할 수 있었다. 본 연구는 암호화폐 가격 등락 예측에 있어 전통적으로 시계열 예측에 우수한 성과를 인정받고 있는 LSTM뿐만 아니라 이미지 분류에서 높은 예측성과를 보이는 딥러닝 기법인 CNN 또한 우수한 예측성능을 보일 수 있음을 확인하였으며, XAI를 통해 예측모형에 대한 해석을 제공하고, 대중의 심리를 반영하는 정보 중 하나인 구글 검색량을 활용해 예측성과를 향상시킬 수 있다는 것을 확인했다는 점에서 의의가 있다.

• 문화기술의 융합
• /
• 제8권6호
• /
• pp.867-871
• /
• 2022

최근 빠른 유행의 변화 속에서 디자인의 변화는 패션기업의 매출에 큰 영향을 미치기 때문에 기업들은 신제품디자인 선택에 신중할 수밖에 없다. 최근 인공지능 분야의 발달에 따라 패션시장에서도 소비자들의 선호도를 높이기 위해 다양한 기계학습을 많이 활용하고 있다. 우리는 선호도와 같은 추상적인 개념을 수치화함으로써 신제품 개발에 신뢰성을 높이는 부분에 기여하고자 한다. 이를 위해 3가지 적대적 생성 신경망(Generative adversial netwrok, GAN)을 통하여 기존에 없는 새로운 이미지를 생성하고, 미리 훈련된 합성곱 신경망(Convolution neural networkm, CNN)을 이용하여 선호도라는 추상적인 개념을 수치화시켜 비교하였다. 심층 컨볼루션 적대적 생성 신경망(Deep convolutional generative adversial netwrok, DCGAN), 점진적 성장 적대적 생성 신경망(Progressive growing generative adversial netwrok, PGGAN), 이중 판별기 적대적 생성 신경망(Dual Discriminator generative adversial netwrok, D2GAN)의 3가지 방법을 통해 새로운 이미지를 생성하였고, 판매량이 높았던 제품으로 훈련된 합성곱 신경망으로 유사도를 비교, 측정하였다. 측정된 유사도의 정도를 선호도로 간주하였으며 실험 결과 D2GAN이 DCGAN, PGGAN에 비해 상대적으로 높은 유사도를 보여주었다.

• 대한임베디드공학회논문지
• /
• 제14권6호
• /
• pp.287-294
• /
• 2019

With the automation of production lines in the manufacturing industry, the importance of real-time fault diagnosis of facility is increasing. In this paper, we propose a fault diagnosis algorithm of LM (Linear Motion)-guide based on deep learning using vibration signals. Generally, in order to guarantee the performance of the deep learning, it is necessary to have a sufficient amount of data, but in a manufacturing industry, it is often difficult to obtain enough data due to physical and time constraints. To solve this problem, we propose a convolutional neural networks (CNN) model based on transfer learning. In addition, the spectrogram image is input to the CNN to reflect the frequency characteristic of the vibration signals with time. The performance of fault diagnosis according to various load condition and transfer learning method was compared and evaluated by experiments. The results showed that the proposed algorithm exhibited an excellent performance.

• 정보과학회 논문지
• /
• 제43권1호
• /
• pp.47-53
• /
• 2016

인터넷이 급속히 발달하는 가운데 스마트폰, 디지털 카메라, 블랙박스 등의 기기에서 수집되는 방대한 영상 데이터가 소셜 미디어 사이트를 통해 빠르게 공유되고 있다. 소셜 미디어 공유 사이트에서는 일반적으로 이미지의 태그 정보를 사용하는데, 멀티미디어를 공유하는 방법이 쉬워지고 그 양이 폭발적으로 증가함에 따라 이미지에 태그를 붙여야 하는 일은 번거로움이 되고 있다. 또한 태그가 잘못 붙여지거나 안 붙은 경우에는 이미지 검색 정확도가 떨어질 가능성이 있다. 본 논문에서는 이미지의 내용정보를 이용하여 자동으로 이미지로부터 태그를 추출하는 방법을 제안한다. 제안하는 방법은 ImageNet에서 제공하는 대용량의 이미지 데이터와 라벨을 CNN(Convolutional Neural Network) 딥러닝 기법으로 학습시킨 후, 인스타그램 이미지로부터 라벨 정보를 추출하는 것이다. 추출된 라벨 정보를 이용하여 자동 태깅한 후, 검색에 활용했을 때 인스타그램의 기존 검색보다 높은 정확도를 가지고 있음을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권4호
• /
• pp.1464-1485
• /
• 2021

Emotional style of multimedia art works are abstract content information. This study aims to explore emotional style transfer method and find the possible way of matching music with appropriate images in respect to emotional style. DCNNs (Deep Convolutional Neural Networks) can capture style and provide emotional style transfer iterative solution for affective image generation. Here, we learn the image emotion features via DCNNs and map the affective style on the other images. We set image emotion feature as the style target in this style transfer problem, and held experiments to handle affective image generation of eight emotion categories, including dignified, dreaming, sad, vigorous, soothing, exciting, joyous, and graceful. A user study was conducted to test the synesthesia emotional image style transfer result with ground truth user perception triggered by the music-image pairs' stimuli. The transferred affective image result for music-image emotional synesthesia perception was proved effective according to user study result.