• 전기전자학회논문지
• /
• 제27권3호
• /
• pp.251-257
• /
• 2023

본 논문에서는 비전 트랜스포머의 셀프 어텐션이 갖는 지역적 특징 부족을 개선하는 이중 구조 셀프 어텐션 방법을 제안한다. 객체 분류, 객체 분할, 비디오 영상 인식에서 합성곱 신경망보다 연산 효율성이 높은 비전 트랜스포머는 상대적으로 지역적 특징 추출능력이 부족하다. 이 문제를 해결하기 위해 윈도우 또는 쉬프트 윈도우를 기반으로 하는 연구가 많이 이루어지고 있으나 이러한 방법은 여러 단계의 인코더를 사용하여 연산 복잡도의 증가로 셀프 어텐션 기반 트랜스포머의 장점이 약화 된다. 본 논문에서는 기존의 방법보다 locality inductive bias 향상을 위해 self-attention과 neighborhood network를 이용하여 이중 구조 셀프 어텐션을 제안한다. 지역적 컨텍스트 정보 추출을 위한 neighborhood network은 윈도우 구조보다 훨씬 단순한 연산 복잡도를 제공한다. 제안된 이중 구조 셀프 어텐션 트랜스포머와 기존의 트랜스포머의 성능 비교를 위해 CIFAR-10과 CIFAR-100을 학습 데이터를 사용하였으며 실험결과 Top-1 정확도에서 각각 0.63%과 1.57% 성능이 개선되었다.

• Journal of the Korean Wood Science and Technology
• /
• 제45권6호
• /
• pp.797-808
• /
• 2017

Automatic wood species identification systems have enabled fast and accurate identification of wood species outside of specialized laboratories with well-trained experts on wood species identification. Conventional automatic wood species identification systems consist of two major parts: a feature extractor and a classifier. Feature extractors require hand-engineering to obtain optimal features to quantify the content of an image. A Convolutional Neural Network (CNN), which is one of the Deep Learning methods, trained for wood species can extract intrinsic feature representations and classify them correctly. It usually outperforms classifiers built on top of extracted features with a hand-tuning process. We developed an automatic wood species identification system utilizing CNN models such as LeNet, MiniVGGNet, and their variants. A smartphone camera was used for obtaining macroscopic images of rough sawn surfaces from cross sections of woods. Five Korean softwood species (cedar, cypress, Korean pine, Korean red pine, and larch) were under classification by the CNN models. The highest and most stable CNN model was LeNet3 that is two additional layers added to the original LeNet architecture. The accuracy of species identification by LeNet3 architecture for the five Korean softwood species was 99.3%. The result showed the automatic wood species identification system is sufficiently fast and accurate as well as small to be deployed to a mobile device such as a smartphone.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권3호
• /
• pp.155-160
• /
• 2017

최근 컴퓨터를 이용한 다양한 인식 문제를 해결하기 위해 딥 러닝을 적용하는 사례가 늘어나고 있다. 딥 러닝은 학습에 필요한 요소를 학습데이터를 통해 스스로 도출해내기 때문에, 수작업(hand-craft)을 통해 특징을 도출하던 기존의 기계학습 방법보다 더 많은 장점을 갖는다. 행동인식을 위한 기존의 심층 신경망은 비디오 데이터를 일정 프레임의 이미지로 분할한 후, 분할된 각 이미지 사이의 시간적 연계성 분석을 통해 행동을 분류한다. 그러나 이러한 신경망은 소규모 행동 클래스를 갖는 분류 문제에서 학습 데이터의 부족 문제 및 과적합(overfitting) 문제로 인해 이를 실제 문제에 적용하기 어려운 경우가 많다. 이에 본 논문에서는 5가지의 소규모 행동 클래스를 정의하고, 기존 행동 인식 신경망의 최적화를 통해 이를 분류하였다. 700개의 비디오데이터를 통해 행동 데이터베이스를 구성하였고, 약 74.00%의 분류 정확도를 얻을 수 있었다.

• 대한의용생체공학회:의공학회지
• /
• 제43권6호
• /
• pp.424-433
• /
• 2022

As the proportion of non-contact telemedicine increases and the number of electrocardiogram (ECG) data measured using portable ECG monitors increases, the demand for automatic algorithms that can precisely analyze vast amounts of ECG is increasing. Since the P, QRS, and T waves of the ECG have different shapes depending on the location of electrodes or individual characteristics and often have similar frequency components or amplitudes, it is difficult to distinguish P, QRS and T waves and measure each parameter. In order to measure the widths, intervals and areas of P, QRS, and T waves, a new algorithm that recognizes the start and end points of each wave and automatically measures the time differences and amplitudes between each point is required. In this study, the start and end points of the P, QRS, and T waves were measured using six Deep Neural Networks (DNN) that recognize the start and end points of each wave. Then, by synthesizing the results of all DNNs, 12 parameters for ECG characteristics for each heartbeat were obtained. In the ECG waveform of 10 subjects provided by Physionet, 12 parameters were measured for each of 660 heartbeats, and the 12 parameters measured for each heartbeat well represented the characteristics of the ECG, so it was possible to distinguish them from other subjects' parameters. When the ECG data of 10 subjects were combined into one file and analyzed with the suggested algorithm, 10 types of ECG waveform were observed, and two types of ECG waveform were simultaneously observed in 5 subjects, however, it was not observed that one person had more than two types.

• 국제학술발표논문집
• /
• The 8th International Conference on Construction Engineering and Project Management
• /
• pp.455-462
• /
• 2020

Noise which is unwanted sound is a serious pollutant that can affect human health, as well as the working and living environment if exposed to humans. However, current noise management on the construction project is generally conducted after the noise exceeds the regulation standard, which increases the conflicts with inhabitants near the construction site and threats to the safety and productivity of construction workers. To overcome the limitations of the current noise management methods, the activities of construction equipment which is the main source of construction noise need to be managed throughout the construction period in real-time. Therefore, this paper proposed a framework for automatically detecting noise sources in construction sites in real-time based on convolutional neural networks (CNNs) according to the following four steps: (i) Step 1: Definition of the noise sources; (ii) Step 2: Data preparation; (iii) Step 3: Noise source classification using the audio CNN; and (iv) Step 4: Noise source detection using the visual CNN. The short-time Fourier transform (STFT) and temporal image processing are used to contain temporal features of the audio and visual data. In addition, the AlexNet and You Only Look Once v3 (YOLOv3) algorithms have been adopted to classify and detect the noise sources in real-time. As a result, the proposed framework is expected to immediately find construction activities as current noise sources on the video of the construction site. The proposed framework could be helpful for environmental construction managers to efficiently identify and control the noise by automatically detecting the noise sources among many activities carried out by various types of construction equipment. Thereby, not only conflicts between inhabitants and construction companies caused by construction noise can be prevented, but also the noise-related health risks and productivity degradation for construction workers and inhabitants near the construction site can be minimized.

• 정보처리학회논문지D
• /
• 제16D권6호
• /
• pp.851-858
• /
• 2009

집단 따돌림을 청소년 문제로 국한했던 것과는 달리 오늘날 직장 내 집단 따돌림은 커다란 문제로 대두되고 있다. 국제 노동기구(ILO)의 따돌림 관련 유수의 보고와 국내의 경우를 볼 때 직장 내 따돌림 경험 응답 비율이 9.1%('03)에서 30.7%('08)로 증가하고 있다. 이러한 따돌림은 개인적, 사회적으로 커다란 손실을 초래한다. 제안한 알고리즘은 사용자 프로파일을 통해 현재 Mobbing(집단 따돌림)1) 희생자뿐 만 아니라 잠정적인 Mobbing 희생자의 가능성을 파악하여 효율적인 인원관리가 가능하다. 본 논문에서는 Mobbing 현상에 관련된 사용자 프로파일 즉, 7개의 요소(Factor)와 그 하위에 포함된 50개의 속성(Attribute)들을 선정한다. 다음으로 선정한 속성들에 대해 나와 사용자들 사이에 관계가 있으면 ‘1', 관계가 없으면 ‘0'으로 표현한다. 그리고 나와 사용자들간의 유사도 산정을 위해 각 요소안에 포함된 속성들의 합에 유사도 함수를 적용한다. 다음으로 클레멘타인의 인공신경망 알고리즘을 통해 속성들이 포함된 요소가 취할 최적의 가중치를 산출하고, 이 값들의 총합으로 Mobbing 지수를 산정한다. 마지막으로 online social network 사용자들의 Mobbing 지수를 본 논문에서 설계한 G22) Mobbing 성향 분류 모델(4개의 그룹; Ideal Group of the online social network, Bullies, Aggressive victims, Victims)에 매핑하여 사용자들의 Mobbing 성향을 파악하고 이를 토대로 효율적인 인원관리에 기여할 수 있다.

• 지능정보연구
• /
• 제24권1호
• /
• pp.205-225
• /
• 2018

Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

• 지능정보연구
• /
• 제17권4호
• /
• pp.157-173
• /
• 2011

최근 인터넷 사용의 증가에 따라 네트워크에 연결된 시스템에 대한 악의적인 해킹과 침입이 빈번하게 발생하고 있으며, 각종 시스템을 운영하는 정부기관, 관공서, 기업 등에서는 이러한 해킹 및 침입에 의해 치명적인 타격을 입을 수 있는 상황에 놓여 있다. 이에 따라 인가되지 않았거나 비정상적인 활동들을 탐지, 식별하여 적절하게 대응하는 침입탐지 시스템에 대한 관심과 수요가 높아지고 있으며, 침입탐지 시스템의 예측성능을 개선하려는 연구 또한 활발하게 이루어지고 있다. 본 연구 역시 침입탐지 시스템의 예측성능을 개선하기 위한 새로운 지능형 침입탐지모형을 제안한다. 본 연구의 제안모형은 비교적 높은 예측력을 나타내면서 동시에 일반화 능력이 우수한 것으로 알려진 Support Vector Machine(SVM)을 기반으로, 비대칭 오류비용을 고려한 분류기준값 최적화를 함께 반영하여 침입을 효과적으로 차단할 수 있도록 설계되었다. 제안모형의 우수성을 확인하기 위해, 기존 기법인 로지스틱 회귀분석, 의사결정나무, 인공신경망과의 결과를 비교하였으며 그 결과 제안하는 SVM 모형이 다른 기법에 비해 상대적으로 우수한 성과를 보임을 확인할 수 있었다.

• 한국산학기술학회논문지
• /
• 제21권1호
• /
• pp.169-177
• /
• 2020

과학기술 분야의 연구·개발 결과는 연구보고서 형태로 국가과학기술정보서비스(NTIS)에 제출된다. 각 연구보고서는 국가과학기술 표준 분류체계 (K-NSCC)에 따른 분류코드를 가지고 있는데, 보고서 작성자가 제출 시에 수동으로 입력하게끔 되어있다. 하지만 2000여 개가 넘는 세분류를 가지고 있기에, 분류체계에 대한 정확한 이해가 없이는 부정확한 분류코드를 선택하기 십상이다. 새로이 수집되는 연구보고서의 양과 다양성을 고려해 볼 때, 이들을 기계적으로 보다 정확하게 분류할 수 있다면 보고서 제출자의 수고를 덜어줄 수 있을 뿐만 아니라, 다른 부가 가치적인 분석 서비스들과의 연계가 수월할 것이다. 하지만, 국내에서 과학기술표준 분류체계에 기반을 둔 문서 자동 분류 연구 사례는 거의 없으며 공개된 학습데이터도 전무하다. 본 연구는 KISTI가 보유하고 있는 최근 5년간 (2013년~2017년) NTIS 연구보고서 메타정보를 활용한 최초의 시도로써, 방대한 과학기술표준 분류체계를 기반으로 하는 국내 연구보고서들을 대상으로 높은 성능을 보이는 문서 자동 분류기법을 도출하는 연구를 진행하였다. 이를 위해, 과학기술 표준분류 체계에서 과학기술 분야의 연구보고서를 분류하기에 적합한 중분류 210여 개를 선별하였으며, 연구보고서 메타 데이터의 특성을 고려한 전처리를 진행하였다. 특히, 가장 영향력 있는 필드인 과제명(제목)과 키워드만을 이용한 TK_CNN 기반의 딥러닝 기법을 제안한다. 제안 모델은 텍스트 분류에서 좋은 성능을 보이고 있는 기계학습법들 (예, Linear SVC, CNN, GRU등)과 비교하였으며, Top-3 F1점수 기준으로 1~7%에 이르는 성능 우위를 확인하였다.

• 한국농림기상학회지
• /
• 제20권3호
• /
• pp.262-276
• /
• 2018

2016년부터 2017년까지 제주 감귤과수원 11개 지점에서 관측한 기상 및 이슬 자료를 이용하여 이슬지속시간 예측 모델을 평가하였다. 이슬지속시간 모델의 민감도와 예측 정확도 평가에는 4 가지 모델(Number of Hours of Relative Humidity, Classification And Regression Tree/Stepwise Linear Discriminant, Penman-Monteith, Deep-learning Neural Network)이 사용되었다. 모델의 민감도는 강우와 계절 변화에 따라 평가하였다. 전체 자료에서 강우일 자료를 제외하면 이슬지속시간 모델들은 평균 오차(평균제곱근오차 약 1.5 hours)가 적게 나타났다. 기계학습 모델은 겨울을 제외한 계절별 오차가 비슷한 크기(평균제곱근오차 약 3 hours)로 나타났다. 나머지 모델들은 여름에 오차(평균제곱근오차 약 9.6 hours)가 가장 크고 겨울에 가장 작은 것(평균제곱근오차 약 3.3 hours)으로 나타났다. 모델 예측 정확도 평가 방법은 통계적 오차 분석 방법과 평균 제곱 편차 회귀 분석 방법을 사용하였다. 통계오차를 통한 모델 성능은 DNN 모델이 가장 우수한 반면에 CART/SLD 모델은 예측 정확도가 가장 낮게 나타났다. 평균제곱 편차(MSD)는 모델의 선형성을 세 가지(제곱 바이어스(SB), 비균일성 기울기(NU), 상관관계 부족(LC)) 구성요소로 구분하여 분석하는 방법이다. 모델 성능이 우수할수록 SB와 LC는 감소하였고 NU는 증가하는 경향이 나타났다. MSD 분석 결과 DNN 모델이 가장 우수하였으며 다음으로 PM, NHRH, CART/SLD 순으로 나타났다. 본 연구에서 활용된 기계학습 모델은 기상 정보를 이용한 다른 농업정보 생산의 정확도 개선에 크게 기여할 것으로 판단된다.