• 제목/요약/키워드: Deep neural networks

검색결과 883건 처리시간 0.026초

적대적 학습 기반 오토인코더(ATAE)를 이용한 다차원 상수도관망 데이터 생성 (Multidimensional data generation of water distribution systems using adversarially trained autoencoder)

  • 김세형;전상훈;정동휘
    • 한국수자원학회논문집
    • /
    • 제56권7호
    • /
    • pp.439-449
    • /
    • 2023
  • 최근 계측 기술의 발전으로 압력계와 유량계 등 다양한 센서를 설치하여 상수도관망의 상태를 효과적으로 파악할 수 있게 되었으나, 도시가 광범위하게 개발됨에 따라 계측 신뢰도에 영향을 미치는 변수는 다양해지고 있다. 특히 상수도관망 분석에 중요한 영향력을 가지는 수요 데이터의 경우 직접 계측의 난이도가 높고 결측이 발생하기 쉬운 것으로 알려져 데이터 생성의 중요도가 증가하고 있다. 본 논문에서는 상수도관망에서 누락된 데이터를 정확하게 생성하기 위해 생성적 딥러닝 모델에 기반한 적대적 학습 기반 오토인코더(ATAE) 모델을 제안한다. 제안된 모델은 판별 신경망과 생성 신경망의 두 가지 신경망의 적대적 학습을 사용하여 압력 데이터로부터 수요 데이터를 생성한다. 학습이 완료된 ATAE 모델의 생성 신경망은 관망의 계측되는 압력 데이터가 존재하는 경우, 그로부터 추정된 관망 수요 데이터를 제공할 수 있다. ATAE 모델은 미국 텍사스주 오스틴의 실제 상수도망에 적용되어 성능이 검증되었다. 수요 및 압력 시계열 데이터의 불확실성 정도에 따른 ATAE 예측 결과의 정확도를 비교하여 데이터 불확실성의 영향을 분석하였으며, 또한 수요 수준에 따른 데이터 수집 기간별 생성 결과를 비교하여 이에 따른 데이터 생성 성능을 검토하였다.

다중 레이블 분류의 정확도 향상을 위한 스킵 연결 오토인코더 기반 레이블 임베딩 방법론 (Label Embedding for Improving Classification Accuracy UsingAutoEncoderwithSkip-Connections)

  • 김무성;김남규
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.175-197
    • /
    • 2021
  • 최근 딥 러닝 기술의 발전으로 뉴스, 블로그 등 다양한 문서에 포함된 텍스트 분석에 딥 러닝 기술을 활용하는 연구가 활발하게 수행되고 있다. 다양한 텍스트 분석 응용 가운데, 텍스트 분류는 학계와 업계에서 가장 많이 활용되는 대표적인 기술이다. 텍스트 분류의 활용 예로는 정답 레이블이 하나만 존재하는 이진 클래스 분류와 다중 클래스 분류, 그리고 정답 레이블이 여러 개 존재하는 다중 레이블 분류 등이 있다. 특히, 다중 레이블 분류는 여러 개의 정답 레이블이 존재한다는 특성 때문에 일반적인 분류와는 상이한 학습 방법이 요구된다. 또한, 다중 레이블 분류 문제는 레이블과 클래스의 개수가 증가할수록 예측의 난이도가 상승한다는 측면에서 데이터 과학 분야의 난제로 여겨지고 있다. 따라서 이를 해결하기 위해 다수의 레이블을 압축한 후 압축된 레이블을 예측하고, 예측된 압축 레이블을 원래 레이블로 복원하는 레이블 임베딩이 많이 활용되고 있다. 대표적으로 딥 러닝 모델인 오토인코더 기반 레이블 임베딩이 이러한 목적으로 사용되고 있지만, 이러한 기법은 클래스의 수가 무수히 많은 고차원 레이블 공간을 저차원 잠재 레이블 공간으로 압축할 때 많은 정보 손실을 야기한다는 한계가 있다. 이에 본 연구에서는 오토인코더의 인코더와 디코더 각각에 스킵 연결을 추가하여, 고차원 레이블 공간의 압축 과정에서 정보 손실을 최소화할 수 있는 레이블 임베딩 방법을 제안한다. 또한 학술연구정보서비스인 'RISS'에서 수집한 학술논문 4,675건에 대해 각 논문의 초록으로부터 해당 논문의 다중 키워드를 예측하는 실험을 수행한 결과, 제안 방법론이 기존의 일반 오토인코더 기반 레이블 임베딩 기법에 비해 정확도, 정밀도, 재현율, 그리고 F1 점수 등 모든 측면에서 우수한 성능을 나타냄을 확인하였다.

딥러닝을 활용한 고대 수막새 이미지 분류 검토 (Application of Deep Learning for Classification of Ancient Korean Roof-end Tile Images)

  • 김영현
    • 헤리티지:역사와 과학
    • /
    • 제57권3호
    • /
    • pp.24-35
    • /
    • 2024
  • 최근 의료, 제조, 자율주행, 보안 등 다양한 분야에서 인공지능과 컨볼루션 신경망 등 딥러닝 기술을 활용한 연구들이 활발하게 진행되고 있으며, 사회 전반에 적지 않은 영향을 미치고 있다. 본 연구 또한 이러한 흐름에 맞춰서 고고학 유물 분류에 딥러닝을 활용해 보았다. 즉, 연구는 고고학 조사를 통해 출토된 고대 수막새의 이미지 분류에 딥러닝 기술을 적용하는 초보적 시도로서, 고구려, 백제, 신라 시대의 수막새 이미지를 CNN 모델로 학습시켜 분류를 진행하였다. 고구려, 백제, 신라 수막새 이미지 각각 100장씩 총 300장을 기반으로 기본 데이터셋을 형성하였고, 데이터 증강 기법을 활용하여 4배를 증가시킴으로써 총 1,200장을 데이터셋으로 구축하였다. 사전 훈련된 EfficientNetB0 모델의 전이학습을 통하여 모델을 구축한 후, 5겹 교차검증을 실시한 결과 평균 학습 정확도 98.06%, 검증 정확도 97.08%를 기록하였다. 또한 학습된 모델을 240장의 테스트 데이터셋으로 성능을 평가한 결과, 최소 91% 이상의 높은 정확도로 삼국의 수막새 이미지를 시대별로 구분할 수 있음을 확인하였다. 특히 학습률 0.0001에서 정확도 92.92%, 정밀도 92.96%, 재현율 92.92%, F1 점수 92.93%로 가장 우수한 성능을 보였는데, 이는 다양한 학습률 설정을 통하여 과적합과 과소적합 문제를 방지함과 동시에 최적의 매개변수를 찾는 과정에서 이루어졌다. 본 연구의 결과는 한국 고고학 자료의 분류에 딥러닝 기술 활용 가능성을 확인했다는 점에서 의의가 있다고 생각된다. 또한 기존에 축적·제작된 ImageNet 데이터셋 및 파라미터가 고고 자료 분석에도 긍정적으로 적용할 수 있음을 확인하였다. 이러한 접근은 향후 고고학 데이터베이스 축적이나 활용, 박물관의 유물 분류 및 정리 등 다양한 방식의 모델을 창출할 수 있을 것이다.

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석 (Sentiment Analysis of Movie Review Using Integrated CNN-LSTM Mode)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.141-154
    • /
    • 2019
  • 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

유·무인 항공영상을 이용한 심층학습 기반 녹피율 산정 (Derivation of Green Coverage Ratio Based on Deep Learning Using MAV and UAV Aerial Images)

  • 한승연;이임평
    • 대한원격탐사학회지
    • /
    • 제37권6_1호
    • /
    • pp.1757-1766
    • /
    • 2021
  • 녹피율은 행정구역면적 대비 녹지가 피복된 면적의 비율로, 실질적인 도시녹화 지표로 활용되고 있다. 현재 녹피율은 토지피복지도를 기반하여 산출되는데, 토지피복지도의 낮은 공간해상도와 일정하지 않은 제작시기는 정확한 녹피율 산출과 정밀한 녹피분석을 어렵게 한다. 따라서 본 연구는 새로운 녹피율 산출방안으로 항공영상과 심층학습을 활용한 방안을 제안한다. 항공영상은 높은 해상도와 비교적 일정한 주기로 정밀한 분석을 가능하게 하며 심층 학습은 항공영상 내 녹지를 자동으로 탐지할 수 있다. 지자체는 매년 다양한 목적을 위해 유인항공영상을 취득하여 이를 활용해 신속하게 녹피율을 산출한다. 하지만 미리 취득된 유인항공영상은 취득 시기와 해상도, 센서와 같은 세부사항을 선택할 수 없어 정밀한 분석이 어려울 수 있다. 이러한 한계점은 다양한 센서의 탑재가 가능하고 낮은 고도의 비행으로 인해 고해상도 영상을 취득할 수 있는 무인항공기를 활용하여 보완될 수 있다. 이에 두 가지 항공영상으로부터 녹피율을 산출하였고 그 결과, 모든 녹지 유형으로 부터 높은 정확도로 녹피율을 산출할 수 있었다. 하지만 유인항공영상으로부터 산출된 녹피율은 복잡한 환경에서 한계가 있었다. 이를 보완하고자 활용한 무인항공영상은 복잡한 환경에서도 높은 정확도의 녹피율을 산출할 수 있었고 추가밴드 영상을 통해 더 정밀한 녹지 영역 탐지가 가능했다. 추후 기존 유인항공영상에 새로 취득한 무인항공영상을 보완적으로 사용해 녹피율을 효과적으로 산출할 수 있을 것이라 기대된다.

4차 산업혁명 기술에 기반한 농업 기상 정보 시스템의 요구도 분석 (Requirement Analysis for Agricultural Meteorology Information Service Systems based on the Fourth Industrial Revolution Technologies)

  • 김광수;유병현;현신우;강대균
    • 한국농림기상학회지
    • /
    • 제21권3호
    • /
    • pp.175-186
    • /
    • 2019
  • 기상 및 기후 정보를 활용하여 기후변화에 대응하기 위한 기후 스마트 농업을 도입하기 위한 노력이 진행되어 왔다. 기후 스마트 농업을 실현하기 위해 농가별 기상자료 수집 및 관리가 요구된다. 4차 산업혁명 시대의 주요한 기술인 IoT, 인공지능, 및 클라우드 컴퓨팅 기술들이 농가 단위의 기상정보 생산에 적극적으로 활용될 수 있다. 저비용과 저전력 특성을 가진 IoT 센서들로 무선 센서 네트워크를 구축할 경우, 농가나 농촌 공동체 수준에서 농업 생태계의 생산성을 파악할 수 있는 기상관측자료의 수집 및 분석이 가능하다. 무선 센서 네트워크를 통해 자료가 수집될 수 있는 공간적인 범위를 특정 농가보다는 농촌 공동체 수준으로 확대하여 IoT 기술의 수혜 농가를 확대하고, 아울러 상세기상정보의 생산 및 검증에 활용가능한 농업기상 빅데이터 구축이 필요하다. 기존에 개발되어 보급되고 있는 전자기후도를 활용하여, 농가 단위의 기상 추정 자료가 제공되고 있다. 이들 자료의 신뢰성을 향상시키고, 기존의 서비스 체계에서 제공되지 않고 있는 기상 변수들을 지원하기 위해 심층신경망과 같은 인공지능 기술들이 도입되어야 할 것이다. 시스템 구축의 비용 절감 및 활용성 증대를 위해 클라우드 및 포그 컴퓨팅 기술을 도입하여 농업 기상 정보 서비스 시스템이 설계되어야 한다. 또한, 기상자료와 농산물 가격 정보와 같은 환경자료와 경영정보를 동시에 제공할 수 있는 정보 시스템을 구축하여 활용도가 높은 농업 기상 서비스 시스템이 구축되어야 할 것이다. 이와 함께, 농업인 뿐만 아니라 소비자까지도 고려된 모바일 어플리케이션의 설계 및 개발을 통해, 4차 산업혁명의 주요 기술들이 농업 분야에서 확산될 수 있도록 지속적인 노력이 필요하다. 이러한 정보 시스템은 농업 분야 이해당사자에게 수요자 맞춤형 농림기상정보를 제공하여 기후스마트 농업 관련 기술의 개발과 도입을 촉진시킬 수 있을 것이다.

입력변수 및 학습사례 선정을 동시에 최적화하는 GA-MSVM 기반 주가지수 추세 예측 모형에 관한 연구 (A Study on the Prediction Model of Stock Price Index Trend based on GA-MSVM that Simultaneously Optimizes Feature and Instance Selection)

  • 이종식;안현철
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.147-168
    • /
    • 2017
  • 오래 전부터 학계에서는 정확한 주식 시장의 예측에 대한 많은 연구가 진행되어 왔고 현재에도 다양한 기법을 응용한 예측모형들이 연구되고 있다. 특히 최근에는 딥러닝(Deep-Learning)을 포함한 다양한 기계학습기법(Machine Learning Methods)을 이용해 주가지수를 예측하려는 많은 시도들이 진행되고 있다. 전통적인 주식투자거래의 분석기법으로는 기본적 분석과 기술적 분석방법이 사용되지만 보다 단기적인 거래예측이나 통계학적, 수리적 기법을 응용하기에는 기술적 분석 방법이 보다 유용한 측면이 있다. 이러한 기술적 지표들을 이용하여 진행된 대부분의 연구는 미래시장의 (보통은 다음 거래일) 주가 등락을 이진분류-상승 또는 하락-하여 주가를 예측하는 모형을 연구한 것이다. 하지만 이러한 이진분류로는 추세를 예측하여 매매시그널을 파악하거나, 포트폴리오 리밸런싱(Portfolio Rebalancing)의 신호로 삼기에는 적합치 않은 측면이 많은 것 또한 사실이다. 이에 본 연구에서는 기존의 주가지수 예측방법인 이진 분류 (binary classification) 방법에서 주가지수 추세를 (상승추세, 박스권, 하락추세) 다분류 (multiple classification) 체계로 확장하여 주가지수 추세를 예측하고자 한다. 이러한 다 분류 문제 해결을 위해 기존에 사용하던 통계적 방법인 다항로지스틱 회귀분석(Multinomial Logistic Regression Analysis, MLOGIT)이나 다중판별분석(Multiple Discriminant Analysis, MDA) 또는 인공신경망(Artificial Neural Networks, ANN)과 같은 기법보다는 예측성과의 우수성이 입증된 다분류 Support Vector Machines(Multiclass SVM, MSVM)을 사용하고, 이 모델의 성능을 향상시키기 위한 래퍼(wrapper)로서 유전자 알고리즘(Genetic Algorithm)을 이용한 최적화 모델을 제안한다. 특히 GA-MSVM으로 명명된 본 연구의 제안 모형에서는 MSVM의 커널함수 매개변수, 그리고 최적의 입력변수 선택(feature selection) 뿐만이 아니라 학습사례 선택(instance selection)까지 최적화하여 모델의 성능을 극대화 하도록 설계하였다. 제안 모형의 성능을 검증하기 위해 국내주식시장의 실제 데이터를 적용해본 결과 ANN이나 CBR, MLOGIT, MDA와 같은 기존 데이터마이닝 기법들이나 인공지능 알고리즘은 물론 현재까지 가장 우수한 예측 성과를 나타내는 것으로 알려져 있던 전통적인 다분류 SVM 보다도 제안 모형이 보다 우수한 예측성과를 보임을 확인할 수 있었다. 특히 주가지수 추세 예측에 있어서 학습사례의 선택이 매우 중요한 역할을 하는 것으로 확인 되었으며, 모델의 성능의 개선효과에 다른 요인보다 중요한 요소임을 확인할 수 있었다.

심층 신경망을 이용한 영상 내 파프리카 인식 알고리즘 연구 (A Study on the Recognition Algorithm of Paprika in the Images using the Deep Neural Networks)

  • 화지호;이봉기;이대원
    • 한국농업기계학회:학술대회논문집
    • /
    • 한국농업기계학회 2017년도 춘계공동학술대회
    • /
    • pp.142-142
    • /
    • 2017
  • 본 연구에서는 파프리카를 자동 수확하기 위한 시스템 개발의 일환으로 파프리카 재배환경에서 획득한 영상 내에 존재하는 파프리카 영역과 비 파프리카 영역의 RGB 정보를 입력으로 하는 인공신경망을 설계하고 학습을 수행하고자 하였다. 학습된 신경망을 이용하여 영상 내 파프리카 영역과 비 파프리카 영역의 구분이 가능 할 것으로 사료된다. 심층 신경망을 설계하기 위하여 MS Visual studio 2015의 C++, MFC와 Python 및 TensorFlow를 사용하였다. 먼저, 심층 신경망은 입력층과 출력층, 그리고 은닉층 8개를 가지는 형태로 입력 뉴런 3개, 출력 뉴런 4개, 각 은닉층의 뉴런은 5개로 설계하였다. 일반적으로 심층 신경망에서는 은닉층이 깊을수록 적은 입력으로 좋은 학습 결과를 기대 할 수 있지만 소요되는 시간이 길고 오버 피팅이 일어날 가능성이 높아진다. 따라서 본 연구에서는 소요시간을 줄이기 위하여 Xavier 초기화를 사용하였으며, 오버 피팅을 줄이기 위하여 ReLU 함수를 활성화 함수로 사용하였다. 파프리카 재배환경에서 획득한 영상에서 파프리카 영역과 비 파프리카 영역의 RGB 정보를 추출하여 학습의 입력으로 하고 기대 출력으로 붉은색 파프리카의 경우 [0 0 1], 노란색 파프리카의 경우 [0 1 0], 비 파프리카 영역의 경우 [1 0 0]으로 하는 형태로 3538개의 학습 셋을 만들었다. 학습 후 학습 결과를 평가하기 위하여 30개의 테스트 셋을 사용하였다. 학습 셋을 이용하여 학습을 수행하기 위해 학습률을 변경하면서 학습 결과를 확인하였다. 학습률을 0.01 이상으로 설정한 경우 학습이 이루어지지 않았다. 이는 학습률에 의해 결정되는 가중치의 변화량이 너무 커서 비용 함수의 결과가 0에 수렴하지 않고 발산하는 경향에 의한 것으로 사료된다. 학습률을 0.005, 0.001로 설정 한 경우 학습에 성공하였다. 학습률 0.005의 경우 학습 횟수 3146회, 소요시간 20.48초, 학습 정확도 99.77%, 테스트 정확도 100%였으며, 학습률 0.001의 경우 학습 횟수 38931회, 소요시간 181.39초, 학습 정확도 99.95%, 테스트 정확도 100%였다. 학습률이 작을수록 더욱 정확한 학습이 가능하지만 소요되는 시간이 크고 국부 최소점에 빠질 확률이 높았다. 학습률이 큰 경우 학습 소요 시간이 줄어드는 반면 학습 과정에서 비용이 발산하여 학습이 이루어지지 않는 경우가 많음을 확인 하였다.

  • PDF

광역 스펙트로그램과 심층신경망에 기반한 중첩된 소리의 인식과 영향 분석 (Recognition of Overlapped Sound and Influence Analysis Based on Wideband Spectrogram and Deep Neural Networks)

  • 김영언;박구만
    • 방송공학회논문지
    • /
    • 제23권3호
    • /
    • pp.421-430
    • /
    • 2018
  • 많은 음성인식 시스템들은 MFCC와 HMM등의 분류 기법을 사용하여 사람의 음성을 인식한다. 그러나 이러한 음성인식 시스템은 단일 음성신호를 인식하는 것을 목적으로 설계되어, 인간과 기계사이의 일대일 음성 인식에는 적합하나, 애완동물 소리와 실내 소리같은 음성보다 다양하고 넓은 주파수의 소리 군으로 중첩된 음향 속에서 설정된 소리를 인식하기에는 제한이 있다. 중첩된 소리들의 주파수는 사람의 목소리보다 높은 최대 20 kHz까지 넓은 주파수 범위로 구성된다. 본 논문에서는 광역 사운드 스펙트로그램과 DNN에 기반한 케라스 시?셜 모델 기법을 활용하여 인지 주파수 범위를 넓게 확대하는 새로운 인식방법을 제안한다. 광역 사운드 스펙트로그램이 본 논문에서 설계된 특징 추출 및 분류 시스템과 같이 넓은 주파수 범위의 다양한 소리를 분석하고 실험하도록 채택되었다. 소리 인식률을 개선하기 위하여, 케라스 시?셜 모델이 사운드 스펙트로그램에 의하여 생성되어 추출된 특징을 사용하여 패턴인식을 수행하기 위한 방법으로 채용되었다. 제안된 특징 추출 및 분류 시스템이 광역 사운드 스펙트로그램과 케라스 시?셜 모델을 채용하여 애완동물 소리와 실내 소리같은 다양한 주파수들로 구성되어 중첩된 음향 속에서 설정된 소리를 우수하게 분류하는 것을 확인하였다. 그리고 중첩된 소리의 크기에 비례하여 인식에 미치는 특성과 영향을 단계별로 비교 분석하였다.

픽셀 단위 컨볼루션 네트워크를 이용한 복부 컴퓨터 단층촬영 영상 기반 골전이암 병변 검출 알고리즘 개발 (Development of Bone Metastasis Detection Algorithm on Abdominal Computed Tomography Image using Pixel Wise Fully Convolutional Network)

  • 김주영;이시영;김규리;조경원;유승민;소순원;박은경;조백환;최동일;박훈기;김인영
    • 대한의용생체공학회:의공학회지
    • /
    • 제38권6호
    • /
    • pp.321-329
    • /
    • 2017
  • This paper presents a bone metastasis Detection algorithm on abdominal computed tomography images for early detection using fully convolutional neural networks. The images were taken from patients with various cancers (such as lung cancer, breast cancer, colorectal cancer, etc), and thus the locations of those lesions were varied. To overcome the lack of data, we augmented the data by adjusting the brightness of the images or flipping the images. Before the augmentation, when 70% of the whole data were used in the pre-test, we could obtain the pixel-wise sensitivity of 18.75%, the specificity of 99.97% on the average of test dataset. With the augmentation, we could obtain the sensitivity of 30.65%, the specificity of 99.96%. The increase in sensitivity shows that the augmentation was effective. In the result obtained by using the whole data, the sensitivity of 38.62%, the specificity of 99.94% and the accuracy of 99.81% in the pixel-wise. lesion-wise sensitivity is 88.89% while the false alarm per case is 0.5. The results of this study did not reach the level that could substitute for the clinician. However, it may be helpful for radiologists when it can be used as a screening tool.