• 제목/요약/키워드: 딥-러닝 모델

검색결과 2,081건 처리시간 0.028초

도메인 특수성이 도메인 특화 사전학습 언어모델의 성능에 미치는 영향 (The Effect of Domain Specificity on the Performance of Domain-Specific Pre-Trained Language Models)

  • 한민아;김윤하;김남규
    • 지능정보연구
    • /
    • 제28권4호
    • /
    • pp.251-273
    • /
    • 2022
  • 최근 텍스트 분석을 딥러닝에 적용한 연구가 꾸준히 이어지고 있으며, 특히 대용량의 데이터 셋을 학습한 사전학습 언어모델을 통해 단어의 의미를 파악하여 요약, 감정 분류 등의 태스크를 수행하려는 연구가 활발히 이루어지고 있다. 하지만 기존 사전학습 언어모델이 특정 도메인을 잘 이해하지 못한다는 한계를 나타냄에 따라, 최근 특정 도메인에 특화된 언어모델을 만들고자 하는 방향으로 연구의 흐름이 옮겨가고 있는 추세이다. 도메인 특화 추가 사전학습 언어모델은 특정 도메인의 지식을 모델이 더 잘 이해할 수 있게 하여, 해당 분야의 다양한 태스크에서 성능 향상을 가져왔다. 하지만 도메인 특화 추가 사전학습은 해당 도메인의 말뭉치 데이터를 확보하기 위해 많은 비용이 소요될 뿐 아니라, 고성능 컴퓨팅 자원과 개발 인력 등의 측면에서도 많은 비용과 시간이 투입되어야 한다는 부담이 있다. 아울러 일부 도메인에서 추가 사전학습 후의 성능 개선이 미미하다는 사례가 보고됨에 따라, 성능 개선 여부가 확실하지 않은 상태에서 도메인 특화 추가 사전학습 모델의 개발에 막대한 비용을 투입해야 하는지 여부에 대해 판단이 어려운 상황이다. 이러한 상황에도 불구하고 최근 각 도메인의 성능 개선 자체에 초점을 둔 추가 사전학습 연구는 다양한 분야에서 수행되고 있지만, 추가 사전학습을 통한 성능 개선에 영향을 미치는 도메인의 특성을 규명하기 위한 연구는 거의 이루어지지 않고 있다. 본 논문에서는 이러한 한계를 극복하기 위해, 실제로 추가 사전학습을 수행하기 전에 추가 사전학습을 통한 해당 도메인의 성능 개선 정도를 선제적으로 확인할 수 있는 방안을 제시한다. 구체적으로 3개의 도메인을 분석 대상 도메인으로 선정한 후, 각 도메인에서의 추가 사전학습을 통한 분류 정확도 상승 폭을 측정한다. 또한 각 도메인에서 사용된 주요 단어들의 정규화된 빈도를 기반으로 해당 도메인의 특수성을 측정하는 지표를 새롭게 개발하여 제시한다. 사전학습 언어모델과 3개 도메인의 도메인 특화 사전학습 언어모델을 사용한 분류 태스크 실험을 통해, 도메인 특수성 지표가 높을수록 추가 사전학습을 통한 성능 개선 폭이 높음을 확인하였다.

정지궤도 기상위성 및 수치예보모델 융합을 통한 Multi-task Learning 기반 태풍 강도 실시간 추정 및 예측 (Multi-task Learning Based Tropical Cyclone Intensity Monitoring and Forecasting through Fusion of Geostationary Satellite Data and Numerical Forecasting Model Output)

  • 이주현;유철희;임정호;신예지;조동진
    • 대한원격탐사학회지
    • /
    • 제36권5_3호
    • /
    • pp.1037-1051
    • /
    • 2020
  • 최근 기후변화로 인해 강도가 높은 태풍의 빈도가 높아짐에 따라 태풍 예측의 중요성이 강조되고 있는 데, 태풍경로예측에 비해 태풍강도예측에 대한 연구는 미비한 상황이다. 이에 본 연구에서는 딥러닝 모델인 Multi-task learning (MTL) 기법을 활용하여 정지궤도기상위성을 활용한 관측자료와 수치예보모델을 융합한 실시간 추정 및 6시간, 12시간 후의 태풍강도예측 모델을 제안하고자 한다. 본 연구에서는 2011년에서 2016년까지 북서태평양에서 발생한 총 142개의 태풍을 대상으로 강도 예측 연구를 시행하였다. 한국 최초의 기상위성인 Communication, Ocean and Meteorological Satellite (COMS) Meteorological Imager (MI)를 활용하여 태풍의 관측영상을 추출하였고, National Center of Environmental Prediction (NCEP)에서 제공하는 Climate Forecast System version 2 (CFSv2)를 활용하여 6시간, 12시간 후의 태풍 주변 대기 및 해양 예측변수를 추출하였다. 본 연구에서는 각 입력자료의 활용성을 정량화 하기 위하여, 위성 기반 태풍관측영상만을 활용한 MTL 모델(Scheme 1)과 수치예보모델을 융합적으로 활용한 MTL 모델(Scheme 2)을 구축하고, 각 모델의 훈련 및 검증 성능을 정량적으로 비교하였다. 실시간 강도 추정의 결과 scheme 1과 scheme 2에서 비슷한 성능을 보이는 반면, 6시간, 12시간 후 태풍강도예측의 경우 scheme 2에서 각각 13%, 16% 개선된 결과를 보였다. 태풍 단계별 예측성능에 대한 분석을 시행한 결과, 저강도 태풍일수록 낮은 평균제곱근오차를 보인 반면, 대부분의 강도 단계에서 평균제곱근편차비는 30% 미만의 값을 보이며 유의미한 검증 결과를 보였다. 이에 본 연구에서 제시한 두가지 모델을 기반으로 2014년 발생한 태풍 HALONG의 시계열검증을 시행하였다. 그 결과, scheme 1의 경우 태풍 초기발달단계에서 태풍의 강도를 약 20 kts가량 과대 추정하는 경향을 보이는데, 환경예측자료를 융합한 scheme 2에서는 오차가 약 5 kts가량으로 과대 추정 경향이 줄어들었다. 본 연구에서 제시하는 현재, 6시간, 12시간 후 강도를 동시에 추출하는 MTL 모델은 Single-tasking model 대비 약 300%의 시간 효율을 보이며, 향후 신속한 태풍 예보 정보 추출에 큰 기여를 할 수 있을 것으로 기대된다.

CNN 기반 위장관 랜드마크 분류기를 이용한 위장관 교차점 추정 (Estimating Gastrointestinal Transition Location Using CNN-based Gastrointestinal Landmark Classifier)

  • 장현웅;임창남;박예슬;이광재;이정원
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권3호
    • /
    • pp.101-108
    • /
    • 2020
  • 최근의 영상 처리 분야는 딥러닝 기법들의 성능이 입증됨에 따라 다양한 분야에서 이와 같은 기법들을 활용해 영상에 대한 분류, 분석, 검출 등을 수행하려는 시도가 활발하다. 그중에서도 의료 진단 보조 역할을 할 수 있는 의료 영상 분석 소프트웨어에 대한 기대가 증가하고 있는데, 본 연구에서는 데이터 셋이 방대하고 판단에 시간이 오래 걸리는 캡슐내시경 영상에 주목하였다. 본 논문의 목적은 캡슐내시경 영상의 판독에서 모든 환자에 대해 공통으로 수행되고, 판독하는 데 많은 시간을 차지하는 위장관 랜드마크를 구별하고 위장관 교차점을 추정하는 것이다. 이를 위해, 위장관 랜드마크를 식별할 수 있는 CNN 학습 모델을 설계하였으며, 이를 이용하여 결괏값을 필터링해 위장관 교차점을 추정하였다. 무작위로 환자 데이터를 샘플링한 모델을 이용해서 나온 결과를 필터링 후에 위장관 교차점을 추정하였을 때, 88% 환자는 위장에서 소장으로 변화하는 위장관 교차점(유문판) 의심 구역 안에 들어왔으며, 소장에서 대장으로 변화하는 위장관 교차점(회맹판)의 경우 100% 환자가 위장관 교차점 의심 구역 안에 들어온 것을 확인할 수 있었다. 100프레임 범위로 위장관 교차점 의심 구역을 찾을 수 있었으며, 판독자가 초당 10프레임의 속도로 판독을 진행한다면 10초안에 위장관 교차점을 찾아낼 수 있다.

전통문화 이미지를 위한 세부 자질 주목형 이미지 자동 분석기 (Detail Focused Image Classifier Model for Traditional Images)

  • 김규경;허윤아;김경민;유원희;임희석
    • 한국융합학회논문지
    • /
    • 제8권12호
    • /
    • pp.85-92
    • /
    • 2017
  • 이 논문에서는 최근 전통문화의 늘어나는 콘텐츠와 대조적으로 전통문화에 대한 접근성이 떨어지는 점에 주목하여 이러한 콘텐츠의 접근성의 향상을 위해 지속된 관리와 연구를 위하여 전통문화 이미지를 위한 이미지 자동 분석기를 소개한다. 이 논문에서 소개하는 이미지 자동 분석기는 인공신경망을 기반으로 입력 이미지의 자질들을 벡터스페이스로 변환하여 이를 RNN 기반의 모델을 통하여 세부 자질들을 파악하여 전통문화 이미지의 분류를 행한다. 이러한 방법을 통하여 전체적으로 비슷하게 보이는 전통문화 이미지들의 분류를 가능케 한다. 해당 모델의 훈련을 위하여 한민족정보문화마당 기반의 형식을 토대로 넓은 폭의 이미지 데이터를 수집 및 정리하여 차후 전통문화 이미지 관련 분야에서 사용할 수 있는 데이터셋의 구축에 기여를 하였다. 또한 이러한 연구가 최종적으로 전통문화와 관련된 수요, 공급 및 연구가 한층 더 활발해지는 것에 기여를 한다.

NARX 신경망 최적화를 통한 주가 예측 및 영향 요인에 관한 연구 (A Study on the stock price prediction and influence factors through NARX neural network optimization)

  • 전민종;이욱
    • 한국산학기술학회논문지
    • /
    • 제21권8호
    • /
    • pp.572-578
    • /
    • 2020
  • 주식 시장은 기업 실적 및 경기 상황뿐만 아니라 정치, 사회, 자연재해 등 예기치 못한 요소들에 영향을 받는다. 이런 요소들을 고려한 정확한 예측을 위해서 다양한 기법들이 사용된다. 최근 인공지능 기술이 화두가 되면서 이를 활용한 주가 예측 시도 또한 이루어지고 있다. 본 논문은 단순히 주식 관련 데이터뿐만 아닌, 거시 경제적 지표 등을 활용한 여러 종류의 데이터를 이용하여 주가에 영향을 미치는 요소에 관한 연구를 제안한다. KOSDAQ을 대상으로 1년 치 종가, 외국인 비율, 금리, 환율 데이터를 다양하게 조합한 후에 딥러닝의 Nonlinear AutoRegressive with eXternal input (NARX) 모델을 활용한다. 이 모델을 통해 1달 치 데이터를 생성하고 각 데이터 조합을 통해 만들어진 예측값을 RMSE를 통해 실제값과 비교, 분석한다. 또한, 은닉층에서 뉴런의 수, 지연 시간을 다양하게 설정하여 RMSE를 비교한다. 분석 결과 뉴런은 10개, 지연 시간은 2로 설정하고, 데이터는 미국, 중국, 유럽, 일본 환율의 조합을 사용할 때 RMSE 0.08을 보이며 가장 낮은 오차를 기록하였다. 본 연구는 환율이 주식에 가장 영향을 많이 미친다는 점과 종가 데이터만 사용했을 때의 RMSE 값인 0.589에서 오차를 낮췄다는 점에 의의가 있다.

소셜데이터 분석 및 인공지능 알고리즘 기반 범죄 수사 기법 연구 (Artificial Intelligence Algorithms, Model-Based Social Data Collection and Content Exploration)

  • 안동욱;임춘성
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.23-34
    • /
    • 2019
  • 최근 디지털 플랫폼을 활용한 민생 위협 범죄는 '15년 약 14만여 건, '16년 약 15만여 건 등 사이버범죄 지속 증가 추이이며 전통적인 수사기법을 통한 온라인 범죄 대응에 한계가 있다고 판단되고 있다. 현행 수기 온라인 검색 및 인지 수사 방식만으로는 빠르게 변화하는 민생 위협 범죄에 능동적으로 대처 할 수 없으며, 소셜 미디어 특성상 불특정 다수에게 게시되는 콘텐츠로 이루어 졌다는 점에서 더욱 어려움을 겪고 있다. 본 연구는 민생 침해 범죄가 발생하는 온라인 미디어의 특성을 고려한 콘텐츠 웹 수집 방식 중 사이트 중심의 수집과 Open API를 통한 방식을 제시한다. 또한 불법콘텐츠의 특성상 신속히 게시되고 삭제되며 신조어, 변조어 등이 다양하고 빠르게 생성되기 때문에 수작업 등록을 통한 사전 기반 형태소 분석으로는 빠른 인지가 어려운 상황이다. 이를 해소 하고자 온라인에서 벌어지는 민생 침해 범죄를 게시하는 불법 콘텐츠를 빠르게 인지하고 대응하기 위한 데이터 전처리인 WPM(Word Piece Model)을 통하여 기존의 사전 기반의 형태소 분석에서 토크나이징 방식을 제시한다. 데이터의 분석은 불법 콘텐츠의 수사를 위한 지도학습 기반의 분류 알고리즘 모델을 활용, 투표 기반(Voting) 앙상블 메소드를 통하여 최적의 정확도를 검증하고 있다. 본 연구에서는 민생경제를 침해하는 범죄를 사전에 인지하기 위하여 불법 다단계에 대한 사례를 중심으로 분류 알고리즘 모델을 활용하고, 소셜 데이터의 수집과 콘텐츠 수사에 대하여 효과적으로 대응하기 위한 실증 연구를 제시하고 있다.

  • PDF

맞춤형 여행 콘텐츠 개발을 위한 OCR 기법을 활용한 영화 속 촬영지 정보 추출 방안 제시 (Study on Extracting Filming Location Information in Movies Using OCR for Developing Customized Travel Content)

  • 박은비;신유빈;강주영
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.29-39
    • /
    • 2020
  • 목적 사회 전반적으로 퍼진 개인의 취향에 대해 존중하는 분위기는 소비 트렌드를 바꾸었다. 그에 따라 여행 산업에서도 소비자 개인의 취향을 반영하는 맞춤형 여행이 새로운 트렌드로 주목받고 있다. 특히 여행 산업 분야 중 하나인 '영화 관광'에 대한 관심이 커지고 있음에 주목하였다. 영화를 시청하며 발생하는 개인의 여행 동기를 맞춤형 여행 제안으로 충족시키고자 하며, 이는 '영화 관광 산업'의 지속적 발전의 촉진제가 될 것으로 기대한다. 설계/방법론/접근 본 연구에서는 시청자가 실제로 방문하고 싶은 영화 속 촬영지 정보를 'OCR'을 통해 추출, 제안하는 방법론을 구현하였다. 먼저, 실시간 이미지 프로세싱 라이브러리인 'OpenCV'를 활용하여 사용자가 선택한 영화 속 장면을 추출 받는다. 또한, 딥러닝 기반의 텍스트 영역 탐지모델인 'EAST 모델'을 활용하여 해당 장면 이미지에서 문자가 위치한 곳을 탐지하여 검출한다. 검출한 이미지는 'OpenCV 내장 함수'를 사용해 전처리하여 인식의 정확도를 높인다. 마지막으로 광학 문자 인식 엔진인 'Tesseract'를 사용하여 이미지 속 문자를 인식 가능한 텍스트로 변환한 후, 'Google Map API'를 통해 실제 위치 정보를 반환한다. 의의 본 연구는 기존의 영화 관광에서 나아가, 4차 산업 기술을 활용한 개인 맞춤 관광 콘텐츠를 제공해준다는 점에서 큰 의의가 있다. 이는 앞으로 여행사와 함께 영화 관광 패키지 상품 개발에 활용될 수 있다. 또한 국내에서 해외로의 유입뿐만 아니라, 해외에서 국내로의 유입에 활용될 가능성 역시 내포하고 있다.

Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식 (Conformer with lexicon transducer for Korean end-to-end speech recognition)

  • 손현수;박호성;김규진;조은수;김지환
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.530-536
    • /
    • 2021
  • 최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.

다양한 크기의 식별자를 적용한 Cycle GAN을 이용한 다목적실용위성 5호 SAR 영상 색상 구현 방법 (The Method for Colorizing SAR Images of Kompsat-5 Using Cycle GAN with Multi-scale Discriminators)

  • 구원회;정대원
    • 대한원격탐사학회지
    • /
    • 제34권6_3호
    • /
    • pp.1415-1425
    • /
    • 2018
  • 다목적실용위성 5호는 국내 최초로 영상레이더(SAR)가 탑재된 지구관측위성이다. SAR 영상은 위성에 부착된 안테나로부터 방사된 마이크로파가 물체로부터 반사된 신호를 수신하여 생성된다. SAR는 대기 중의 입자의 크기에 비해 파장이 긴 마이크로파를 사용하기 때문에 구름이나 안개 등을 투과할 수 있으며, 주야간 구분 없이 고해상도의 영상을 얻을 수 있다. 하지만, SAR 영상에는 색상 정보가 부재하는 제한점이 존재한다. 이러한 SAR 영상의 제한점을 극복하기 위해, 도메인 변환을 위해 개발된 딥러닝 모델인 Cycle GAN을 활용하여 SAR 영상에 색상을 대입하는 연구를 수행하였다. Cycle GAN은 unpaired 데이터셋 기반의 무감독 학습으로 인해 학습이 불안정하다. 따라서 Cycle GAN의 학습 불안정성을 해소하고, 색상 구현의 성능을 향상하기 위해 다중 크기 식별자를 적용한 MS Cycle GAN을 제안하였다. MS Cycle GAN과 Cycle GAN의 색상 구현 성능을 비교하기 위하여 두 모델이 Florida 데이터셋을 학습하여 생성한 영상을 정성적 및 정량적으로 비교하였다. 다양한 크기의 식별자가 도입된 MS Cycle GAN은 기존의 Cycle GAN과 비교하여 학습 결과에서 생성자 및 식별자 손실이 대폭 감소되었고, 나뭇잎, 강, 토지 등의 영역 특성에 부합하는 색상이 구현되는 것을 확인하였다.

합성곱 신경망(Convolutional Neural Network)을 활용한 지능형 유사상표 검색 모형 개발 (A Study on Similar Trademark Search Model Using Convolutional Neural Networks)

  • 윤재웅;이석준;송칠용;김연식;정미영;정상일
    • 경영과정보연구
    • /
    • 제38권3호
    • /
    • pp.55-80
    • /
    • 2019
  • 전 세계적으로 온라인 상거래 시장 규모가 성장함에 따라 국제 및 국내 기업의 상표권이 침해되는 사례가 빈번하게 발생하고 있다. 다양한 연구 및 보고서에 따르면, 해외 기업 또는 개인이 국내 기업의 상표권을 침해한 사례와, 국내 기업 간 발생하는 상표권 분쟁 사례가 증가하고 있는 것으로 나타나고 있으며, 특허청의 보고서에 따르면 기업의 규모가 작을수록 상표보호를 위한 사전 예방활동을 수행하지 않는다고 응답한 비율이 높은 것으로 나타났다. 이러한 문제는 선등록 상표에 대한 사전조사 또는 자사의 상표보호를 위해 소요되는 인력과 비용이 원인인 것으로 판단된다. 한편, 국내에서 선등록상표에 대한 사전조사를 위해 상용되는 서비스를 살펴보면 상표 이미지를 활용한 검색 서비스를 제공하고 있지 않은 상황이다. 이로 인해 국내 대다수의 기업은 자사의 상표 보호 및 선등록 상표에 대한 사전조사 수행 시 방대한 양의 선등록된 상표를 수작업으로 조사해야하는 문제가 발생한다. 따라서 본 연구에서는 기업의 상표권 보호 및 선등록 상표에 대한 사전조사 수행 시 투입되는 인력 및 비용절감과, 국내외에서 발생하고 있는 상표권 침해 문제를 해결하기 위해 합성곱 신경망 기법을 활용한 지능형 유사 상표 검색 모델을 개발하고자 한다. 지적 재산권 전문가가 선정한 테스트 데이터를 활용하여 지능형 유사 상표 검색 모델의 정확도를 측정한 결과 ResNet V1 101의 성능이 가장 높게 나타났다. 해당 결과를 통해 이미지 분류 알고리즘이 단순한 사물 인식 분야뿐만 아니라 이미지 검색 분야에서도 높은 성능을 나타낸다는 것을 실증적으로 입증했으며, 본 연구는 실제 상표 이미지 데이터를 활용했다는 측면에서 실제 산업 환경에서 활용성이 높을 것으로 사료된다.