• 제목/요약/키워드: Deep learning algorithm

검색결과 1,146건 처리시간 0.024초

Hierarchical Attention Network를 이용한 복합 장애 발생 예측 시스템 개발 (Development of a complex failure prediction system using Hierarchical Attention Network)

  • 박영찬;안상준;김민태;김우주
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.127-148
    • /
    • 2020
  • 데이터 센터는 컴퓨터 시스템과 관련 구성요소를 수용하기 위한 물리적 환경시설로, 빅데이터, 인공지능 스마트 공장, 웨어러블, 스마트 홈 등 차세대 핵심 산업의 필수 기반기술이다. 특히, 클라우드 컴퓨팅의 성장으로 데이터 센터 인프라의 비례적 확장은 불가피하다. 이러한 데이터 센터 설비의 상태를 모니터링하는 것은 시스템을 유지, 관리하고 장애를 예방하기 위한 방법이다. 설비를 구성하는 일부 요소에 장애가 발생하는 경우 해당 장비뿐 아니라 연결된 다른 장비에도 영향을 미칠 수 있으며, 막대한 손해를 초래할 수 있다. 특히, IT 시설은 상호의존성에 의해 불규칙하고 원인을 알기 어렵다. 데이터 센터 내 장애를 예측하는 선행연구에서는, 장치들이 혼재된 상황임을 가정하지 않고 단일 서버를 단일 상태로 보고 장애를 예측했다. 이에 본 연구에서는, 서버 내부에서 발생하는 장애(Outage A)와 서버 외부에서 발생하는 장애(Outage B)로 데이터 센터 장애를 구분하고, 서버 내에서 발생하는 복합적인 장애 분석에 중점을 두었다. 서버 외부 장애는 전력, 냉각, 사용자 실수 등인데, 이와 같은 장애는 데이터 센터 설비 구축 초기 단계에서 예방이 가능했기 때문에 다양한 솔루션이 개발되고 있는 상황이다. 반면 서버 내 발생하는 장애는 원인 규명이 어려워 아직까지 적절한 예방이 이뤄지지 못하고 있다. 특히 서버 장애가 단일적으로 발생하지 않고, 다른 서버 장애의 원인이 되기도 하고, 다른 서버부터 장애의 원인이 되는 무언가를 받기도 하는 이유다. 즉, 기존 연구들은 서버들 간 영향을 주지 않는 단일 서버인 상태로 가정하고 장애를 분석했다면, 본 연구에서는 서버들 간 영향을 준다고 가정하고 장애 발생 상태를 분석했다. 데이터 센터 내 복합 장애 상황을 정의하기 위해, 데이터 센터 내 존재하는 각 장비별로 장애가 발생한 장애 이력 데이터를 활용했다. 본 연구에서 고려되는 장애는 Network Node Down, Server Down, Windows Activation Services Down, Database Management System Service Down으로 크게 4가지이다. 각 장비별로 발생되는 장애들을 시간 순으로 정렬하고, 특정 장비에서 장애가 발생하였을 때, 발생 시점으로부터 5분 내 특정 장비에서 장애가 발생하였다면 이를 동시에 장애가 발생하였다고 정의하였다. 이렇게 동시에 장애가 발생한 장비들에 대해서 Sequence를 구성한 후, 구성한 Sequence 내에서 동시에 자주 발생하는 장비 5개를 선정하였고, 선정된 장비들이 동시에 장애가 발생된 경우를 시각화를 통해 확인하였다. 장애 분석을 위해 수집된 서버 리소스 정보는 시계열 단위이며 흐름성을 가진다는 점에서 이전 상태를 통해 다음 상태를 예측할 수 있는 딥러닝 알고리즘인 LSTM(Long Short-term Memory)을 사용했다. 또한 단일 서버와 달리 복합장애는 서버별로 장애 발생에 끼치는 수준이 다르다는 점을 감안하여 Hierarchical Attention Network 딥러닝 모델 구조를 활용했다. 본 알고리즘은 장애에 끼치는 영향이 클 수록 해당 서버에 가중치를 주어 예측 정확도를 높이는 방법이다. 연구는 장애유형을 정의하고 분석 대상을 선정하는 것으로 시작하여, 첫 번째 실험에서는 동일한 수집 데이터에 대해 단일 서버 상태와 복합 서버 상태로 가정하고 비교분석하였다. 두 번째 실험은 서버의 임계치를 각각 최적화 하여 복합 서버 상태일 때의 예측 정확도를 향상시켰다. 단일 서버와 다중 서버로 각각 가정한 첫 번째 실험에서 단일 서버로 가정한 경우 실제 장애가 발생했음에도 불구하고 5개 서버 중 3개의 서버에서는 장애가 발생하지 않은것으로 예측했다. 그러나 다중 서버로 가정했을때에는 5개 서버 모두 장애가 발생한 것으로 예측했다. 실험 결과 서버 간 영향이 있을 것이라고 추측한 가설이 입증된 것이다. 연구결과 단일 서버로 가정했을 때 보다 다중 서버로 가정했을 때 예측 성능이 우수함을 확인했다. 특히 서버별 영향이 다를것으로 가정하고 Hierarchical Attention Network 알고리즘을 적용한 것이 분석 효과를 향상시키는 역할을 했다. 또한 각 서버마다 다른 임계치를 적용함으로써 예측 정확도를 향상시킬 수 있었다. 본 연구는 원인 규명이 어려운 장애를 과거 데이터를 통해 예측 가능하게 함을 보였고, 데이터 센터의 서버 내에서 발생하는 장애를 예측할 수 있는 모델을 제시했다. 본 연구결과를 활용하여 장애 발생을 사전에 방지할 수 있을 것으로 기대된다.

딥러닝 알고리즘을 이용한 저선량 디지털 유방 촬영 영상의 복원: 예비 연구 (Radiation Dose Reduction in Digital Mammography by Deep-Learning Algorithm Image Reconstruction: A Preliminary Study)

  • 하수민;김학희;강은희;서보경;최나미;김태희;구유진;예종철
    • 대한영상의학회지
    • /
    • 제83권2호
    • /
    • pp.344-359
    • /
    • 2022
  • 목적 깊은 컨볼루션 신경망 기법을 결합한 영상 잡음 제거 알고리즘을 개발하고 이를 응용하여 저선량 유방 촬영 영상으로 유방암을 진단하는 데 그 효능을 조사하고자 한다. 대상과 방법 6명의 유방 영상 전문의가 전향적 연구에 참여하였다. 모든 영상 전문의는 병변 감지를 위해 저선량 영상을 독립적으로 평가하고 정성적 척도를 사용하여 진단 품질을 평가하였다. 영상 잡음 제거 알고리즘을 적용한 후, 동일한 영상 전문의가 병변 감지 가능성과 영상 품질에 대한 평가를 하였다. 임상 적용을 위해 동일한 영상 전문의가 병변 유형과 위치에 대한 합의 결정 후, 저선량 영상, 재구성된 영상, 기존 선량 영상을 무작위 순서로 제시하여 평가하였다. 결과 전 절제 표본의 저선량 영상을 참조로 40% 재구성된 영상에서 병변이 더 잘 인식되었다. 임상 적용단계에서 40% 재구성된 영상과 비교하여, 기존 선량 영상이 해상도(p < 0.001), 석회에 대한 진단 품질(p < 0.001), 유방 종괴, 비대칭, 구조왜곡의 진단 품질(p = 0.037)에 대해 더 높은 평균값을 보였다. 40% 재구성된 영상은 100% 영상과 비교 시 전반적 화질(p = 0.547), 병변의 가시성(p = 0.120), 대조도(p = 0.083)에서 비슷한 성적을 보였으며 유의미한 차이도 보이지 않았다. 결론 깊은 컨볼루션 신경망 기법을 결합한 효과적인 잡음 제거 및 영상 재구성 처리 알고리즘은 유방 촬영의 상당한 선량 감소를 위한 길을 열어 유방암 진단을 가능하게 할 것이다.

인공신경망을 이용한 터널구간의 암반분류 예측 (A prediction of the rock mass rating of tunnelling area using artificial neural networks)

  • 한명식;양인재;김광명
    • 한국터널지하공간학회 논문집
    • /
    • 제4권4호
    • /
    • pp.277-286
    • /
    • 2002
  • 터널을 설계함에 있어서 굴착방법이나 지보패턴을 결정할 때 어려움을 겪는 주된 요인은 현지 지반에 작용하는 응력조건 및 암반상태를 정확히 파악하는데 한계가 있기 때문이다. 현장 장비의 제약, 터널을 굴착 위치까지 접근성이 난이함 등의 기술적인 제약뿐만 아니라 최근에는 민원이나 각종 인허가 등으로 더욱 많은 제약요건이 존재한다. 그럼에도 불구하고 최근들어 대안설계나 턴키설계를 통하여 직접적인 시추에 의존하지 않더라도 미지의 산악터널구간에 대한 지반정보를 획득할 수 있는 고급화된 물리탐사기술이 눈부시게 발전하는 추세이며 이를 통하여 터널굴착구간의 암반에 대한 직 간접적인 지반정보를 입수할 수 있다. 인공신경망 (ANN)의 장점은 이러한 적은 양의 지반정보와 생물학적인 로직화 과정을 통하여 입력변수에 대한 보다 신뢰성있는 결과를 제공하여 준다는 것이다. 본 연구에서는 미지의 터널굴착구간에 대한 예비 지반정보를 입력항목으로 하여 인공신경망의 오류역전파 학습알고리즘기법에 의하여 학습된 패턴을 가지고 미지의 터널굴착구간에 대한 예비 암반분류 (RMR)를 수행하는데 그 목적을 두었다. 이를 위하여 연장 4km에 달하는 ${\triangle}{\triangle}$터널현장에 대한 인공신경망 모형적용시 입력자료에 대한 적정성을 사전 평가하였고, 그 이후에 물리탐사자료를 입력변수로 활용하여 미지의 터널구간에 대한 RMR을 예측하였다. 그 결과 자료의 일치성이나 예측 RMR에 대한 신뢰도가 높은 것으로 나타났으며, 향후에는 학습효과를 높이기 위한 입력변수의 민감도 분석 (sensitivity analysis)수행 및 모델과정에서 노출된 몇가지 문제점 보완등을 통하여 설계에 적극적으로 활용하고자 한다.

  • PDF

질의 응답 시스템에서 심층적 질의 카테고리의 개념 커버리지에 기반한 의미적 질의 확장 (Semantic Query Expansion based on Concept Coverage of a Deep Question Category in QA systems)

  • 김혜정;강보영;이상조
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권3호
    • /
    • pp.297-303
    • /
    • 2005
  • 질의응답(Question Answering) 시스템은 질의에서 요구하는 정답 유형(Answer type) 및 질의에 사용된 용어를 적용하여 보다 정확한 답을 추출하고자 한다. 그러나 질의에 사용된 용어들이 문서에 그대로 사용되지 않고 같은 의미의 다른 어휘로 출현하기도 하며, 흑은 다른 문법적 정보를 가진 카테고리에 등장하여 정답 추출에 어려움이 따른다. 만약, 질의에서 요구하는 정보유형을 보다 깊게 세분화하고, 세분화된 질의 유형과 개념적으로 유사한 문장을 대상으로 정답 추출을 수행할 수 있다면 보다 정확한 정답을 추출할 수 있을 것이다. 따라서, 본 논문은 심층 질의 카테고리의 개념 커버리지에 기반한 효과적인 의미적 질의 확장 방법론을 제안한다. 질의에서 요구하는 정보 유형을 보다 세분화된 심충 질의 카테고리로 나누고, 이러한 심층 질의 카테고리를 표현하기 위해 동원되는 어휘 집합에 질의 확장을 적용함으로써 정답 추출의 성능을 향상시키고자 하였다. 제안된 시스템의 성능 평가를 위하여, TREC 문서 중 1991년도 WSJ(Wall Street Journal) 42,654건과 TREC-9의 질의를 대상으로 실험한 결과 질의 확장을 수행하지 않는 시스템의 경우 MRR(Mean reciprocal ratio) 측정에서 0.223의 결과를 보인 반면 제안된 시스템의 경우 0.50의 향상된 결과를 보였다.

Stock prediction using combination of BERT sentiment Analysis and Macro economy index

  • Jang, Euna;Choi, HoeRyeon;Lee, HongChul
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권5호
    • /
    • pp.47-56
    • /
    • 2020
  • 주가지수는 한 국가의 경제 지표뿐만 아니라 투자판단의 지표로도 활용되므로 이를 예측하는 연구가 지속해서 진행되고 있다. 주가지수 예측을 하는 작업은 기술적, 경제적 및 심리적 요인 등이 반영된 것으로 예측의 정확도를 위해서는 복합적 요인을 고려해야 한다. 따라서 지수의 변동에 영향을 미치는 요인들을 선별하여 반영한 주가지수 예측모델연구가 필요하다. 이와 관련한 기존 연구에서는 시장의 변동을 만들어 내는 뉴스 정보 또는 거시 경제 지표를 각각 이용하거나, 몇 가지의 지표 조합만을 반영한 예측 연구가 대부분이었다. 따라서 본 연구에서는 미국 다우존스지수 예측을 위해 뉴스 정보의 감성 분석과 다양한 거시경제지표를 고려하여 효과적인 지표 조합을 제시하고자 한다. 뉴스 정보의 감성 분석은 최신 자연어처리 기법인 BERT와 NLTK VADER를 사용하고, 예측모델은 주가예측모델로 적합하다고 알려진 딥러닝 예측모델 LSTM을 적용하여 가장 효과적인 지표 조합을 제시했다.

소나무재선충병 피해목 탐지를 위한 UAV기반의 식생지수 비교 연구 (A Study on the UAV-based Vegetable Index Comparison for Detection of Pine Wilt Disease Trees)

  • 정윤영;김상욱
    • 지적과 국토정보
    • /
    • 제50권1호
    • /
    • pp.201-214
    • /
    • 2020
  • 본 연구는 UAV 영상의 식생지수를 활용한 소나무재선충병 피해목 조기 탐지를 그 목적으로 하며, NDVI를 비롯한 대표적인 식생지수들을 선정하고 각각의 분류 정확도 비교분석을 통해 최적의 식생지수를 분석해보았다. 현장답사를 통하여 193개체의 소나무재선충병 피해목 위치데이터를 구축하고 동시에 다중분광 UAV 영상을 이용하여 4가지 식생지수 분석을 수행하였다. 무감독분류(K-Means)를 통하여 피해목을 분류하였고, 오차행렬(Confusion Matrix)를 이용하여 식생지수별 분류정확도를 비교·분석하였다. 연구의 결과를 요약하면 다음과 같다. 첫째 분류의 전체정확도는 NDVI (88.04%, Kappa계수 0.76) > GNDVI (86.01%, Kappa계수 0.72) > NDRE (77.35%, Kappa계수 0.55) > SAVI (76.84%, Kappa계수 0.54)순으로 분석되어 NDVI가 가장 높은 정확도를 보였으며, GNDVI가 거의 비슷한 수준의 분류정확도를 보였다. 둘째, NDVI 및 GNDVI 식생지수를 이용한 K-Means 무감독 분류방법으로 피해목의 판별이 어느 정도 가능한 것으로 판단된다. 특히 위 기법은 연산이 집약적이고 사용자의 개입이 적고 분석과정이 상대적으로 간단하여 피해목의 조기 탐지에 도움을 줄 수 있을 것으로 판단된다. 향후 시계열영상의 활용 또는 딥러닝기법의 추가 응용으로 분류정확도를 높일 수 있을 것으로 기대한다.

RGB와 IR 영상의 압축률에 따른 객체 탐지 신경망 성능 분석 (Performance Analysis of Object Detection Neural Network According to Compression Ratio of RGB and IR Images)

  • 이예지;김신;임한신;이희경;추현곤;서정일;윤경로
    • 방송공학회논문지
    • /
    • 제26권2호
    • /
    • pp.155-166
    • /
    • 2021
  • 현재 대부분의 객체 탐지 알고리즘은 RGB 영상을 기반으로 연구되고 있다. 하지만 RGB 카메라는 물체에서 반사되는 빛을 받아들여 영상을 생성하기 때문에, 물체에서 나오는 빛이 적거나 산란이 되는 야간 또는 안개가 끼는 환경에서는 물체의 정보가 잘 표현되는 영상 취득이 어려워 객체 탐지의 정확도가 떨어진다. 그에 반해 IR(열 적외선, Infra-Red) 영상은 열 센서로 이미지를 생성하기 때문에 RGB 영상에 비해 정확한 물체의 정보를 표현할 수 있다. 따라서 본 논문에서는 이러한 이미지 특성 차이에 따른 객체 탐지 성능을 비교하고자 하며, RGB와 IR 영상의 압축률에 따른 객체 탐지를 수행하고, 결과를 비교 분석 하고자 한다. 실험에 사용된 영상은 첨단운전자 보조 시스템(ADAS) 연구용 데이터 세트인 Free FLIR Thermal 데이터 세트 중 야간에 촬영된 RGB 영상과 IR 영상을 사용하였으며, 기존 RGB 영상 기반으로 사전 학습된 신경망과 FLIR Thermal 데이터 세트 내 RGB 영상과 IR 영상을 일부 골라 재학습한 신경망을 이용하여 객체 탐지를 수행하였다. 실험 결과 RGB 기반으로 사전 학습된 신경망과 재학습한 신경망 모두 IR 영상 기반 객체 탐지 성능이 RGB 영상 기반 성능보다 월등한 것을 확인할 수 있었다.

토픽 모델링 기반의 국내외 공공데이터 연구 동향 비교 분석 (Topic Modeling-Based Domestic and Foreign Public Data Research Trends Comparative Analysis)

  • 박대영;김덕현;김건욱
    • 디지털융복합연구
    • /
    • 제19권2호
    • /
    • pp.1-12
    • /
    • 2021
  • 최근 4차 산업혁명으로 빅데이터의 성장과 가치는 지속적으로 증가하고 있으며, 정부에서도 공공데이터 개방과 활용에 적극적으로 노력하고 있다. 하지만 여전히 시민들의 공공데이터 활용 요구수준에는 미치지 못하는 상황이며, 현 시점에서 공공데이터 분야의 연구동향 파악과 발전 방향을 모색할 필요가 있다. 이에 본 연구에서는 공공데이터와 관련된 연구 동향을 파악하기 위해서 텍스트 마이닝 기법에서 주로 활용되는 토픽 모델링을 활용하여 분석하였다. 이를 위해 국내외 학술논문 중 '공공데이터', 'Public Data'의 키워드가 포함된 논문(국내 1,437건, 국외 9,607건)을 수집하여 LDA 알고리즘 기반의 토픽 모델링을 수행하였으며, 국내외 공공데이터 연구 동향을 비교 분석하여 정책적 시사점을 제시하였다. 분석 결과 국내의 경우 공공분야 정책 연구가 주를 이루고 있으며, 국외는 의료, 건강 관련 연구가 높게 나타났다. 토픽별 시계열로 살펴보면 국내는 '개인정보보호', '공공데이터 관리', '도시 환경' 분야의 연구가 증가하였으며, 국외는 '도시정책', '세포 생물학', '딥러닝', '클라우드·보안' 분야 연구가 활성화되고 있음을 확인할 수 있었다.

연속파 레이다를 활용한 이진 신경망 기반 사람 식별 및 동작 분류 시스템 설계 및 구현 (Design and Implementation of BNN based Human Identification and Motion Classification System Using CW Radar)

  • 김경민;김성진;남궁호정;정윤호
    • 한국항행학회논문지
    • /
    • 제26권4호
    • /
    • pp.211-218
    • /
    • 2022
  • 연속파 레이다는 카메라나 라이다와 같은 센서에 비해서 안정성과 정확성이 보장된다는 장점이 있다. 또한 이진 신경망은 다른 딥러닝 기술에 비해서 메모리 사용량과 연산 복잡도를 크게 줄일 수 있는 특징이 있다. 따라서 본 논문에서는 연속파 레이다와 이진 신경망 기반 사람 식별 및 동작 분류 시스템을 제안한다. 연속파 레이다 센서를 통해 수신된 신호를 단시간 푸리에 변환함으로써 스펙트로그램을 생성한다. 이 스펙트로그램을 기반으로 레이다를 향해 사람이 다가오는지 감지하는 알고리즘을 제안한다. 더불어, 최적화된 이진 신경망 모델을 설계하여 사람 식별 90.0%, 동작 분류 98.3%의 우수한 정확도를 지원할 수 있음을 확인하였다. 이진 신경망 연산을 가속하기 위해 FPGA (field programmable gate array)를 이용하여 이진 신경망 연산에 대한 하드웨어 가속기를 설계하였다. 해당 가속기는 1,030개의 로직, 836개의 레지스터, 334.906 Kbit의 블록 메모리를 사용하여 구현되었고, 추론에서 결과 전송까지 총 연산 시간이 6 ms로 실시간 동작이 가능함을 확인하였다.

형태학적 연산과 경계추출 학습이 강화된 U-Net을 활용한 Sentinel-1 영상 기반 수체탐지 (Water Segmentation Based on Morphologic and Edge-enhanced U-Net Using Sentinel-1 SAR Images)

  • 김휘송;김덕진;김준우
    • 대한원격탐사학회지
    • /
    • 제38권5_2호
    • /
    • pp.793-810
    • /
    • 2022
  • 실시간 범람 모니터링을 위해 인공위성 SAR영상을 활용하는 수체탐지에 대한 필요성이 대두되었다. 주야와 기상에 상관없이 주기적으로 촬영 가능한 인공위성 SAR 영상은 육지와 물의 영상학적 특징이 달라 수체탐지에 적합하나, 스페클 노이즈와 영상별 상이한 밝기 값 등의 한계를 내포하여 다양한 시기에 촬영된 영상에 일괄적으로 적용 가능한 수체탐지 알고리즘 개발이 쉽지 않다. 이를 위해 본 연구에서는 Convolutional Neural Networks (CNN)기반 모델인 U-Net 아키텍처에 레이어의 조합인 모듈을 추가하여 별도의 전처리 없이 수체탐지의 정확도 향상 방법을 제시하였다. 풀링 레이어의 조합을 활용하여 형태학적 연산처리 효과를 제공하는 Morphology Module과 전통적인 경계탐지 알고리즘의 가중치를 대입한 컨볼루션 레이어를 사용하여 경계 학습을 강화시키는 Edge-enhanced Module의 다양한 버전을 테스트하여, 최적의 모듈 구성을 도출하였다. 최적의 모듈 버전으로 판단된 min-pooling과 max-pooling이 연속으로 이어진 레이어와 min-pooling로 구성된 Morphology 모듈과 샤를(Scharr) 필터를 적용한 Edge-enhanced 모듈의 산출물을 U-Net 모델의 conv 9에 입력자료로 추가하였을 때, 정량적으로 9.81%의 F1-score 향상을 보여주었으며, 기존의 U-Net 모델이 탐지하지 못한 작은 수체와 경계선을 보다 세밀하게 탐지할 수 있는 성능을 정성적 평가를 통해 확인하였다.