• 제목/요약/키워드: 탐지성

검색결과 2,685건 처리시간 0.025초

EPC 프로젝트의 위험 관리를 위한 ITB 문서 조항 분류 모델 연구: 딥러닝 기반 PLM 앙상블 기법 활용 (Research on ITB Contract Terms Classification Model for Risk Management in EPC Projects: Deep Learning-Based PLM Ensemble Techniques)

  • 이현상;이원석;조보근;이희준;오상진;유상우;남마루;이현식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권11호
    • /
    • pp.471-480
    • /
    • 2023
  • 국내 건설수주 규모는 2013년 91.3조원에서 2021년 총 212조원으로 특히 민간부문에서 크게 성장하였다. 국내외 시장 규모가 성장하면서, EPC(Engineering, Procurement, Construction) 프로젝트의 규모와 복잡성이 더욱 증가되고, 이에 프로젝트 관리 및 ITB(Invitation to Bid) 문서의 위험 관리가 중요한 이슈가 되고 있다. EPC 프로젝트 발주 이후 입찰 절차에서 실제 건설 회사에게 부여되는 대응 시간은 한정적일 뿐만 아니라, 인력 및 비용의 문제로 ITB 문서 계약 조항의 모든 리스크를 검토하는데 매우 어려움이 있다. 기존 연구에서는 이와 같은 문제를 해결하고자 EPC 계약 문서의 위험 조항을 범주화하고, 이를 AI 기반으로 탐지하려는 시도가 있었으나, 이는 레이블링 데이터 활용의 한계와 클래스 불균형과 같은 데이터 측면의 문제로 실무에서 활용할 수 있는 수준의 지원 시스템으로 활용하기 어려운 상황이다. 따라서 본 연구는 기존 연구와 같이 위험 조항 자체를 정의하고 분류하는 것이 아니라, FIDIC Yellow 2017(국제 컨설팅엔지니어링 연맹 표준 계약 조건) 기준 계약 조항을 세부적으로 분류할 수 있는 AI 모델을 개발하고자 한다. 프로젝트의 규모, 유형에 따라서 세부적으로 검토해야 하는 계약 조항이 다를 수 있기 때문에 이와 같은 다중 텍스트 분류 기능이 필요하다. 본 연구는 다중 텍스트 분류 모델의 성능 고도화를 위해서 최근 텍스트 데이터의 컨텍스트를 효율적으로 학습할 수 있는 ELECTRA PLM(Pre-trained Language Model)을 사전학습 단계부터 개발하고, 해당 모델의 성능을 검증하기 위해서 총 4단계 실험을 진행했다. 실험 결과, 자체 개발한 ITB-ELECTRA 모델 및 Legal-BERT의 앙상블 버전이 57개 계약 조항 분류에서 가중 평균 F1-Score 기준 76%로 가장 우수한 성능을 달성했다.

멸종위기종 남방동사리의 보전을 위한 상세 분포 지역 및 개체군 크기 파악 (Identifying Distribution Areas and Population Sizes for the Conservation of the Endangered Species Odontobutis obscura)

  • 김정희;박상현;백승호;백충열
    • 생태와환경
    • /
    • 제57권2호
    • /
    • pp.102-110
    • /
    • 2024
  • 본 연구는 현장조사와 문헌조사를 통해 멸종위기종 남방동사리의 정밀분포 현황을 제시하였으며, mark-recapture 방법을 활용하여 주요 서식구간에 대해 개체군 크기를 파악하였다. 거제도 내 18개 지방하천을 대상으로 현장조사를 실시한 결과 산양천 수계에 포함되는 산양천, 구천천, 부춘천 본류 및 유입지류에서만 남방동사리의 서식이 확인되었다. 남방동사리는 출현 지점별 0.5%에서 35.3%의 상대 풍부도를 보였으며, 일부지점에 대해서 상대풍부도가 높게(18.8~35.3%) 나타나 집중 서식 지역으로 확인되었다. 총 6건의 문헌 연구에서 남방동사리의 서식 여부를 확인하였으나 연구의 목적, 범위, 기간에 따라 출현 현황의 차이를 보였다. 현장조사와 문헌조사를 포함하여 분포 지역을 확인한 결과 남방동사리는 산양천, 구천천, 부춘천 본류 및 유입하천의 최상류부터 하류까지 고르게 서식하고 있었다. 현재 산양천 수계의 남방동사리는 수계 내 안정적인 서식을 유지하고 있으나 제한된 분포 범위는 장기적으로 유전적 다양성 결핍과 같은 문제를 내포하고 있다. 남방동사리 개체군 크기는 총 2개 지점에서 최종 확인되었다. 지점별 단위면적 (m2)당 0.5개체에서 1.5개체가 서식하는 것으로 확인되었으며, 방류지점으로부터 이동거리는 평균 13.1 m로 매복형 포식자의 제한된 이동 특성을 보였다. 멸종위기종 연구에서 종의 분포와 개체군 크기에 대한 현황을 파악하는 것은 멸종위기종 보전 및 보호를 위한 기초이며 중요한 단계이다. 이러한 정보를 바탕으로 서식지 위협 요인 분석, 기초 생태 (먹이, 서식, 산란) 연구, 환경유전자 활용 남방동사리 탐지기술 개발 등의 추가 연구가 이루어진다면 남방동사리의 보호에 큰 도움이 될 수 있을 것으로 판단된다.

과학자(科學者)의 정보생산(情報生産) 계속성(繼續性)과 정보유통(情報流通)(2)

  • Garvey, W.D.
    • 정보관리연구
    • /
    • 제6권5호
    • /
    • pp.131-134
    • /
    • 1973
  • 본고(本稿)시리이즈의 제1보(第一報)에서 우리는 물리(物理), 사회과학(社會科學) 및 공학분야(工學分野)의 12,442명(名)의 과학자(科學者)와 기술자(技術者)에 대한 정보교환활동(情報交換活動)의 78례(例)에 있어서 일반과정(一般過程)과 몇 가지 결과(結果)를 기술(記述)한 바 있다. 4년반(年半) 이상(以上)의 기간(其間)($1966{\sim}1971$)에서 수행(遂行)된 이 연구(硏究)는 현재(現在)의 과학지식(科學知識)의 집성체(集成體)로 과학자(科學者)들이 연구(硏究)를 시작(始作)한 때부터 기록상(記錄上)으로 연구결과(硏究結果)가 취합(聚合)될 때까지 각종(各種) 정형(定形), 비정형(非定形) 매체(媒體)를 통한 유통정보(流通情報)의 전파(傳播)와 동화(同化)에 대한 포괄적(包括的)인 도식(圖式)으로 표시(表示)할 수 있도록 설정(設定)하고 또 시행(施行)되었다. 2보(二報), 3보(三報), 4보(四報)에서는 데이터 뱅크에 수집(蒐集) 및 축적(蓄積)된 데이터의 일반적(一般的)인 기술(記述)을 적시(摘示)하였다. (1) 과학(科學)과 기술(技術)의 정보유통(情報流通)에 있어서 국가적(國家的) 회합(會合)의 역할(役割)(Garvey; 4보(報)) 국가적(國家的) 회합(會合)은 투고(投稿)와 이로 인한 잡지중(雜誌中) 게재간(揭載間)의 상대적(相對的)인 오랜 기간(期間)동안 이러한 연구(硏究)가 공개매체(公開媒體)로 인하여 일시적(一時的)이나마 게재여부(揭載如否)의 불명료성(不明瞭性)을 초래(招來)하기 전(前)에 과학연구(科學硏究)의 초기전파(初期傳播)를 위하여 먼저 행한 주요(主要) 사례(事例)와 마지막의 비정형매체(非定形媒體)의 양자(兩者)를 항상 조직화(組織化)하여 주는 전체적(全體的)인 유통과정(流通過程)에 있어서 명확(明確)하고도 중요(重要)한 기능(機能)을 갖는다는 것을 알 수 있었다. (2) 잡지(雜誌)에 게재(揭載)된 정보(情報)의 생산(生産)과 관련(關聯)되는 정보(情報)의 전파과정(傳播過程)(Garvey; 1보(報)). 이 연구(硏究)를 위해서 우리는 정보유통과정(情報流通過程)을 따라 많은 노력(努力)을 하였는데, 여기서 유통과정(流通過程)의 인상적(印象的)인 면목(面目)은 특별(特別)히 연구(硏究)로부터의 정보(情報)는 잡지(雜誌)에 게재(揭載)되기까지 진정으로는 공개적(公開的)이 못된다는 것과 이러한 사실(事實)은 선진연구(先進硏究)가 자주 시대(時代)에 뒤떨어지게 된다는 것을 발견할 수 있었다. 경험(經驗)이 많은 정보(情報)의 수요자(需要者)는 이러한 폐물화(廢物化)에 매우 민감(敏感)하며 자기(自己) 연구(硏究)에 당면한, 진행중(進行中)이거나 최근(最近) 완성(完成)된 연구(硏究)에 대하여 정보(情報)를 얻기 위한 모든 수단(手段)을 발견(發見)코자 하였다. 예를 들어, 이들은 잡지(雜誌)에 보문(報文)을 발표(發表)하기 전(前)에 발생(發生)하는 정보전파과정(情報傳播過程)을 통하여 유루(遺漏)될지도 모르는 정보(情報)를 얻기 위하여 한 잡지(雜誌)나 2차자료(二次資料) 또는 전형적(典型的)으로 이용(利用)되는 다른 잡지류중(雜誌類中)에서 당해정보(當該情報)가 발견(發見)되기를 기다리지 않는다는 것이다. (3) "정보생산 과학자(情報生産 科學者)"에 의한 정보전파(情報傳播)의 계속성(繼續性)(이 연구(硏究) 시리이즈의 결과(結果)는 본고(本稿)의 주내용(主內容)으로 되어 있다.) 1968/1969년(年)부터 1970/1971년(年)의 이년기간(二年期間)동안 보문(報文)을 낸 과학자(科學者)(1968/1969년(年) 잡지중(雜誌中)에 "질이 높은" 보문(報文)을 발표(發表)한)의 약 2/3는 1968/1969의 보문(報文)과 동일(同一)한 대상영역(對象領域)의 연구(硏究)를 계속(繼續) 수행(遂行)하였다. 그래서 우리는 본연구(本硏究)에 오른 대부분(大部分)의 저자(著者)가 정상적(正常的)인 과학(科學), 즉 연구수행중(硏究遂行中) 의문(疑問)에 대한 완전(完全)한 해답(解答)을 얻게 되는 가장 중요(重要)한 추구(追求)로서 Kuhn(제5보(第5報))에 의하여 기술(技術)된 방법(방법)으로 과학(연구)(科學(硏究))을 실행(實行)하였음을 알았다. 최근(最近)에 연구(硏究)를 마치고 그 결과(結果)를 보문(報文)으로서 발표(發表)한 이들 과학자(科學者)들은 다음 단계(段階)로 해야 할 사항(事項)에 대하여 선행(先行)된 동일견해(同一見解)를 가진 다른 연구자(硏究자)들의 연구(硏究)와 대상(對象)에 밀접(密接)하게 관련(關聯)되고 있다. 이 계속성(繼續性)의 효과(效果)에 대한 지표(指標)는 보문(報文)과 동일(同一)한 영역(領域)에서 연구(硏究)를 계속(繼續)한 저자(著者)들의 약 3/4은 선행(先行) 보문(報文)에 기술(技術)된 연구결과(硏究結果)에서 직접적(直接的)으로 새로운 연구(硏究)가 유도(誘導)되었음을 보고(報告)한 사항(事項)에 반영(反映)되어 있다. 그렇지만 우리들의 데이터는 다음 영역(領域)으로 기대(期待)하지 않은 전환(轉換)을 일으킬 수도 있음을 보여주고 있다. 동일(同一) 대상(對象)에서 연구(硏究)를 속행(續行)하였던 저자(著者)들의 1/5 이상(以上)은 뒤에 새로운 영역(領域)으로 연구(硏究)를 전환(轉換)하였고 또한 이 영역(領域)에서 연구(硏究)를 계속(繼續)하였다. 연구영역(硏究領域)의 이러한 변화(變化)는 연구자(硏究者)의 일반(一般) 정보유통(情報流通) 패턴에 크게 변화(變化)를 보이지는 않는다. 즉 새로운 지적(知的) 문제(問題)에 대한 변화(變化)에서 야기(惹起)되는 패턴에 있어서 저자(著者)들은 오래된 문제(問題)의 방법(方法)과 기술(技術)을 새로운 문제(問題)로 맞추려 한다. 과학사(科學史)의 최근(最近) 해석(解釋)(Hanson: 6보(報))에서 예기(豫期)되었던 바와 같이 정상적(正常的)인 과학(科學)의 계속성(繼續性)은 항상 절대적(絶對的)이 아니며 "과학지식(科學知識)"의 첫발자욱은 예전 연구영역(硏究領域)의 대상(對象)에 관계(關係)없이 나타나는 다른 영역(領域)으로 내딛게 될지도 모른다. 우리들의 연구(硏究)에서 저자(著者)의 1/3은 동일(同一) 영역(領域)의 대상(對象)에서 속계적(續繼的)인 연구(硏究)를 수행(遂行)치 않고 새로운 영역(領域)으로 옮아갔다. 우리는 이와 같은 데이터를 (a) 저자(著者)가 각개과학자(各個科學者)의 활동(活動)을 통하여 집중적(集中的)인 과학적(科學的) 노력(努力)을 시험(試驗)할 때 각자(各自)의 연구(硏究)에 대한 많은 양(量)의 계속성(繼續性)이 어떤 진보중(進步中)의 과학분야(科學分野)에서도 나타난다는 것과 (b) 이 계속성(繼續性)은 과학(科學)에 대한 집중적(集中的) 진보(進步)의 필요적(必要的) 특질(特質)이라는 것을 의미한다. 또한 우리는 이 계속성(繼續性)과 관련(關聯)되는 유통문제(流通問題)라는 새로운 대상영역(對象領域)으로 전환(轉換)할 때 연구(硏究)의 각단계(各段階)의 진보(進步)와 새로운 목적(目的)으로 전환시(轉換時) 양자(兩者)가 다 필요(必要)로 하는 각개(各個) 과학자(科學者)의 정보수요(情報需要)를 위한 시간(時間) 소비(消費)라는 것을 탐지(探知)할 수 있다. 이러한 관찰(觀察)은 정보(情報)의 선택제공(選擇提供)시스팀이 현재(現在) 필요(必要)로 하는 정보(情報)의 만족(滿足)을 위하여는 효과적(效果的)으로 매우 융통성(融通性)을 띠어야 한다는 것을 암시(暗示)하는 것이다. 본고(本稿)의 시리이즈에 기술(記述)된 전정보유통(全情報流通) 과정(過程)의 재검토(再檢討) 결과(結果)는 과학자(科學者)들이 항상 그들의 요구(要求)를 조화(調和)시키는 신축성(伸縮性)있는 유통체제(流通體制)를 발전(發展)시켜 왔다는 것을 시사(示唆)해 주고 있다. 이 시스팀은 정보전파(情報傳播) 사항(事項)을 중심(中心)으로 이루어 지며 또한 이 사항(事項)의 대부분(大部分)의 참여자(參與者)는 자기자신(自己自身)이 과학정보(科學情報) 전파자(傳播者)라는 기본적(基本的)인 정보전파체제(情報傳播體制)인 것이다. 그러나 이 과정(過程)의 유통행위(流通行爲)에서 살펴본 바와 같이 우리는 대부분(大部分)의 정보전파자(情報傳播者)가 역시 정보(情報)의 동화자(同化者)-다시 말해서 과학정보(科學情報)의 생산자(生産者)는 정보(情報)의 이용자(利用者)라는 것을 알 수 있다. 이 연구(硏究)에서 전형적(典型的)인 과학자((科學者)는 과학정보(科學情報)의 생산(生産)이나 전파(傳播)의 양자(兩者)에 연속적(連續的)으로 관계(關係)하고 있음을 보았다. 만일(萬一) 연구자(硏究者)가 한 편(編)의 연구(硏究)를 완료(完了)한다면 이 연구자(硏究者)는 다음에 무엇을 할 것이냐 하는 관념(觀念)을 갖게 되고 따라서 "완료(完了)된" 연구(硏究)에 관한 정보(情報)를 이용(利用)하여 동시(同時)에 새로운 일을 시작(始作)하게 된다. 예를 들어, 한 과학자(科學者)가 동일(同一) 영역(領域)의 다른 동료연구자(同僚硏究者)에게 완전(完全)하며 이의(異議)에 방어(防禦)할 수 있는 보고서(報告書)를 제공(提供)할 수 있는 단계(段階)에 도달(到達)하였다면 우리는 이 과학자(科學者)가 정보유통과정(情報流通過程)에서 많은 역할(役割)을 해낼 수 있다는 것을 알 것이다. 즉 이 과학자(科學者)는 다른 과학자(科學者)들에게 최신(最新)의 과학적(科學的) 결과(結果)를 제공(提供)할 때 하나의 과학정보(科學情報) 전파자(傳播者)가 되며, 이 연구(硏究)의 의의(意義)와 타당성(妥當性)에 관한 논평(論評)이나 비평(批評)을 동료(同僚)로부터 구(求)하는 관점(觀點)에서 보면 이 과학자(科學者)는 하나의 정보탐색자(情報探索者)가 된다. 또한 장래(將來)의 이용(利用)을 위하여 증정(贈呈)이나 동화(同化)한 이 정보(情報)로부터 피이드백을 받아 드렸을 때의 범주(範疇)에서 보면 (잡지(雜誌)에 투고(投稿)하기 위하여 원고(原稿)를 작성(作成)하는 경우에 있어서와 같이) 과학자(科學者)는 하나의 정보이용자(情報利用者)가 되고 이러한 모든 가능성(可能性)에서 정보생산자(情報生産者)는 다음 정보생산(情報生産)에 이미 들어가 있다고 볼 수 있다(저자(著者)들의 2/3는 보문(報文)이 게재(揭載)되기 전(前)에 이미 새로운 연구(硏究)를 시작(始作)하였다). 과학자(科學者)가 자기연구(自己硏究)를 마치고 예비보고서(豫備報告書)를 만든 후(後) 자기연구(自己硏究)에 관한 정보(情報)의 전파(傳播)를 계속하게 되는데 이와 관계(關係)되는 일반적(一般的)인 패턴을 보면 소수(少數)의 동료(同僚)그룹에 출석(出席)하는 경우 (예로 지역집담회)(地域集談會))와 대중(大衆) 앞에서 행(行)하는 경우(예로 국가적 회합(國家的 會合)) 등이 있다. 그러는 동안에 다양성(多樣性) 있는 성문보고서(成文報告書)가 이루어진다. 그러나 과학자(科學者)들이 자기연구(自己硏究)를 위한 주정보전파목표(主情報傳播目標)는 과학잡지중(科學雜誌中)에 게재(揭載)되는 보문(報文)이라는 것이 명확(明確)한 사실(事實)인 것이다. 이러한 목표(目標)에 도달(到達)할 때까지의 각(各) 정보전파단계(情報傳播段階)에서 과학자(科學者)들은 목표달성(目標達成)을 위하여 청중(聽衆), 자기동화(自己同化)된 정보(情報) 및 이미 이용(利用)된 정보(情報)로부터 피이드백을 탐색(探索)하게 된다. 우리가 본고(本稿)의 시리이즈중(中)에 표현(表現)하려 했던 바와 같이 이러한 활동(活動)은 조사수임자(調査受任者)의 의견(意見)이 원고(原稿)에 반영(反映)되고 또 그 원고(原稿)가 잡지게재(雜誌揭載)를 위해 수리(受理)될 때까지 계속적(繼續的)으로 정보(情報)를 탐색(探索)하는 과학자(科學者)나 기타(其他)사람들에게 효과적(效果的)이었다. 원고(原稿)가 수리(受理)되면 그 원고(原稿)의 저자(著者)들은 그 보문(報文)의 주내용(主內容)에 대하여 적극적(積極的)인 정보전파자(情報傳播者)로서의 역할(役割)을 종종 중지(中止)하는 일이 있는데 이때에는 저자(著者)들의 역할(役割)이 변화(變化)하는 것을 볼 수 있었다. 즉 이 저자(著者)들은 일시적(一時的)이긴 하나 새로운 일을 착수(着手)하기 위하여 정보(情報)의 동화자(同化者)를 찾게 된다. 또한 전(前)에 행한 일에 대한 의견(意見)이나 비평(批評)이 새로운 일에 영향(影響)을 끼치게 된다. 동시(同時)에 새로운 과학정보생산(科學情報生産) 과정(過程)에 들어가게 되고 현재(現在) 진행중(進行中)이거나 최근(最近) 완료(完了)한 연구(硏究)에 대한 정보(情報)를 항상 찾게 된다. 활발(活潑)한 연구(硏究)를 하는 과학자(科學者)들에게는, 동화자(同化者)로서의 역할(役割)과 전파자(傳播者)로서의 역할(役割)을 분리(分離)시킨다는 것은 실제적(實際的)은 못된다. 즉 후자(後者)를 완성(完成)하기 위해서는 전자(前者)를 이용(利用)하게 된다는 것이다. 과학자(科學者)들은 한 단계(段階)에서 한 전파자(傳播者)로서의 역할(役割)이 뚜렷하나 다른 단계(段階)에서는 정보교환(情報交換)이 기본적(基本的)으로 정보동화(情報同化)에 직결(直結)되고 있는 것이다. 정보전파자(情報傳播者)와 정보동화자간(情報同化者間)의 상호관계(相互關係)(또는 정보생산자(情報生産者)와 정보이용자간(情報利用者間))는 과학(科學)에 있어서 하나의 필수양상(必修樣相)이다. 과학(科學)의 유통구조(流通構造)가 전파자(傳播者)(이용자(利用者)로서의 역할(役割)보다는)의 필요성(必要性)에서 볼 때 복잡(複雜)하고 다이나믹한 시스팀으로 구성(構成)된다는 사실(事實)은 과학(科學)의 발전과정(發展過程)에서 필연적(必然的)으로 나타난다. 이와 같은 사실(事實)은 과학정보(科學情報)의 전파요원(傳播要員)이 국가적 회합(國家的 會合)에서 자기연구(自己硏究)에 대한 정보(情報)의 전파기회(傳播機會)를 거절(拒絶)하고 따라서 전파정보(電波情報)를 판단(判斷)하고 선별(選別)하는 것을 감소(減少)시키며 결과적(結果的)으로 잡지(雜誌)나 단행본(單行本)에서 비평(批評)을 하고 추고(推敲)하는 것이 배제(排除)될 때는 유형적(有形的) 과학(科學)은 급속(急速)히 비과학성(非科學性)을 띠게 된다는 것을 Lysenko의 생애(生涯)에 대한 Medvedev의 기술중(記述中)[7]에 지적(指摘)한 것과 관계(關係)되고 있다.

  • PDF

마켓 인사이트를 위한 상품 리뷰의 다차원 분석 방안 (Multi-Dimensional Analysis Method of Product Reviews for Market Insight)

  • 박정현;이서호;임규진;여운영;김종우
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.57-78
    • /
    • 2020
  • 인터넷의 발달로, 소비자들은 이커머스에서 손쉽게 상품 정보를 확인한다. 이때 활용되는 상품 리뷰는 사용자 경험을 토대로 작성되어 구매의사결정의 효율성을 높일 뿐만 아니라 상품 개발에 도움을 주기도 한다. 하지만, 방대한 양의 상품 리뷰에서 관심있는 평가차원의 세부내용을 파악하는 데에는 많은 시간과 노력이 소비된다. 예를 들어, 노트북을 구매하려는 소비자들은 성능, 무게, 디자인과 같은 평가차원에 대해 각 차원별로 비교 상품의 평가를 확인하고자 한다. 따라서 본 논문에서는 상품 리뷰에서 다차원 상품평가 점수를 자동적으로 생성하는 방안을 제안하고자 한다. 본 연구에서 제시하는 방안은 크게 2단계로 구성된다. 사전준비 단계와 개별상품평가 단계로, 대분류 상품군 리뷰를 토대로 사전에 생성된 차원분류모델과 감성분석모델이 개별상품의 리뷰를 분석하게 된다. 차원분류모델은 워드임베딩과 연관분석을 결합함으로써 기존 연구에서 차원과 단어들의 관련성을 찾기 위한 워드임베딩 방식이 문장 내 단어의 위치만을 본다는 한계를 보완한다. 감성분석모델은 정확한 극성 판단을 위해 구(phrase) 단위로 긍부정이 태깅된 학습데이터를 구성하여 CNN 모델을 생성한다. 이를 통해, 개별상품평가 단계에서는 구 단위의 리뷰에 준비된 모델들을 적용하고 평가차원별로 종합함으로써 다차원 평가점수를 얻을 수 있다. 본 논문의 실험에서는 대분류 상품군 리뷰 약 260,000건으로 평가모델을 구성하고, S사와 L사의 노트북 리뷰 각 1,011건과 1,062건을 실험데이터로 활용한다. 차원분류모델은 구로 분해한 개별상품 리뷰를 6개 평가차원으로 분류했고, 기존 워드임베딩 방식보다 연관분석을 결합한 모델의 정확도가 13.7% 증가했음을 볼 수 있었다. 감성분석모델은 문장보다 구 단위로 학습한 모델이 평가차원을 면밀히 분석함으로써 29.4% 더 높은 정확도를 보임을 확인했다. 본 연구를 통해 판매자, 소비자 모두가 상품의 다차원적 비교가 가능하다는 점에서 구매 및 상품 개발에 효율적인 의사결정을 기대할 수 있다.

Hierarchical Attention Network를 이용한 복합 장애 발생 예측 시스템 개발 (Development of a complex failure prediction system using Hierarchical Attention Network)

  • 박영찬;안상준;김민태;김우주
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.127-148
    • /
    • 2020
  • 데이터 센터는 컴퓨터 시스템과 관련 구성요소를 수용하기 위한 물리적 환경시설로, 빅데이터, 인공지능 스마트 공장, 웨어러블, 스마트 홈 등 차세대 핵심 산업의 필수 기반기술이다. 특히, 클라우드 컴퓨팅의 성장으로 데이터 센터 인프라의 비례적 확장은 불가피하다. 이러한 데이터 센터 설비의 상태를 모니터링하는 것은 시스템을 유지, 관리하고 장애를 예방하기 위한 방법이다. 설비를 구성하는 일부 요소에 장애가 발생하는 경우 해당 장비뿐 아니라 연결된 다른 장비에도 영향을 미칠 수 있으며, 막대한 손해를 초래할 수 있다. 특히, IT 시설은 상호의존성에 의해 불규칙하고 원인을 알기 어렵다. 데이터 센터 내 장애를 예측하는 선행연구에서는, 장치들이 혼재된 상황임을 가정하지 않고 단일 서버를 단일 상태로 보고 장애를 예측했다. 이에 본 연구에서는, 서버 내부에서 발생하는 장애(Outage A)와 서버 외부에서 발생하는 장애(Outage B)로 데이터 센터 장애를 구분하고, 서버 내에서 발생하는 복합적인 장애 분석에 중점을 두었다. 서버 외부 장애는 전력, 냉각, 사용자 실수 등인데, 이와 같은 장애는 데이터 센터 설비 구축 초기 단계에서 예방이 가능했기 때문에 다양한 솔루션이 개발되고 있는 상황이다. 반면 서버 내 발생하는 장애는 원인 규명이 어려워 아직까지 적절한 예방이 이뤄지지 못하고 있다. 특히 서버 장애가 단일적으로 발생하지 않고, 다른 서버 장애의 원인이 되기도 하고, 다른 서버부터 장애의 원인이 되는 무언가를 받기도 하는 이유다. 즉, 기존 연구들은 서버들 간 영향을 주지 않는 단일 서버인 상태로 가정하고 장애를 분석했다면, 본 연구에서는 서버들 간 영향을 준다고 가정하고 장애 발생 상태를 분석했다. 데이터 센터 내 복합 장애 상황을 정의하기 위해, 데이터 센터 내 존재하는 각 장비별로 장애가 발생한 장애 이력 데이터를 활용했다. 본 연구에서 고려되는 장애는 Network Node Down, Server Down, Windows Activation Services Down, Database Management System Service Down으로 크게 4가지이다. 각 장비별로 발생되는 장애들을 시간 순으로 정렬하고, 특정 장비에서 장애가 발생하였을 때, 발생 시점으로부터 5분 내 특정 장비에서 장애가 발생하였다면 이를 동시에 장애가 발생하였다고 정의하였다. 이렇게 동시에 장애가 발생한 장비들에 대해서 Sequence를 구성한 후, 구성한 Sequence 내에서 동시에 자주 발생하는 장비 5개를 선정하였고, 선정된 장비들이 동시에 장애가 발생된 경우를 시각화를 통해 확인하였다. 장애 분석을 위해 수집된 서버 리소스 정보는 시계열 단위이며 흐름성을 가진다는 점에서 이전 상태를 통해 다음 상태를 예측할 수 있는 딥러닝 알고리즘인 LSTM(Long Short-term Memory)을 사용했다. 또한 단일 서버와 달리 복합장애는 서버별로 장애 발생에 끼치는 수준이 다르다는 점을 감안하여 Hierarchical Attention Network 딥러닝 모델 구조를 활용했다. 본 알고리즘은 장애에 끼치는 영향이 클 수록 해당 서버에 가중치를 주어 예측 정확도를 높이는 방법이다. 연구는 장애유형을 정의하고 분석 대상을 선정하는 것으로 시작하여, 첫 번째 실험에서는 동일한 수집 데이터에 대해 단일 서버 상태와 복합 서버 상태로 가정하고 비교분석하였다. 두 번째 실험은 서버의 임계치를 각각 최적화 하여 복합 서버 상태일 때의 예측 정확도를 향상시켰다. 단일 서버와 다중 서버로 각각 가정한 첫 번째 실험에서 단일 서버로 가정한 경우 실제 장애가 발생했음에도 불구하고 5개 서버 중 3개의 서버에서는 장애가 발생하지 않은것으로 예측했다. 그러나 다중 서버로 가정했을때에는 5개 서버 모두 장애가 발생한 것으로 예측했다. 실험 결과 서버 간 영향이 있을 것이라고 추측한 가설이 입증된 것이다. 연구결과 단일 서버로 가정했을 때 보다 다중 서버로 가정했을 때 예측 성능이 우수함을 확인했다. 특히 서버별 영향이 다를것으로 가정하고 Hierarchical Attention Network 알고리즘을 적용한 것이 분석 효과를 향상시키는 역할을 했다. 또한 각 서버마다 다른 임계치를 적용함으로써 예측 정확도를 향상시킬 수 있었다. 본 연구는 원인 규명이 어려운 장애를 과거 데이터를 통해 예측 가능하게 함을 보였고, 데이터 센터의 서버 내에서 발생하는 장애를 예측할 수 있는 모델을 제시했다. 본 연구결과를 활용하여 장애 발생을 사전에 방지할 수 있을 것으로 기대된다.