• 제목/요약/키워드: Machine learning algorithm

검색결과 1,505건 처리시간 0.028초

MapReduce 환경에서 재그룹핑을 이용한 Locality Sensitive Hashing 기반의 K-Nearest Neighbor 그래프 생성 알고리즘의 개선 (An Improvement in K-NN Graph Construction using re-grouping with Locality Sensitive Hashing on MapReduce)

  • 이인희;오혜성;김형주
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권11호
    • /
    • pp.681-688
    • /
    • 2015
  • k-Nearest Neighbor(k-NN)그래프는 모든 노드에 대한 k-NN 정보를 나타내는 데이터 구조로써, 협업 필터링, 유사도 탐색과 여러 정보검색 및 추천 시스템에서 k-NN그래프를 활용하고 있다. 이러한 장점에도 불구하고 brute-force방법의 k-NN그래프 생성 방법은 $O(n^2)$의 시간복잡도를 갖기 때문에 빅데이터 셋에 대해서는 처리가 곤란하다. 따라서, 고차원, 희소 데이터에 효율적인 Locality Sensitive Hashing 기법을 (key, value)기반의 분산환경인 MapReduce환경에서 사용하여 k-NN그래프를 생성하는 알고리즘이 연구되고 있다. Locality Sensitive Hashing 기법을 사용하여 사용자를 이웃후보 그룹으로 만들고 후보내의 쌍에 대해서만 brute-force하게 유사도를 계산하는 two-stage 방법을 MapReduce환경에서 사용하였다. 특히, 그래프 생성과정 중 유사도 계산하는 부분이 가장 많은 시간이 소요되므로 후보 그룹을 어떻게 만드는 것인지가 중요하다. 기존의 방법은 사이즈가 큰 후보그룹을 방지하는데 한계점이 있다. 본 논문에서는 효율적인 k-NN 그래프 생성을 위하여 사이즈가 큰 후보그룹을 재구성하는 알고리즘을 제시하였다. 실험을 통해 본 논문에서 제안한 알고리즘이 그래프의 정확성, Scan Rate측면에서 좋은 성능을 보임을 확인하였다.

원거리 무인기 신호 식별을 위한 특징추출 알고리즘 (Feature Extraction Algorithm for Distant Unmmaned Aerial Vehicle Detection)

  • 김주호;이기배;배진호;이종현
    • 전자공학회논문지
    • /
    • 제53권3호
    • /
    • pp.114-123
    • /
    • 2016
  • 본 논문에서는 무인항공기의 엔진 음향 신호를 탐지하기 위한 효과적인 특징 추출 방법을 제안하고 검증한다. 엔진 음향신호는 기본주파수와 배음이 정수배 관계를 갖는 조화 복합음(Harmonic complex tone)으로 구성되며, 각 주파수의 시간에 따른 변화는 연속적이다. 이러한 특성을 이용하여 기본주파수의 정수배와 실제 배음 주파수 차이의 평균과 분산, 주파수 변화량 등으로 구성된 특징벡터를 제안하였다. 모의 실험을 수행한 결과 제안한 특징벡터는 목표신호와 다양한 간섭 신호에 대해 우수한 변별력을 보였으며, 시간에 따라 주파수가 변하는 경우에도 영향을 받지 않고 안정적인 결과를 보였다. 원거리에서 실측된 엔진 음향신호로 부터 특징의 Fisher score를 계산하여 변별력을 비교한 결과, 제안한 특징 중 주파수에 기반한 세 가지 특징들이 신호 대 잡음비가 낮은 상황에서도 높은 변별력을 보였다. ELM 분류기를 이용해 MFCC와의 인식 성능을 비교한 결과, 제안한 방법을 이용할 경우 모의 간섭신호에 대한 오류율이 37.6% 개선되었다. 또한 신호대 잡음비가 시간에 따라 점진적으로 증가하는 경우 MFCC에 비해 4.5 dB 낮은 시점에서 목표신호 탐지가 가능하였다.

상용 부품 비정형 데이터와 인공 신경망을 이용한 부품 단종 예측 방안 연구 (Study on predicting the commercial parts discontinuance using unstructured data and artificial neural network)

  • 박연경;이익도;이강택;김두정
    • 한국산학기술학회논문지
    • /
    • 제20권10호
    • /
    • pp.277-283
    • /
    • 2019
  • 기술의 발전으로 다양한 부품의 개발 및 상용화는 가능 하였으나, 이에 따라 부품의 단종 주기는 단축 되었다. 이는 수천 품목 이상의 부품을 활용하여 개발하고, 장기간 운영하는 무기체계의 수리 부속 보급을 어렵게 하였으며, 무기체계 운용 가용도 저하의 주요 원인으로 작용하였다. 이러한 문제를 해결하기 위하여 미국 등은 전담 기구를 만들어 대응하고 있으며, 국내에서는 상용 부품단종 예측도구를 활용하여 단종을 예측하고 관리하고 있다. 하지만 상용 부품단종 예측도구에서 단종 정보가 제시되지 않는 부품에 대한 대응 및 관리는 부재한 실정이다. 이에 본 연구에서는 상용 부품단종 예측도구에서 제공하는 부품에 대한 정형, 비정형 빅데이터를 수집하고, 데이터 전처리 및 Embedding 과정을 거쳐, 신경망 학습 알고리즘을 적용하여, 상용 부품에 대한 단종 정보 (LC Risk, YTEOL)를 예측하는 방안을 제시하였다. 또한 제시된 모델의 예측 성능을 데이터 기술 통계량과 비교 평가 하여, 본 연구에서 제시한 학습 모델의 타당성을 검증 하였다. 결론에는 본 연구의 활용 방안과 한계점 및 발전 방향에 대하여 기술 하였다.

K-means clustering analysis and differential protection policy according to 3D NAND flash memory error rate to improve SSD reliability

  • Son, Seung-Woo;Kim, Jae-Ho
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권11호
    • /
    • pp.1-9
    • /
    • 2021
  • 3D-NAND 플래시 메모리는 평면적 구조인 2D-NAND 셀을 적층하는 방식으로 단위 면적당 고용량을 제공한다. 하지만 적층 공정의 특성상 각 레이어별 또는 물리적인 셀 위치에 따라 오류 발생 빈도가 달라질 수 있는 문제가 있다. 이와 같은 현상은 플래시 메모리의 쓰기/지우기(P/E) 횟수가 증가할수록 두드러진다. SSD와 같은 대부분의 플래시 기반 저장장치는 오류 교정을 위하여 ECC를 사용한다. 이 방법은 모든 플래시 메모리 페이지에 대하여 고정된 데이터 보호 강도를 제공하므로 물리적 위치에 따라 오류 발생률이 각기 다르게 나타나는 3D NAND 플래시 메모리에서는 한계를 보인다. 따라서 본 논문에서는 오류 발생률 차이를 보이는 페이지와 레이어를 K-means 머신러닝 알고리즘을 통해 군집으로 분류하고, 각 군집마다 차별화된 데이터 보호강도를 적용한다. 본 논문에서는 페이지와 레이어별로 오류 발생률이 현저하게 달라지는 내구성 테스트가 끝난 시점에서 측정된 오류 발생 횟수를 바탕으로 페이지와 레이어를 분류하고 오류에 취약한 영역에 대해서는 스트라이프에 패리티 데이터를 추가하여 차별화된 데이터 보호 강도 제공을 예시로 보인다. 본 논문에서는 기존의 ECC 또는 RAID 방식의 데이터 보호 구조와 비교하여 제안하는 차별화된 데이터 보호정책이 3D NAND 플래시 메모리의 신뢰성과 수명향상에 기여할 수 있음을 보인다.

동영상 시맨틱 이해를 위한 시각 동사 도출 및 액션넷 데이터베이스 구축 (Visual Verb and ActionNet Database for Semantic Visual Understanding)

  • 배창석;김보경
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제14권5호
    • /
    • pp.19-30
    • /
    • 2018
  • 영상 데이터에 대한 시맨틱 정보를 정확하게 이해하는 것은 인공지능 및 기계학습 분야에서 가장 어려운 도전과제의 하나로 알려져 있다. 본 논문에서는 동영상 시맨틱 이해를 위한 시각 동사 도출과 이를 바탕으로 하는 동영상 데이터베이스인 액션넷 데이터베이스 구축에 관해 제안하고 있다. 오늘날 인공지능 기술의 눈부신 발달에는 인공지능 알고리즘의 발전이 크게 기여하였지만 알고리즘의 학습과 성능 평가를 위한 방대한 데이터베이스의 제공도 기여한 바가 매우 크다고 할 수 있다. 인공지능이 도전하기 어려운 분야였던 시각 정보 처리에 있어서도 정지 영상 내의 객체인식에 있어서는 인간의 수준을 능가하기 시작하면서 점차 동영상에서의 내용에 대한 시맨틱 이해 기술 개발로 발전하고 있다. 본 논문에서는 이러한 동영상 이해를 위한 학습 및 테스트 데이터베이스로서 액션넷 구축에 요구되는 시각 동사의 후보를 도출한다. 이를 위해 언어학 기반의 동사 분류체계를 살펴보고, 영상에서의 시각 정보를 명세한 데이터 및 언어학에서의 시각 동사 빈도 등으로부터 시각 동사의 후보를 도출한다. 시각 동사 분류체계와 시각 동사후보를 바탕으로 액션넷 데이터베이스 스키마를 정의하고 구축한다. 본 논문에서 제안하는 시각 동사 및 스키마와 이를 바탕으로 하는 액션넷 데이터베이스를 개방형 환경에서 확장하고 활용성을 제고함으로써 동영상 이해 기술 발전에 기여할 수 있을 것으로 기대한다.

워드임베딩을 활용한 복압성 요실금 관련 연구 동향에 관한 융합 연구 (A Convergence Study of the Research Trends on Stress Urinary Incontinence using Word Embedding)

  • 김준희;안선희;곽경태;원영수;유화익
    • 한국융합학회논문지
    • /
    • 제12권8호
    • /
    • pp.1-11
    • /
    • 2021
  • 본 연구의 목적은 '복압성 요실금'을 키워드로 검색된 연구들의 경향과 특성을 단어 빈도를 통해 분석하고, 워드 임베딩을 사용하여 그 관계를 모델링 하고자 하였다. 의학 서지 데이터베이스인 MEDLINE에 등록되어 있는 복압성 요실금 연구 9,868개 논문들의 초록 문자 데이터를 Python 프로그램을 이용하여 추출하였다. 그런 다음 빈도 분석을 통해 10개의 키워드를 선택하였다. 키워드 관련 단어들의 유사도는 Word2Vec 머신러닝 알고리즘으로 분석하였다. 그리고, t-SNE 기법을 사용하여 단어의 위치와 거리가 시각화하였고, 이에 따라 그룹을 분류하여 이를 분석하였다. 복압성 요실금과 관련된 연구는 1980년대 이후 빠르게 증가했다. 키워드 분석을 통해 논문 초록에서 가장 많이 사용된 키워드는 '여성', '요도', '수술'로 나타났다. Word2Vec 모델링을 통해 복압성 요실금 관련 연구에서 주요 키워드들과 가장 높은 연관성을 나타내는 단어들에는 '여성', '절박', '증상' 등이 있었다. 그리고, t-SNE 기법을 통해 키워드와 관련 단어들은 복압성 요실금의 증상, 신체 기관의 해부학적 특성, 그리고 수술적 중재를 중심으로 하는 3개의 그룹으로 분류될 수 있었다. 본 연구는 초록을 구성하는 단어들의 키워드 빈도 분석 및 워드임베딩 방식을 이용하여 복압성 요실금 관련 연구들의 동향을 살펴본 최초의 연구이다. 본 연구의 결과는 향후 연구자들이 복압성 요실금 관련 연구 분야의 주제와 방향성을 선택하는 데 있어 기초자료로 활용될 수 있을 것이다.

부도예측모형에서 도메인 지식을 통합한 반사실적 예시 기반 설명력 증진 방법 (Domain Knowledge Incorporated Counterfactual Example-Based Explanation for Bankruptcy Prediction Model)

  • 조수현;신경식
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.307-332
    • /
    • 2022
  • 부도예측모형은 여러 금융기관의 신용평가모형의 지식기반(knowledge base)로 이용되고 있으며 최근 머신러닝 기법의 발전으로 이를 도입하여 고도화하려는 다양한 시도가 진행 중이다. 그러나 실제 이러한 모형이 도입되기 위해서는 모형을 이용하는 사용자와 설명제공 대상인 고객의 이해와 수용이 전제되어야 한다. 그러나 사용자에게 제공되는 설명이 현실적 타당성(feasibility)이 결여되어 있다면 모형의 신뢰성과 수용도에 부정적인 영향을 미친다. 이에 따라 본 연구는 도메인 지식을 설명 생성 알고리즘에 통합하여 현실적으로 타당한 설명을 사용자에게 제공하고자 한다. 본 연구에서는 머신러닝 기반의 부도예측 모형에 설명력을 더하는 방법으로 반사실적 예시(counterfactual example) 기반의 로컬영역에서의 설명을 제공하는 모델을 제안한다. 제안 모델은 모형에 이용된 재무변수의 특성을 설명력 생성 알고리즘에 통합하여 설명의 현실적 가능성을 확보하고 이를 통해 사용자의 이해와 수용을 도모하고자 한다. 또한 본 연구에서는 반사실적 예시기반 설명을 위해 유전알고리즘(GA)를 이용하며 다목적함수를 목적함수로 설정하여 반사실적 예시의 주요 기준이 되는 항목을 반영하고 있다. 본 연구는 대표적인 머신러닝 기법인 인공신경망을 이용해 부도예측모형을 학습시킨 뒤, 사후적 방법(post-hoc)으로 설명을 위한 알고리즘을 도입하여 기존의 모형 설명 알고리즘인 LIME과 현실적 가능성이 결여된 반사실적 예시 기반 알고리즘과 비교하였다. 더 나아가 제안방법의 금융/회계 분야의 종사자를 대상으로 서베이를 진행하여 제안 방법의 설명의 질을 정성적으로 평가하였다.

계층적 군집분석을 이용한 반도체 웨이퍼의 불량 및 불량 패턴 탐지 (Wafer bin map failure pattern recognition using hierarchical clustering)

  • 정주원;정윤서
    • 응용통계연구
    • /
    • 제35권3호
    • /
    • pp.407-419
    • /
    • 2022
  • 반도체는 제조 공정이 복잡하고 길어 결함이 발생될 때 빠른 탐지와 조치가 이뤄져야 결함으로 인한 손실을 최소화할 수 있다. 테스트 공정을 거쳐 구성된 웨이퍼 빈 맵(WBM)의 체계적인 패턴을 탐지하고 분류함으로써 문제의 원인을 유추할 수 있다. 이 작업은 수작업으로 이뤄지기 때문에 대량의 웨이퍼를 단 시간에 처리하는 데 한계가 있다. 본 논문은 웨이퍼 빈 맵의 정상 여부를 구분하기 위해 계층적 군집 분석을 활용한 새로운 결함 패턴 탐지 방법을 제시한다. 제시하는 방법은 여러 장점이 있다. 군집의 수를 알 필요가 없으며 군집분석의 조율 모수가 적고 직관적이다. 동일한 크기의 웨이퍼와 다이(die)에서는 동일한 조율 모수를 가지므로 대량의 웨이퍼도 빠르게 결함을 탐지할 수 있다. 소량의 결함 데이터만 있어도 그리고 데이터의 결함비율을 가정하지 않더라도 기계학습 모형을 훈련할 수 있다. 제조 특성상 결함 데이터는 구하기 어렵고 결함의 비율이 수시로 바뀔 수 있기 때문에 필요하다. 또한 신규 패턴 발생시에도 안정적으로 탐지한다. 대만 반도체 기업에서 공개한 실제 웨이퍼 빈 맵 데이터(WM-811K)로 실험하였다. 계층적 군집 분석을 이용한 결함 패턴탐지는 불량의 재현율이 96.31%로 기존의 공간 필터(spatial filter)보다 우수함을 보여준다. 결함 분류는 혼합 유형에 장점이 있는 계층적 군집 분석을 그대로 사용한다. 직선형과 곡선형의 긁힘(scratch) 결함의 특징에 각각 주성분 분석의 고유값과 2차 다항식의 결정계수를 이용하고 랜덤 포레스트 분류기를 이용한다.

다중목적함수 최적화에 기초한 광대역 유도분극 변수 예측 적용성 분석 (Applicability Analysis on Estimation of Spectral Induced Polarization Parameters Based on Multi-objective Optimization)

  • 김빛나래;정주연;민배현;남명진
    • 지구물리와물리탐사
    • /
    • 제25권3호
    • /
    • pp.99-108
    • /
    • 2022
  • 유도분극(induced polarization; IP) 탐사 중 광대역 혹은 빛띠(spectral) IP (SIP) 탐사법에서는 교류 전류를 송신원으로 하였을 때 나타나는 매질의 진동수에 따른 복소전기비저항의 크기와 위상을 측정하며, 진동수에 따라 값이 변화하는 복소전기비저항의 분산 혹은 이완 반응을 분석하게 된다. 이때 분산곡선은 등가회로 모델과 같은 이완 모델을 통해 설명할 수 있는데, 다중목적함수 최적화 기법을 적용하여 분산곡선에서 SIP 이완모델의 변수들을 예측해보았다. SIP 이완현상을 설명하기 위해 가장 많이 이용되는 Cole-Cole 모델 계열의 변수를 구하기 위해 크기 오차와 위상 오차를 최소화하는 두 가지 목적함수로 설정하고 다중목적함수를 최적화하기 위해 유전 알고리듬을 이용하였다. 다중목적함수 최적화 기법을 이용한 Cole-Cole 모델 변수 구하기는 수치 모델에 대해서는 잘 구해졌으나 기존에 보고된 SIP 실내실험 자료에 피팅할 경우, 주로 위상 크기가 작을 때(약 10 mrad 이하) 피팅이 맞지 않는 경우가 많았다. 이는 다중목적함수로 사용하는 크기와 위상의 자료 오차 사이에 스케일이 맞지 않아 발생하는 한계로 추정되며, 향후 복소전기비저항의 분산 곡선에서 SIP 변수를 예측하기 위해 이러한 한계를 극복할 수 있는 기계 학습 등 다양한 기법들에 대한 연구가 필요할 것으로 판단된다.

앙상블 기반의 악취 농도 다지역 통합 예측 모델 개발 (Development of an Ensemble-Based Multi-Region Integrated Odor Concentration Prediction Model)

  • 조성주;최우석;최상현
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.383-400
    • /
    • 2023
  • 전 세계적으로 대기오염 관련 질병 발병률이 상승하고, 2022년 세계보건기구의 보고에 따르면 매년 약 700만 명의 사망자가 발생하고 있다. 또한, 산업 시설 확장과 다양한 배출원 증가, 그리고 악취 물질의 무분별한 방출로 인해 대기오염 문제는 사회적으로 중요성을 띄고 있다. 한국에서도 악취를 독립적인 환경오염으로 정의하며, 지역 주민의 건강에 직접적인 영향을 미치는 문제로 간주하고 있으나 현재까지 악취 관리가 미흡하며 악취 관리 시스템의 개선이 필요하다. 본 연구에서는 악취 관리 시스템 개선을 목표로 충청북도 오창에 설치된 악취 센서에서 수집한 1,010,749개 데이터를 활용하여 앙상블 기반의 악취 농도 다지역 통합 예측 모델을 설계하고 분석하였다. 연구 결과, XGBoost 알고리즘을 사용한 모델의 RMSE가 0.0096로 가장 성능이 좋았으며, 단일 지역 모델(0.0146)과 비교하여 평균 오차 크기가 51.9% 낮았다. 이를 통해 서로 다른 지역에서 수집된 악취 농도 데이터를 표준화한 후 다지역 통합 예측 모델을 설계함으로써 데이터의 양을 늘리고 정확도를 높일 수 있으며 또한, 하나의 통합 모델로 다양한 지역에서 예측이 가능함을 확인하였다.