• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.283-285
• /
• 2023

이상 탐지는 데이터에서 일반적인 범주에서 크게 벗어나는 인스턴스 또는 패턴을 식별하는 중요한 작업이다. 본 연구에서는 시계열 데이터의 특징 추출을 위한 비지도 학습 기반 방법과 정규화 흐름의 결합을 통한 이상 탐지 프레임워크를 제안한다. 특징 추출기는 1차원 합성곱 신경망 기반의 오토인코더로 구성되며, 정상적인 시퀀스로만 구성된 훈련 데이터를 압축하고 복원하는 과정을 통해 최적화된다. 추출된 시계열 데이터의 특징 맵은 가능도를 최대화하도록 훈련된 정규화 흐름의 입력으로 사용된다. 이와 같은 방식으로 훈련된 이상 탐지 시스템은 테스트 샘플에 대한 이상치를 계산하며, 최종적으로 임계값과의 비교를 통해 이상 여부를 예측한다. 성능 평가를 위해 시계열 이상 탐지를 위한 공개 데이터셋을 이용하여 공정하게 이상 탐지 성능을 비교하였으며, 실험 결과는 제안하는 정규화 흐름 기법이 시계열 이상 탐지 시스템에 활용될수 있는 잠재성을 시사한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
• /
• pp.67-69
• /
• 2011

데이터의 군집 분석에서 두 개의 서로 다른 데이터에 대한 유사도(거리)를 어떻게 정의하는가는 매우 중요한 문제이다. 수치속성에 대한 거리 측정 방법에는 다양한 기법이 존재하지만 각 속성의 크기와 범위가 서로 크게 다를 경우 이들을 동일한 인자로 여기고 거리 측정을 하게 되면 논리적인 오류를 범할 수 있다. 기존의 군집 분석 연구에서 사용된 거리 측정 기법은 데이터의 정규화 과정을 통해 이 문제를 해결하려고 노력하지만 일반적인 정규화는 이상치의 존재나 데이터의 편중된 분포 등의 이유로 속성별 거리가 왜곡될 수 있다. 본 논문은 이러한 문제점을 해결하기 위해 정규화된 데이터에서 각 속성의 비중을 고려한 적응적 유클리드 거리 측정 기법(AEDM: Adaptive Euclidean Distance Measure)을 제안한다. AEDM은 유클리드 거리를 기반으로 정규화 된 데이터의 형태에 따라 가중치를 부여하여 데이터의 분포에 관계없이 각 속성간의 거리를 충분히 반영하기 때문에 더욱 정확한 군집 분석을 가능하게 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.18-22
• /
• 2019

FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

• 한국전자통신학회논문지
• /
• 제14권3호
• /
• pp.547-552
• /
• 2019

최근, 빅데이터 분야에서는 빅 데이터의 양적 팽창이 주요 이슈로 떠오르고 있다. 더군다나 이러한 빅데이터는 기계학습의 입력값으로 사용되어지고 있으며 이들의 성능을 향상시키기 위해 정규화 전처리가 필요하다. 이러한 성능은 빅데이터 컬럼의 범위나 정규화 전처리 방식에 따라 크게 좌우된다. 본 논문에서는 다양한 종류의 정규화 전처리 방식과 빅데이터 컬럼의 범위를 조절하면서 서포트벡터머신(SVM)의 기계학습방식에 적용함으로써 더욱 효과적인 정규화 전처리 방식을 파악하고자 하였다. 이를 위하여 파이썬언어와 주피터 노트북 환경에서 기계학습을 수행하고 분석하였다.

• 지능정보연구
• /
• 제22권2호
• /
• pp.1-11
• /
• 2016

Entani and Tanaka(2007)는 불확실한 데이터를 처리하기에 적합한 구간 평가결과를 얻는 새로운 방법을 제시하였다. 무엇보다 그들의 방법은 구간 데이터를 정규화하여 redundant 데이터를 제거하는데 특징이 있다. 더 나가 정규화된 구간데이터를 활용하여 계층분석과정(AHP)에서 최종 구간 우선순위벡터를 도출한다. 이 논문에서는 구간 데이터의 정규화 목적을 달성하기 위해 구간 데이터의 꼭지점을 구하는 쉽고 간편한 휴리스틱 방법을 제시한다. 한편 간단한 검사법을 활용하여 정규화된 데이터를 활용하여 최종 구간 우선순위벡터를 도출하는 방법을 제시하고자 한다. 아울러 Entani and Tanaka(2007)가 제시한 대안간 지배관계 규명 방법을 확장한 지배관계 규명 방법을 제시하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.515-518
• /
• 2001

본 논문에서는 전처리단계로 영평균 정규화 기법과 주요성분분석 기법을 도입하여 다층신경망을 이용한 고신뢰성의 회귀분석 모델을 제안한다. 영평균 정규화 기법은 데이터의 1차적 통계성을 고려하여 알고리즘을 간략화시키며, 주요성분분석 기법은 입력 데이터의 2차적 통계성을 고려하여 독립인 특징들의 집합으로 변환시켜 학습데이터의 차원을 감소시킬 수 있어 고차원의 학습데이터에 따른 회귀분석 모델의 제약을 해결할 수 있었다. 제안된 기법의 신경망을 3개의 독립변수를 가진 암모니아 제조공정문제와 10개의 독립변수를 가진 자동차 연비문제에 각각 적용하여 시뮬레이션한 결과, 단순정규화나 PCA를 적용하지 않는 경우보다 제안된 기법의 학습속도와 회귀성능이 더욱 더 우수함을 확인할 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제18권11호
• /
• pp.31-38
• /
• 2013

특징 정규화는 인식기를 적용하기 이전의 전처리 단계로 특징의 스케일에 따른 오류를 줄이기 위해 널리 사용되고 있다. 하지만 기존 정규화 방법은 특징의 분포를 가정하는 경우가 많으며, 클래스 라벨을 고려하지 않으므로 정규화 결과가 인식률에서 최적임을 보장하지 못하는 문제점이 있다. 이 논문에서는 특징의 분포를 가정하지 않는 랭크 정규화 방법과 클래스 라벨을 사용하는 교사 학습법을 결합한 교사 랭크 정규화 방법을 제안하였다. 제안하는 방법은 데이터의 분포를 바탕으로 특징의 분포를 자동으로 추정하므로 특징의 분포를 가정하지 않으며, 데이터 포인트의 최근접 이웃이 가지는 클래스 라벨을 바탕으로 정규화를 시행하므로 오류의 발생을 최소화할 수 있다. 특히 SVM의 경우 서로 다른 클래스에 속하는 데이터 포인트들이 혼재되어 나타나는 영역에 경계선을 설정하므로 이 영역의 밀도를 줄임으로써 경계선 설정을 보다 용이하게 하고 결과적으로 일반화 오류를 감소시킬 수 있다. 이러한 사실들은 실험 결과를 통해 확인할 수 있다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2009년도 춘계학술대회 논문집
• /
• pp.296-300
• /
• 2009

가상현실이나 인터넷 웹지도 서비스와 같이 3차원의 실세계를 시스템 상에 그대로 재현(reconstruction)하기 위해서는 정교하고 세밀한 3차원 도시모델이 필수적이다. 이러한 3차원 도시모델의 자동생성은 원격탐사 및 사진측량 분야에서 많은 연구가 수행되고 있다. 이러한 연구들은 다양한 센서 데이터와 기 구축되어 있는 GIS자료를 이용하여 건물, 도로, 지형 등의 도시모델을 자동으로 생성하고자 한다. 그러나 대부분의 연구에서 추출한 각 기본요소(primitives)-평면패치(planar patches), 에지(edges), 모서리(corners)에 대한 국부적인 정제(refinement)는 수행하였으나, 생성한 건물 모델에 대한 광역적인 조정을 통한 정규화에 대한 연구는 미비한 상태이다. 본 연구에서는 다양한 데이터로부터 생성된 B-rep (boundary representation) 형태의 건물 모델에 대하여 기하학적인 제약요소(constraints)를 이용한 정규화(regularization) 방법론을 제시하고자 한다. 제안하는 방법은 건물의 Domain Knowledge에 기반하여 도출한 건물을 구성하는 기본요소(primitives)간의 인접성, 직교성, 평행성, 교차성 등의 다양한 제약조건을 이용하여 광역적으로 조정한다. 시뮬레이션 데이터에 적용한 결과의 분석을 통해 제안된 정규화 방법을 통해 오차가 포함된 건물모델이 보다 정형화된 형태로 조정되었음을 확인하였다.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.374-382
• /
• 2020

본 연구에서 저장탄약 신뢰성평가(ASRP: Ammunition Stockpile Reliability Program)의 데이터 특성을 고려하여 입력변수를 줄이는 정규화기법을 제안함으로써 분류성능의 저하 없이 저장탄약 신뢰성분류 인경신경망모델의 학습 속도향상을 목표로 하였다. 탄약의 성능에 대한 기준은 국방규격(KDS: Korea Defense Specification)과 저장탄약 시험절차서(ASTP: Ammunition Stockpile reliability Test Procedure)에 규정되어 있으며, 평가결과 데이터는 이산형과 연속형 데이터가 복합적으로 구성되어 있다. 이러한 저장탄약 신뢰성평가의 데이터 특성을 고려하여 입력변수는 로트 추정 불량률(estimated lot percent nonconforming) 또는 고장률로 정규화 하였다. 또한 입력변수의 unitary hypercube를 유지하기 위하여 최소-최대 정규화를 2차로 수행하는 2단계 정규화 기법을 제안하였다. 제안된 2단계 정규화 기법은 저장탄약 신뢰성평가 데이터를 이용하여 비교한 결과 최소-최대 정규화와 유사하게 AUC(Area Under the ROC Curve)는 0.95 이상이었으며 학습속도는 학습 데이터 수와 은닉 계층의 노드 수에 따라 1.74 ~ 1.99 배 향상되었다.

• 지능정보연구
• /
• 제16권3호
• /
• pp.1-14
• /
• 2010

역전파 알고리즘은 오랫동안 부도예측모형 관련한 연구에 많이 적용되어왔다. 역전파 알고리즘을 사용하기전에 필히 고려해야 할 중요한 요소들로는 네트워크 구조, 학습요소, 정규화 방법 등이다. 하지만 신경망 성과를 향상시키기 위한 네트워크 구조 및 학습요소 최적화 관련한 연구는 기존의 연구들에서 많이 이루어 졌지만 데이터 정규화와 관련한 연구는 아직 많이 이루어지지 않았다. 따라서 본 연구에서는 유전자 알고리즘을 기반으로 하는 정규화 기법을 제시하였다. 최적의 입력데이터 정규화를 위하여 본 연구에서는 우선 각각의 서로 다른 정규화 기법들을 동일 가중치를 두어 일반화 시켰으며 유전자 알고리즘을 이용하여 최적의 가중치를 찾음으로써 최적화된 입력변수 정규화가 이루어지도록 하였다. 제안한 방법론을 검증하기 위하여 부도예측 데이터를 이용하여 실험을 하였으며 제안하는 방법과 기존 다른 방법들간의 비교를 통하여 그 타당성을 검증하였다.