• 제목/요약/키워드: 이상치 처리

검색결과 663건 처리시간 0.031초

RQ-30을 활용한 유량 측정 결과 분석을 위한 후처리 소프트웨어 개발 (Development of Post-Processing Software for Flow Measurement Results Analysis using RQ-30)

  • 손근수;천정환;강성철;권영빈;노영신
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.420-420
    • /
    • 2023
  • 하천의 유량 자료는 하천 관리에 필수적인 요소로, 지속적인 유량측정을 위해 국가 유량 측정망을 구성하여 주요 지점을 대상으로 유량 측정을 수행하고 있다. 측정된 유량자료는 일반적으로 수위-유량 관계곡선식을 개발하여 제공되고 있으며, 홍수파와 배수 영향 등으로 인해 수위-유량 관계곡선식에서 발생하는 산포로 인한 신뢰도에 문제가 우려되는 경우에는 실시간의 정확한 유량자료를 제공하기 위해 H-ADCP를 설치하여 지표유속법 기반의 실시간 유량 자료 생산하여 제공하고 있다. 그러나 H-ADCP를 이용한 유량 측정 방법은 장비의 한계로 인해 상대적으로 규모가 작고 수심이 얕은 하천에 적용하기 어려운 문제가 있다. 따라서, 최근에는 자동유량관측소 지점 확대를 위해 비접촉식 유속계를 활용한 자동유량관측소 운영이 점차 고려되고 있다. 이에 따라 비접촉식유속계를 이용한 유량 측정 결과의 검증 및 유지 관리를 위한 소프트웨어가 필요하다. 이에 본 연구에서는 비접촉식유속계 중 전자파를 이용하여 수표면의 표면유속을 측정할 수 있는 장비인 RQ-30의 측정결과를 분석하기 위해 Microsoft Visual Studio(C#) 사용하여 측정결과의 검토 및 자료 관리를 위한 후처리 소프트웨어를 개발하였다. 개발한 소프트웨어는 측정 원시자료를 읽고, 도시하여 측정 결과를 확인할 수 있으며, 머신러닝 기반의 알고리즘을 적용하여 수위 및 유속 시계열 자료에서 발생하는 이상치를 탐색할 수 있도록 개발하였다. 그리고 탐지된 이상치에 대한 보정을 위해 선형보간, LOESS, SuperSmoother를 사용하여 이상치를 보정하여 결과를 도출할 수 있도록 개발하였다. 추후 본 연구를 통해 개발된 프로그램을 활용하여 측정 자료의 유지 관리 효율성을 증대시킬 수 있을 것으로 기대되며, 지속적인 프로그램의 개선을 통해서 실무적으로 활용이 가능할 것으로 판단된다.

  • PDF

다중빔 음향측심기 자료의 이상치 보정에 관한 연구 (A Study on Outlier Adjustment for Multibeam Echosounder Data)

  • 이정숙;김수영;이용국;신동완;주형태;김한준
    • 한국해양학회지:바다
    • /
    • 제6권1호
    • /
    • pp.35-39
    • /
    • 2001
  • 해저면의 지형과 형상을 조사하기 위해 획득되는 다중빔 음향측심자료는 조사선의 움직임과 빔의 위치에 따른 음압의 보정부족 등에 기인하는 이상치를 포함하고 있다. 이 연구에서는 자기회귀이동평균(ARMA)기법을 이용하여 이상치에 의해 왜곡된 자료를 보정해주는 통계학적 절차를 소개하고 이를 동해에서 얻어진 자료에 적용하였다. 이 방법에서는 자료의 자기 상관을 1차 자기회귀모형 AR(1)으로 표현하고 이를 추정한 후 추정된 모형에 현저하게 부합하지 않는 자료(이상치)는 추정된 모형을 인용하여 수정한다. 이러한 방법을 이상치가 발견되지 않을 때까지 반복적으로 되풀이한다. 자료의 처리결과 해저지형을 나타내는 신호에 비해 월등히 큰 이상치들이 대부분 제거되었음을 볼 수 있다.

  • PDF

국소가중다항회귀분석을 이용한 이상치제거 및 자료보정기법 개발 (GPS를 이용한 개별차량 주행속도를 중심으로) (Correction of Erroneous Individual Vehicle Speed Data Using Locally Weighted Regression (LWR))

  • 임희섭;오철;박준형;이건우
    • 대한교통학회지
    • /
    • 제27권2호
    • /
    • pp.47-56
    • /
    • 2009
  • 현장에서 수집되는 교통원시자료는 수집장비의 결함 및 주변환경 등에 의해 다양한 이상치가 발생한다. 원시자료의 품질은 추가 가공을 통해 생성되는 교통정보의 신뢰도에 직접적인 영향을 미치는 중요한 요인이다. 실시간으로 수집되는 교통원시자료를 1차 가공하는데 있어서 핵심은 이상치(Outlier)를 검지하고 보정하는 것이라고 할 수 있다. 본 연구에서는 GPS장비를 이용해 얻은 개별차량의 주행속도에서 발생하는 이상치를 제거하고 보정하는 기법을 제안하였다. GPS는 광범위한 교통네트워크상의 차량추적에 용이하게 사용될 수 있는 장점이 있다. 수집된 개별차량의 주행속도에서 이상치를 검지하고 보정하기 위해 국소가중다항회귀분석(LWR: Locally Weighted Regression)을 적용하였다. 또한 국소가중다항회귀분석을 수행하기 위한 파라미터 결정 알고리즘을 개발하여 적용하였다. 개발된 필터링 기법의 성능 평가를 위해 Synthetic Outlier를 생성 및 주입하여 개발된 필터링 기법을 통해 보정시키고 원시자료와 비교 분석 하였고, LWR을 이용한 기법의 상대적 성능 평가를 위해 지수평활화를 이용한 기법과 비교하였다. 평가 결과 LWR기법이 지수평활화를 이용한 기법보다 낮은 오차율을 보여 상대적으로 우수함을 검증하였다. 본 연구에서 제안한 방법론은 교통정보공학 분야의 자료처리 및 정보가공을 위한 도구로서 활용도가 클 것으로 기대된다.

방사성 폐기물 관리에 있어 감용처리기술의 중요성

  • 김정국;김준형;박헌휘
    • Nuclear Engineering and Technology
    • /
    • 제22권4호
    • /
    • pp.416-422
    • /
    • 1990
  • 현재 추진중인 중,저준위 방사성폐기물 영구 처분장은 현시점에서 적용중인 처리기술외에는 더 이상의 기술개발을 고려치 않고 폐기물 발생량을 추정하여 이를 근거로 하였는데, 당 연구소에서 개발중인 감용처리기술이 적용된다는 가정아래 향후 방사성 폐기물 관리계획을 검토하였다. 국내에서 발생되는 방사성 폐기물의 대부분을 차지하는 원자력 발전소 운전으로 인해 발생되는 폐기물에 대해서만 감용처리기술을 적용해도 해체폐기물이 본격적으로 발생되는 2018년 이전까지는 그 발생량이 55%까지 감소함을 알 수 있었다. 따라서 초기건설용량 25만 드럼규모의 처분장에 대해 그 운영기간은 7년이상 연장할 수 있을 것으로 예상되었다.

  • PDF

인공지능 기반 주식시장 변동성 이상탐지모델 개발 (Development of a Stock Volatility Detection Model Using Artificial Intelligence)

  • 김현정;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.576-579
    • /
    • 2024
  • 경제 위기 대비를 위해 인공지능을 활용한 주식시장 변동성 이상을 탐지하는 목적을 가지고 있다. 글로벌 이슈와 경제 위기 대비를 위해 주식시장 변동성 예측의 중요성이 부각되고 있으며, 기존의 주식시장 변동성 지수인 VIX 의 한계로 인해 더 복잡한 모델 및 인공지능을 활용한 연구에 관심이 집중되고 있다. 기존의 주식시장 변동성 예측에 관한 연구들은 통계적인 방법을 사용했으며 인공지능을 이용한 연구 또한 대부분 이상치 구간을 표시하여 예측을 목표로 하고 있으나 이러한 접근법은 라벨이 있는 데이터 수집 어려움, 클래스 불균형 문제가 있다. 본 연구는 인공지능을 활용한 주식시장 변동성 탐지에 기여하고 지도 학습 방식 대신 비지도 학습 기반의 이상탐지모델을 사용하여 주식시장 변동성을 예측하는 새로운 방법론을 제안한다. 본 연구에서 개발한 인공지능 모델은 IsolationForest 모델을 활용하며, 시계열 데이터를 전처리한 후 정상성을 확보하는 등의 과정을 거친다. 실험 결과로 인공지능 모델이 주요 경제이슈를 이상치로 검출하는 성능을 확인하였으며 재현율 약 93.6%, 정밀도 100%로 높은 성능을 달성했다.

데이터 불균형과 측정 오차를 고려한 생분해성 섬유 인장 강신도 예측 모델 개발 (The Development of Biodegradable Fiber Tensile Tenacity and Elongation Prediction Model Considering Data Imbalance and Measurement Error)

  • 박세찬;김덕엽;서강복;이우진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권12호
    • /
    • pp.489-498
    • /
    • 2022
  • 최근 노동 집약적인 성격의 섬유 산업에서는 인공지능을 통해 섬유 방사 공정에 들어가는 비용을 줄이고 품질을 최적화하려고 시도 하고 있다. 그러나 섬유 방사 공정은 데이터 수집에 필요한 비용이 크고 체계적인 데이터 수집 및 처리 시스템이 부족하여 축적된 데이터양이 적다. 또 방사 목적에 따라 특정한 변수에만 변화를 준 데이터만을 우선으로 수집하여 데이터 불균형이 발생하며, 물성 측정 환경의 차이로 인해 동일 방사 조건에서 수집된 샘플 간에도 오차가 존재한다. 이러한 데이터 특성들을 고려하지 않고 인공지능 모델에 활용할 경우 과적합과 성능 저하 등의 문제가 발생할 수 있다. 따라서 본 논문에서는 방사 공정 데이터 특성을 고려한 이상치 처리 기법과 데이터 증강 기법을 제안한다. 그리고 이를 기존 이상치 처리 기법 및 데이터 증강 기법과 비교하여 제안한 기법이 방사 공정 데이터에 더 적합함을 보인다. 또 원본 데이터와 제안한 기법들로 처리된 데이터를 다양한 모델에 적용하여 비교함을 통해 제안한 기법들을 사용한 모델들이 그렇지 않은 모델들에 비해 인장 강신도 예측 모델의 성능이 개선됨을 보인다.

MNNG에 의한 DNA 회복합성과 염색체 이상과의 연관성에 관한 연구 (The Repair of MNNG-Induced DNA Damage and Its Relation to Chromosome Aberrations in Mammalian Cells)

  • Kim, Choon-Kwang;Lee, Chun-Bok
    • 한국동물학회지
    • /
    • 제23권3호
    • /
    • pp.115-123
    • /
    • 1980
  • DNA 회복합성과 염색체이상과의 연관성여부를 추구하기 위하여 CHO 세포를 재료로 MNNG의 농도와 처리후 시간경과에 따른 절제회복율을 조사하고 이들 염색체 이상율과 비교하여 다음과 같은 결과를 얻었따. 1. MNNG에 의한 절제회복율은 $0.5 \\times 10^-5M$에서 $0.5 \\times 10^-5M$까지 농도의 증가에 따른 절제회복율의 증가를 보인다. 또 $1 \\times 10^-5M$ 처리후 0시간째는 절제회복율의 최고치를 보이다가 그후 점자 감소하여 24시간에는 0시간의 66%정도 나타난다. 2. MNNG에 의한 염색체이상은 $1 \\times 10^-5M$ 처리후 6시간에 최대치를 보이며 이상형의 대부분은 염색분체 절단을 나타낸다. 그러나 시간이 경과함에 따라 염색체분체절단은 감소하고 염색분체교환은 증가하여 24시간에는 두종류의 이상율이 비슷하게 이른다. 3. MNNG 처리후 시간경과에 따른 절제회복율은 전체이상율과 대체로 일치한다. 그러나 염색분체교환 또는 염색분체절단과는 어떤 비례관계도 보이지 않는다. 따라서 이같은 결과들은 MNNG에 의한 DNA 상해 및 그 회복은 염색체의 회복 현상과는 연관성이 없음을 암시하는 것이다.

  • PDF

확률강우량 산정을 위한 이상강우 특성치 분석(강화도를 중심으로) (Considering Extreme Rainfall Characteristics for Calculate of Probable Rainfall(case study of kang-hwa island))

  • 최계운;한만신;장동우;이선아
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2009년도 학술발표회 초록집
    • /
    • pp.1431-1436
    • /
    • 2009
  • 강화지역의 경우 40년 미만의 관측기록으로 1998년 8월 6일부터 8월 7일까지 발생했던 24시간 최대강우의 경우 619.5mm로써 기상청에서 관측한 이래 8월의 강우 중 최고치를 기록하고 있고, 과거 강우빈도에 적용할 경우 최소 200년 이상의 빈도를 나타내게 되어 확률강우량 산정시 이에 대한 검토가 있어야 한다. 강화지역 확률강우량 산정을 위하여 지속년도별 지속시간에 따른 최대발생 강우량을 산정하였을 때, 100년 빈도 확률강우량 산정시 1998년의 강우가 100년 빈도 이상의 강우로 판단되며, 이상강우를 기각하였을 경우 100년 빈도 24시간 일 경우 확률강우량이 약 24% 감소되는 것으로 나타남에 따라 이상강우의 처리를 단순히 포함하는 방안보다 기각여부 조건을 설정하여 수공구조물의 과다설계를 방지하고 합리적인 설계 방안을 제시하는 것이 바람직하다.

  • PDF

강인한 역산으로서의 하이브리드 $l^1/l^2$ norm IRLS 방법의 효율적 구현기법 (An Efficient Implementation of Hybrid $l^1/l^2$ Norm IRLS Method as a Robust Inversion)

  • 지준
    • 지구물리와물리탐사
    • /
    • 제10권2호
    • /
    • pp.124-130
    • /
    • 2007
  • 탄성파 역산에 있어서 가장 널리 사용되는 최소자승($l^2$ norm)해는 이상치(outlier)에 매우 민감하게 반응하는 경향이 있다. 이에 반해서 $l^1$ norm을 최소화하는 해는 이상치에 강인한 면을 보이나 일반적으로 좀 더 많은 계산이 필요하다. 반복적가중의 최소자승법(Iteratively reweighted least squares [IRLS] method)을 이용하면 이러한 $l^1$ norm 문제의 근사해(approximate solution)를 효율적으로 구할 수 있다. 본 논문에서는 작은 크기의 잔여분은 $l^2$ norm으로 처리하며, 큰 크기의 잔여분은 $l^1$ norm으로 처리하는 하이브리드 $l^1/l^2$ norm 최소화를 IRLS 방법에 쉽게 적용하는 구현 기법을 소개한다. 소개된 알고리즘은 특이치(singularity)처리를 위한 임계값의 결정에 민감하게 반응하는 기존의 $l^1$ norm IRLS 방법과는 달리 임계값 결정에 상관없이 늘 강인한 역산의 특성을 보여준다.

USN 기반의 화재감시 응용을 위한 센서 데이터 처리 시스템 (A Sensor Data Management System for USN based Fire Detection Application)

  • 박원익;김영국
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권5호
    • /
    • pp.135-145
    • /
    • 2011
  • 오늘날 센서 기술의 발전 및 보급으로 인해 USN 기반의 실시간 모니터링 응용에서의 센서 데이터 처리 시스템에 대한 연구가 활발히 진행 되고 있다. 센서 데이터는 시간에 따라 빠르게 변화하고 연속적인 저수준 상태의 방대한 양의 데이터를 생성하는 특성을 갖는다. 하지만 엔드유저는 상대적으로 고수준 상태의 데이터에 관심이 있기 때문에 빠르게 변화하고 연속적인 대량의 저수준 센서 데이터를 효과적으로 처리하는 시스템이 필수적이다. 본 논문에서는 USN 기반의 화재감시 응용에서 OLAP(On-Line Analytical Processing) 기술을 이용한 다차원 분석 질의 처리 기능과 학습기반 분류기를 통한 이상치 탐지 기능을 제공하는 센서 데이터 처리 시스템을 제안한다. 실험 시나리오를 통해 우리의 센서 데이터 처리 시스템에 대한 타당성을 검증하며 실험에 필요한 다양한 센서 데이터는 자체 개발한 센서 데이터 생성기를 이용한다.