• 제목/요약/키워드: pre-processing step

검색결과 139건 처리시간 0.031초

Cleaning Noises from Time Series Data with Memory Effects

  • Cho, Jae-Han;Lee, Lee-Sub
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.37-45
    • /
    • 2020
  • 딥러닝의 개발 프로세스는 대량의 수작업이 요구되는 반복적인 작업으로 그 중 학습 데이터 전처리는 매우 큰 비용이 요구되며 학습 결과에 중요한 영향을 주는 단계이다. AI의 알고리즘 연구 초기에는 주로 데이터 과학자들에 의해 완벽하게 정리하여 제공된 공개 DB형태의 학습데이터를 주로 사용하였다. 실제 환경에서 수집된 학습 데이터는 주로 센서들의 운영 데이터이며 필연적으로 노이즈가 많이 발생할 수 있다. 따라서 노이즈를 제거하기 위한 다양한 데이터 클리닝 프레임워크와 방법들이 연구되었다. 본 논문에서는 IoT환경에서 발생 될 수 있는 센서 데이터와 같은 시계열 데이터에서 노이즈를 감지하고 제거하는 방법을 제안하였다. 이 방법은 선형회귀 방법을 사용하여 시스템이 반복적으로 노이즈를 찾아내고, 이를 대체할 수 있는 데이터를 제공하여 학습데이터를 클리닝한다. 제안된 방법의 효과를 검증하기 위해서 본 연구에서 시뮬레이션을 수행하여, 최적의 클리닝 결과를 얻을 수 있는 인자들의 결정 방법을 확인하였다.

광학 위성 영상 기반 선박탐지의 정확도 개선을 위한 딥러닝 초해상화 기술의 영향 분석 (Impact Analysis of Deep Learning Super-resolution Technology for Improving the Accuracy of Ship Detection Based on Optical Satellite Imagery)

  • 박성욱;김영호;김민식
    • 대한원격탐사학회지
    • /
    • 제38권5_1호
    • /
    • pp.559-570
    • /
    • 2022
  • 광학 위성 영상의 공간해상도가 낮게 되면 크기가 작은 객체들의 경우 객체 탐지의 어려움이 따른다. 따라서 본 연구에서는 위성 영상의 공간해상도를 향상시키는 초해상화(Super-resolution) 기술이 객체 탐지 정확도 향상에 대한 영향이 유의미한지 알아보고자 하였다. 쌍을 이루지 않는(unpaired) 초해상화 알고리즘을 이용하여 Sentinel-2 영상의 공간해상도를 3.2 m로 향상시켰으며, 객체 탐지 모델인 Faster-RCNN, RetinaNet, FCOS, S2ANet을 활용하여 초해상화 적용 유무에 따른 선박 탐지 정확도 변화를 확인했다. 그 결과 선박 탐지 모델의 성능 평가에서 초해상화가 적용된 영상으로 학습된 선박 탐지 모델들에서 Average Precision (AP)가 최소 12.3%, 최대 33.3% 향상됨을 확인하였고, 초해상화가 적용되지 않은 모델에 비해 미탐지 및 과탐지가 줄어듦을 보였다. 이는 초해상화 기술이 객체 탐지에서 중요한 전처리 단계가 될 수 있다는 것을 의미하고, 객체 탐지와 더불어 영상 기반의 다른 딥러닝 기술의 정확도 향상에도 크게 기여할 수 있을 것으로 기대된다.

딥러닝과 I-V 곡선을 이용한 태양광 스트링 고장 진단 (Fault Diagnosis of PV String Using Deep-Learning and I-V Curves)

  • 신우균;오현규;배수현;주영철;황혜미;고석환
    • Current Photovoltaic Research
    • /
    • 제10권3호
    • /
    • pp.77-83
    • /
    • 2022
  • Renewable energy is receiving attention again as a way to realize carbon neutrality to overcome the climate change crisis. Among renewable energy sources, the installation of Photovoltaic is continuously increasing, and as of 2020, the global cumulative installation amount is about 590 GW and the domestic cumulative installation amount is about 17 GW. Accordingly, O&M technology that can analyze the power generation and fault diagnose about PV plants the is required. In this paper, a study was conducted to diagnose fault using I-V curves of PV strings and deep learning. In order to collect the fault I-V curves for learning in the deep learning, faults were simulated. It is partial shade and voltage mismatch, and I-V curves were measured on a sunny day. A two-step data pre-processing technique was applied to minimize variations depending on PV string capacity, irradiance, and PV module temperature, and this was used for learning and validation of deep learning. From the results of the study, it was confirmed that the PV fault diagnosis using I-V curves and deep learning is possible.

시스템 상태의 대수적 성질을 이용한 다중모드 네트워크 시스템 성능 근사계산 알고리즘 (An Algorithm For Approximating The Performance of Multi-mode Network System Using Algebraic Property of System States)

  • 오대호
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권12호
    • /
    • pp.127-137
    • /
    • 2009
  • 본 논문에서는 다중모드를 갖는 장치 구성요소들의 네트워크 구조를 갖는 시스템 혹은 통신 네트워크에서 성능 품질 혹은 신뢰도 근사계산을 위해서 네트워크 시스템 상태들의 확률크기에 관해 최고 가능 상태들만을 생성하는 알고리즘을 제안한다. 대부분의 네트워크 시스템 같은 복잡한 시스템들은 장치들의 수나 장치들의 다중 모드의 수가 증가함에 따른 기하급수적 상태 공간의 증가로 인해 그 성능이나 신뢰도를 직접 계산하는 것이 매우 어려운 경우가 많다. 따라서 근사계산의 해법이 더욱 타당한 접근법이라 할 수 있다. 이때, 시스템의 기대 성능이나 신뢰도 계산을 위해서는 시스템 상태와 그 상태 확률을 통해 기댓값을 산출하여야 한다. 이때, 근사계산을 통한 접근 방법에서 사전에 수행되어야 하는 것은 네트워크 시스템 상태들의 발생 가능 순서로 나열해야 하는 것이 필요하다. 이에 본 논문에서는 시스템 상태들 중 가장 발생 가능성이 큰 상태들을 찾고 이로부터 네트워크 성능이나 신뢰도의 근사 값을 구하는데 활용할 수 있는 방법을 제안한다. 제안된 알고리즘은 기존의 방법과 자원의 효율성 측면 중에서 메모리 효율성을 고려하여 실험을 통해 예시하고 장 단점을 논의하고자 한다.

실시간 영상 처리를 위한 향상된 영역 경계 검출 (An Improved Area Edge Detection for Real-time Image Processing)

  • 김승희;남시병;임해진
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권1호
    • /
    • pp.99-106
    • /
    • 2009
  • 경계 검출은 영상 인식의 성능을 좌우하는 중요한 단계로서 지금까지 많은 경계 검출 방법들이 연구되어 왔음에도 불구하고 여전히 어려운 문제로 남아있으며, 영상에서 객체를 인식하거나 특정 영역을 추적하는 등의 유일한 방법은 아니지만 영상 인식 응용 분야에서 중요한 요소들 중의 하나이다. 본 논문에서는 미분 연산자를 이용한 경계검출 방법과는 달리 이진화 영상에서 2개의 이웃된 픽셀 정보를 참조하여 미리 정의된 4개의 경계 픽셀 패턴과 비교하여 경계 픽셀을 찾고, 다음 경계 검출 탐색 픽셀에 대한 방향을 결정하여 영역의 경계를 검출하며, 다음 영역의 경계 검출을 위하여 방문하지 않은 픽셀들을 탐색하면서 경계 검출 단계를 반복 수행하여 이진화 영상의 경계를 검출하는 방법을 제안하였다. 영상 인식에 있어 미분 연산자를 이용하여 경계 검출을 할 경우 경계 검출 다음 단계인 세선화 과정을 생략할 수 있었으며, 기존의 영역 경계 추적 방법에 비해 경계 검출 알고리즘 수행 시간을 단축하여 실시간으로 영상을 인식하는 시스템에 적용하여 전체적인 영상 인식 시간을 단축할 수 있었다.

악보인식 전처리를 위한 강건한 오선 두께와 간격 추정 방법 (A Robust Staff Line Height and Staff Line Space Estimation for the Preprocessing of Music Score Recognition)

  • 나인섭;김수형;뀌
    • 인터넷정보학회논문지
    • /
    • 제16권1호
    • /
    • pp.29-37
    • /
    • 2015
  • 이 논문에서는 모바일 기기상에서 카메라기반 악보인식을 위한 오선 두께와 오선 간격을 추정하는 전처리 기술을 제안한다. 캡쳐된 영상은 조명이나, 흐려짐, 저해상도 등의 많은 왜곡으로 인해 인식에 어려움이 있다. 특히 복잡한 배경을 가지고 있는 악보 영상인식의 경우 더욱 그렇다. 악보 기호 인식에서 오선 두께와 오선 간격은 인식에 큰 영향을 끼친다. 이들 정보는 이진화에도 사용되는데, 복잡한 배경을 가지고 있는 경우 일반적인 이진 영상은 오선 두께와 간격을 추정하는데 만족스럽지 못하다. 따라서 우리는 에지영상에서 런-길이 엔코딩 기술을 이용해 오선 두께와 간격 추정하는 강건한 알고리즘을 제안한다. 제안된 방법은 2단계로 구성되어 있다. 첫 번째 단계는 소벨 연산자에 의해 영역별로 에지 영상을 기반으로 오선 두께와 간격을 추정한다. 각 에지 영상의 열은 런-길이 엔코딩 알고리즘에 의해 기술된다. 두 번째 단계는 안정한 경로 알고리즘을 이용한 오선 검출과 오선 위치를 추적하는 적응적 LTH알고리즘을 이용한 오선 제거이다. 실험결과 복잡한 영상의 경우에도 강건함과 높은 인식률을 보였다.

랜덤포레스트와 Sentinel-2를 이용한 식생 분류의 입력특성 최적화 (Optimization of Input Features for Vegetation Classification Based on Random Forest and Sentinel-2 Image)

  • 이승민;정종철
    • 한국지리정보학회지
    • /
    • 제23권4호
    • /
    • pp.52-67
    • /
    • 2020
  • 최근 북극은 매년 영구 동토층이 녹아 눈으로 덮인 땅이 드러나고 있어 해당 지역 관리를 위한 공간정보가 필요하다. 한국의 국토지리정보원(NGII)은 극지방의 공간정보를 구축하여 극지공간정보 서비스를 제공하고 있으나, 식생 정보는 제공되지 않고 있으므로 식생 공간정보 구축을 위한 추가적인 연구가 필요하다. 본 연구에서는 북극 스발바르제도의 뉘올레순 지역에 대한 식생 분류를 수행하기 위해 다중 시기의 Sentinel-2 영상을 사용하였다. 전처리 단계에서는 다중 시기 Sentinel-2 영상으로부터 10개 밴드와 6가지 정규 지수식을 생성하였다. 영상 분류는 8개 속성에 대한 토지피복분류를 통해 전체 식생 영역을 추출하는 과정과 전체 식생 영역 내에서 다시 세분류를 수행하는 과정으로 이루어졌다. 영상 분류 알고리즘은 OOB(Out-Of-Bag)를 통해 정확도 평가 및 변수 중요도를 산정할 수 있는 랜덤포레스트를 사용하였다. 전체 정확도는 다시기 영상이 사용되었을 경우와 식생 지수가 추가되었을 경우의 이점을 확인하기 위해 사용된 영상 수에 따라 각각 정확도를 산정하였다. 단일시기의 Sentinel-2 영상은 전체 정확도가 77%였으나, 7개의 다중 시기 Sentinel-2 영상을 기반으로 학습하였을 때, 81%로 향상되었다. 또한, 식생 지수가 추가로 사용된 학습에서 전체 정확도가 약 83%로 향상되었다. 식생 분류 시 변수 중요도는 적색, 녹색, 단파적외선-1 밴드가 가장 높은 변수로 선정되었다. 본 연구는 극지방의 식생에 대한 분류를 수행할 시 입력특성을 최적화하는 기초 연구로 활용될 수 있을 것으로 판단된다.

인공지능기반 보안관제 구축 및 대응 방안 (Artificial Intelligence-based Security Control Construction and Countermeasures)

  • 홍준혁;이병엽
    • 한국콘텐츠학회논문지
    • /
    • 제21권1호
    • /
    • pp.531-540
    • /
    • 2021
  • 사이버 상의 공격과 범죄가 기하급수적으로 증가와 해킹 공격들이 지능화, 고도화되면서 해킹 공격방법 및 루트가 복자하고 예측 불가능하게 진화하고 있어 실시간으로 범죄 발생을 예측, 예방과 대규모의 지능적인 해킹 공격에 대한 선제적 대응력 강화하기 위해 스스로 학습해 이상 징후를 감시 및 공격을 차단하여 대응하는 인공지능을 활용한 차세대 보안 시스템 구축을 통한 인공지능기반 보안관제 플랫폼 개발 방안을 제시하고자 한다. 인공지능기반 보안관제 플랫폼은 데이터 수집, 데이터 분석, 차세대 보안체계 운영, 보안체계 관리 등의 기반으로 개발되어야 한다. 빅데이터 기반과 관제시스템, 외부위협정보를 통한 데이터 수집 단계, 수집된 데이터를 전처리 후 정형화시켜 딥러닝 기반 알고리즘을 통해 정·오탐 선별과 이상행위 분석 등을 수행하는 데이터 분석 단계, 분석된 데이터로 통해 예방·관제·대응·분석과 유기적 순환구조의 보안체계를 운영하여 신규위협에 대한 처리범위 및 속도향상을 높이고 정상기반과 비정상행위 식별 등을 강화시키는 차세대 보안체계 운영, 그리고 보안위협 대응 체계 관리, 유해IP 관리, 탐지정책 관리, 보안업무 법제도 관리이다. 이를 통해 방대한 데이터를 통합적으로 분석하고 빠른 시간에 선제적으로 대처가 될 수 있도록 방안을 모색하고자 한다.

유산균을 함유한 녹즙의 HACCP 시스템 적용을 위한 미생물학적 위해도 평가 (Microbiological Evaluation for HACCP System Application of Green Vegetable Juice Containing Lactic Acid Bacteria)

  • 권상철
    • 한국산학기술학회논문지
    • /
    • 제12권11호
    • /
    • pp.4924-4931
    • /
    • 2011
  • 본 연구는 유산균을 함유한 녹즙제품의 HACCP(Hazard Analysis Critical Control Point)시스템에 의한 제조공정도 작성과 공정별 원료 농산물과 제조 시설에 대한 일반 세균수와 병원성 미생물을 평가하기 위한 목적으로 수행하였다. 공정별 원료농산물의 원재료보관공정 단계의 4가지 시료에서 일반세균이 검출되었으며, 용수(water)는 8.67~14.67 CFU/$m{\ell}$ 검출되었다. 하지만 자외선살균공정 이후, 모든 시료는 법적기준치인 $10^5\;CFU/m{\ell}$이하로 검출되었다. 식중독균인 E. coil, E. coli O157:H7, B. cereus, L. monocytogenes, Salmonella spp, Staph. aureus 실험결과, 보관공정에서 E.coli는 자외선 살균 전단계 공정까지 검출되었으며, B. cereus는 1차세척까지 일부 검출되었다. 모든 세균 및 진균류는 주원료에서 많이 검출되고 있어 주원료의 초기 균수를 최소화하는 선행관리방법을 수립할 필요가 있으며, 세균수와 황색포도상구균 등의 교차 오염방지를 위한 제조설비 등의 효과적인 세척 소독방법을 수립할 필요가 있다고 사료된다. 상기 결과을 바탕으로 유산균을 함유한 녹즙류의 일반세균 및 식중독균을 감소 또는 제거할 수 있는 중요한 공정으로 UV살균공정이 CCP로 관리되어야 한다. 따라서 자외선살균공정의 관리기준 및 이탈시 조치방법, 검증방법, 교육 훈련과 기록관리 등 철저한 HACCP 계획이 필요하다고 사료된다.

사회문제 해결 연구보고서 기반 문장 의미 식별 데이터셋 구축 (Building Sentence Meaning Identification Dataset Based on Social Problem-Solving R&D Reports)

  • 신현호;정선기;전홍우;권이남;이재민;박강희;최성필
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권4호
    • /
    • pp.159-172
    • /
    • 2023
  • 일반적으로 사회문제 해결 연구는 과학기술을 활용하여 다양한 사회적 현안들에 의미있는 해결 방안을 제시함으로써 중요한 사회적 가치를 창출하는 것을 연구 목표로 한다. 그러나 사회문제와 쟁점을 완화하기 위하여 많은 연구들이 국가적으로 수행되었음에도 불구하고 여전히 많은 사회문제가 남아 있는 상황이다. 사회문제 해결 연구의 전 과정을 원활하게 하고 그 효과를 극대화하기 위해서는 사회적으로 시급한 현안들에 대한 문제를 명확하게 파악하는 것이 중요하다. 사회문제 해결과 관련된 기존 R&D 보고서와 같은 자료에서 중요한 사안을 자동으로 식별할 수 있다면 사회문제 파악 단계가 크게 개선될 수 있다. 따라서 본 논문은 다양한 국가 연구보고서에서 사회문제와 해결방안을 자동으로 감지하기 위한 기계학습 모델을 구축하는 데에 필수적인 데이터셋을 제안하고자 한다. 우선 데이터를 구축하기 위해 사회문제와 쟁점을 다룬 연구보고서를 총 700건 수집하였다. 수집된 연구보고서에서 사회문제, 목적, 해결 방안 등 사회문제 해결과 관련된 내용이 담긴 문장을 추출 후 라벨링을 수행하였다. 또한 4개의 사전학습 언어모델을 기반으로 분류 모델을 구현하고 구축된 데이터셋을 통해 일련의 성능 실험을 수행하였다. 실험 결과 KLUE-BERT 사전학습 언어모델을 미세조정한 모델이 정확도 75.853%, F1 스코어 63.503%로 가장 높은 성능을 보였다.