• 제목/요약/키워드: Automated machine learning

검색결과 188건 처리시간 0.02초

Endpoint에 적용 가능한 정적 feature 기반 고속의 사이버 침투공격 분석기술 연구 (Study on High-speed Cyber Penetration Attack Analysis Technology based on Static Feature Base Applicable to Endpoints)

  • 황준호;황선빈;김수정;이태진
    • 인터넷정보학회논문지
    • /
    • 제19권5호
    • /
    • pp.21-31
    • /
    • 2018
  • 사이버 침해공격은 사이버 공간에서만 피해를 입히는 것이 아니라 전기 가스 수도 원자력 등 인프라 시설 전체를 공격할 수 있기에 국민의 생활전반에 엄청난 피해를 줄 수 있다. 또한, 사이버공간은 이미 제5의 전장으로 규정되어 있는 등 전략적 대응이 매우 중요하다. 최근의 사이버 공격은 대부분 악성코드를 통해 발생하고 있으며, 그 숫자는 일평균 160만개를 넘어서고 있기 때문에 대량의 악성코드에 대응하기 위한 자동화된 분석기술은 매우 중요한 의미를 가지고 있다. 이에 자동으로 분석 가능한 기술이 다양하게 연구되어 왔으나 기존 악성코드 정적 분석기술은 악성코드 암호화와 난독화, 패킹 등에 대응하는데 어려움이 있고 동적 분석기술은 동적 분석의 성능요건 뿐 아니라 logic bomb 등을 포함한 가상환경 회피기술 등을 대응하는데 한계가 있다. 본 논문에서는 상용 환경의 Endpoint에 적용 가능한 수준의 가볍고 고속의 분석성능을 유지하면서 기존 분석기술의 탐지성능 단점을 개선한 머신러닝 기반 악성코드 분석기술을 제안한다. 본 연구 결과물은 상용 환경의 71,000개 정상파일과 악성코드를 대상으로 99.13%의 accuracy, 99.26%의 precision, 99.09%의 recall 분석 성능과, PC 환경에서의 분석시간도 초당 5개 이상 분석 가능한 것으로 측정 되었고 Endpoint 환경에서 독립적으로도 운영 가능하며 기존의 안티바이러스 기술 및 정적, 동적 분석 기술과 연계하여 동작 시에 상호 보완적인 형태로 동작할 것으로 판단된다. 또한, 악성코드 변종 분석 및 최근 화두 되고 있는 EDR 기술의 핵심요소로 활용 가능할 것으로 기대된다.

Current status and future plans of KMTNet microlensing experiments

  • Chung, Sun-Ju;Gould, Andrew;Jung, Youn Kil;Hwang, Kyu-Ha;Ryu, Yoon-Hyun;Shin, In-Gu;Yee, Jennifer C.;Zhu, Wei;Han, Cheongho;Cha, Sang-Mok;Kim, Dong-Jin;Kim, Hyun-Woo;Kim, Seung-Lee;Lee, Chung-Uk;Lee, Yongseok
    • 천문학회보
    • /
    • 제43권1호
    • /
    • pp.41.1-41.1
    • /
    • 2018
  • We introduce a current status and future plans of Korea Microlensing Telescope Network (KMTNet) microlensing experiments, which include an observational strategy, pipeline, event-finder, and collaborations with Spitzer. The KMTNet experiments were initiated in 2015. From 2016, KMTNet observes 27 fields including 6 main fields and 21 subfields. In 2017, we have finished the DIA photometry for all 2016 and 2017 data. Thus, it is possible to do a real-time DIA photometry from 2018. The DIA photometric data is used for finding events from the KMTNet event-finder. The KMTNet event-finder has been improved relative to the previous version, which already found 857 events in 4 main fields of 2015. We have applied the improved version to all 2016 data. As a result, we find that 2597 events are found, and out of them, 265 are found in KMTNet-K2C9 overlapping fields. For increasing the detection efficiency of event-finder, we are working on filtering false events out by machine-learning method. In 2018, we plan to measure event detection efficiency of KMTNet by injecting fake events into the pipeline near the image level. Thanks to high-cadence observations, KMTNet found fruitful interesting events including exoplanets and brown dwarfs, which were not found by other groups. Masses of such exoplanets and brown dwarfs are measured from collaborations with Spitzer and other groups. Especially, KMTNet has been closely cooperating with Spitzer from 2015. Thus, KMTNet observes Spitzer fields. As a result, we could measure the microlens parallaxes for many events. Also, the automated KMTNet PySIS pipeline was developed before the 2017 Spitzer season and it played a very important role in selecting the Spitzer target. For the 2018 Spitzer season, we will improve the PySIS pipeline to obtain better photometric results.

  • PDF

실행계획 분석을 이용한 SQL Injection 공격 대응방안 (Counter Measures by using Execution Plan Analysis against SQL Injection Attacks)

  • 하만석;남궁정일;박수현
    • 전자공학회논문지
    • /
    • 제53권2호
    • /
    • pp.76-86
    • /
    • 2016
  • 최근 들어 급증하고 있는 보안 관련 사고들로 인하여 개인정보 및 기업정보의 관리에 대한 대책 마련이 시급한 가운데 있다. 보안 관련 사고 가운데 SQL Injection 공격은 가장 널리 악용되고, 오래된 전통적인 해킹 기법 중 하나이다. 최근까지도 웹 해킹을 시도하는 유형 중에서 높은 비중을 차지하고 있으며 그 공격 형태 또한 복잡해지고 있다. 많은 site에서 SQL Injection 공격에 대한 보완을 하여 이전보다 피해가 많이 줄어들기는 했으나 SQL Injection 공격에 의한 악의적인 관리자 권한 획득 및 비정상적인 로그인 등으로 인하여 여전히 많은 피해가 발생하고 있다. 더욱이 향후 사물인터넷 및 센서 빅데이터 환경이 널리 보급되면 수많은 디바이스들과 센서들이 연결되고 데이터의 양이 폭발적으로 증가하게 될 것이다. 그렇게 되면 현재보다 SQL Injection 공격에 의한 피해 규모는 더욱 커질 것이다. SQL Injection 공격에 대응하기 위해서는 많은 시간과 비용이 발생하게 되므로 시스템의 성능을 떨어뜨리지 않으면서도 신속정확하게 SQL Injection 공격을 판별하여 방어해야 할 것이다. 본 논문에서는 SQL Injection 공격에 대응하기 위하여 데이터 분석 및 기계학습을 통하여 웹로그 데이터를 검사하여 비정상적인 패턴의 입력값인 경우 SQL 명령어의 실행 계획을 분석하여 정상적인 SQL 명령어와 비정상적인 SQL 명령어를 판별하는 방안을 제시한다. 실험 및 성능 평가를 위해 사용자의 입력 또는 SQL Injection 공격툴에 의하여 입력되는 값을 실시간으로 실행계획을 분석하여 효과적으로 차단할 수 있음을 보여주었다.

농업서리 자동관측 시스템(AAFOS)의 구현 (Implementation of an Automated Agricultural Frost Observation System (AAFOS))

  • 김규랑;조은수;고명수;강정혁;황윤재;이용희
    • 한국농림기상학회지
    • /
    • 제26권1호
    • /
    • pp.63-74
    • /
    • 2024
  • 농업에서 서리는 치명적인 피해를 가져오기 때문에 관측과 예측이 매우 중요하다. 기상청 서리관측자료를 분석한 최근 보고에 따르면 기후변화에 따른 지구온난화에도 불구하고 봄철 늦서리일이 빨라지지 않았고, 서리 빈도도 감소하지 않았다. 따라서 농업 서리피해에 대비하여 위험 예상 지역에서의 서리 관측 자동화와 지속적인 운영이 중요하다. 기존에 활용되고 있는 엽면습윤센서를 이용한 서리관측은 관측센서의 오염이나 주변 환경의 습도 변화에 따라 기준 전압값이 장기간에 걸쳐 변동하는 문제가 있었다. 본 연구에서는 이러한 문제를 자동적으로 해결하도록 데이터로거 프로그램으로 구현하였다. 구축된 서리자동관측시스템은 안정적으로 장기간에 걸쳐 시간 고해상도 관측자료를 축적할 수 있다. 이 자료는 향후 기계학습 방법을 이용한 서리 진단모델의 개발과 주변 지역에 대한 서리발생 예측 정보 생산에 활용할 수 있을 것이다.

XGBoost를 활용한 리스크패리티 자산배분 모형에 관한 연구 (A Study on Risk Parity Asset Allocation Model with XGBoos)

  • 김영훈;최흥식;김선웅
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.135-149
    • /
    • 2020
  • 인공지능을 기반으로 한 다양한 연구들이 현대사회에 많은 변화를 불러일으키고 있다. 금융시장 역시 예외는 아니다. 로보어드바이저 개발이 활발하게 진행되고 있으며 전통적 방식의 단점을 보완하고 사람이 분석하기 어려운 부분을 대체하고 있다. 로보어드바이저는 인공지능 알고리즘으로 자동화된 투자 결정을 내려 다양한 자산배분 모형과 함께 활용되고 있다. 자산배분 모형 중 리스크패리티는 대표적인 위험 기반 자산배분 모형의 하나로 큰 자산을 운용하는 데 있어 안정성을 나타내고 현업에서 역시 널리 쓰이고 있다. 그리고 XGBoost 모형은 병렬화된 트리 부스팅 기법으로 제한된 메모리 환경에서도 수십억 가지의 예제로 확장이 가능할 뿐만 아니라 기존의 부스팅에 비해 학습속도가 매우 빨라 많은 분야에서 널리 활용되고 있다. 이에 본 연구에서 리스크패리티와 XGBoost를 장점을 결합한 모형을 제안하고자 한다. 기존에 널리 사용되는 최적화 자산배분 모형은 과거 데이터를 기반으로 투자 비중을 추정하기 때문에 과거와 실투자 기간 사이의 추정 오차가 발생하게 된다. 최적화 자산배분 모형은 추정 오차로 인해 포트폴리오 성과에서 악영향을 받게 된다. 본 연구는 XGBoost를 통해 실투자 기간의 변동성을 예측하여 최적화 자산배분 모형의 추정 오차를 줄여 모형의 안정성과 포트폴리오 성과를 개선하고자 한다. 본 연구에서 제시한 모형의 실증 검증을 위해 한국 주식시장의 10개 업종 지수 데이터를 활용하여 2003년부터 2019년까지 총 17년간 주가 자료를 활용하였으며 in-sample 1,000개, out-of-sample 20개씩 Moving-window 방식으로 예측 결과값을 누적하여 총 154회의 리밸런싱이 이루어진 백테스팅 결과를 도출하였다. 본 연구에서 제안한 자산배분 모형은 기계학습을 사용하지 않은 기존의 리스크패리티와 비교하였을 때 누적수익률 및 추정 오차에서 모두 개선된 성과를 보여주었다. 총 누적수익률은 45.748%로 리스크패리티 대비 약 5% 높은 결과를 보였고 추정오차 역시 10개 업종 중 9개에서 감소한 결과를 보였다. 실험 결과를 통해 최적화 자산배분 모형의 추정 오차를 감소시킴으로써 포트폴리오 성과를 개선하였다. 포트폴리오의 추정 오차를 줄이기 위해 모수 추정 방법에 관한 다양한 연구 사례들이 존재한다. 본 연구는 추정 오차를 줄이기 위한 새로운 추정방법으로 기계학습을 제시하여 최근 빠른 속도로 발전하는 금융시장에 맞는 진보된 인공지능형 자산배분 모형을 제시한 점에서 의의가 있다.

풍해 예측 결과 재분류를 통한 위험 감지확률의 개선 연구 (A Case Study: Improvement of Wind Risk Prediction by Reclassifying the Detection Results)

  • 김수옥;황규홍
    • 한국농림기상학회지
    • /
    • 제23권3호
    • /
    • pp.149-155
    • /
    • 2021
  • 농업기상재해 조기경보시스템에서는 일 최대순간 풍속에 과수의 낙과 피해 임계풍속을 대입하여 농작물의 풍해 위험을 예측, 자원농가에게 제공하고 있다. 강풍의 위험 예측확률을 높이기 위한 방법으로써, 기존 방식에서 '안전'으로 분류된 데이터들 중 실제로는 풍해위험이 있는 경우를 찾아내는 인공신경망 이항분류 기법을 도입하였다. 학습데이터는 전라남북도와 경북 및 경남 일부지역의 총 210개소 기상청 종관 및 방재기상관측지점에서 수집된 2019년 전체 일별 풍속자료이며, 최적 모델 도출을 위한 검증데이터는 동일지점의 2020년 1월 1일~12월 12일 자료를, 인공신경망 기법 사용 전/후의 풍해위험예측 성능 평가는 2020년 12월 13일~2021년 2월 18일까지의 자료를 사용하였다. 풍해위험 임계풍속은 과수의 낙과 피해기준으로 주로 사용되고 있는 11m/s를 설정하였다. 또한 2020년 동일 기간의 일 최대순간풍속 실측값으로 Weibull 분포를 작성한 후, 추정값과 임계풍속간의 편차를 이용하여 누적확률값을 계산, 풍해 경보에서 한 단계 낮은 주의보를 판단하고 인공신경망 기법 적용 결과와 비교하였다. 평가기간 중 기존의 풍해 위험 탐지확률은 65.36%였으나 인공신경망 기법으로 재분류 과정을 거친 후 93.62%로 크게 개선되었다. 반면, 오보율이 함께 증가되어(13.46% → 37.64%), 전반적인 정확도는 감소하였다. 한편 Weibull 분포를 이용하여 풍해주의보 구간을 두었을 때는 정확도 83.46%으로 인공신경망 기법에 비해 전반적인 예측 정확도는 더 높았던 반면 위험 탐지확률은 88.79%로 더 낮게 나타났다. 따라서, 상대적으로 위험예보의 미예측이 중대한 문제가 되는 사례에서 인공신경망 방식이 유용할 것으로 보인다.

MODIS와 ASOS 자료를 이용한 식물계절 모델링 (Modeling of Vegetation Phenology Using MODIS and ASOS Data)

  • 김근아;윤유정;강종구;최소연;박강현;천정화;장근창;원명수;이양원
    • 대한원격탐사학회지
    • /
    • 제38권5_1호
    • /
    • pp.627-646
    • /
    • 2022
  • 최근 지구 온난화로 인한 기후 변화와 관련된 문제의 심각성이 커지고 있으며 평균 기온 또한 상승하고 있다. 이로 인해 온도에 민감한 다양한 생물과 생물이 살아가는 환경에 영향을 미치고 있으며, 생태계의 변화 역시 감지되고 있다. 계절은 그 지역에 사는 생물의 종류, 분포, 생육 특성 등에 영향을 미치는 중요한 요인의 하나이다. 기후 변화 영향 평가의 지표 중 가장 대중적이고 쉽게 인식될 수 있는 식물 계절 중 개화일과 단풍나무 절정일의 모델링을 수행하였다. 모델링에 사용된 식물의 종류에는 봄을 대표하는 식물로 볼 수 있는 개나리와 벚나무, 가을을 대표하는 식물로 볼 수 있는 단풍 나무와 은행 나무를 사용하였다. 모델링을 수행할 때 사용된 기상 자료로는 기상청의 Automated Surface Observing System (ASOS) 관측소를 통해서 관측된 기온, 강수, 일사 자료를 사용하였으며, 개나리, 벚나무의 개화일과 약 -0.2, 은행나무, 단풍나무의 단풍 절정일과 약 0.3 정도의 상관 계수를 가지는 Moderate Resolution Imaging Spectroradiometer (MODIS) 식생지수를 사용하여 모델링을 수행하였다. 사용된 모델로는 선형 모델인 다중 회귀 모형과, 비선형 모델인 Random Forest (RF)를 사용하여 모델을 수립하였다. 또한 각 모형으로 추정된 예측 값을 공간 내삽 기법을 이용하여 등치 선도로 2003~2020년의 식물 계절 변화 경향 성을 표현하였다. 향후에 높은 시공간 해상도를 가지는 식생지수를 사용한다면 더 높은 식물 계절 모델링의 정확도를 높일 수 있을 것으로 판단된다.

매장 문화재 공간 분포 결정을 위한 지하투과레이더 영상 분석 자동화 기법 탐색 (Automated Analyses of Ground-Penetrating Radar Images to Determine Spatial Distribution of Buried Cultural Heritage)

  • 권문희;김승섭
    • 자원환경지질
    • /
    • 제55권5호
    • /
    • pp.551-561
    • /
    • 2022
  • 지구물리탐사기법은 매장 문화재 조사에 필요한 높은 해상도의 지하 구조 영상 생성과 매장 유구의 정확한 위치 결정하는 데 매우 유용하다. 이 연구에서는 경주 신라왕경 중심방의 고해상도 지하투과레이더 영상에서 유구의 규칙적인 배열이나 선형 구조를 자동적으로 구분하기 위하여 영상처리 기법인 영상 특징 추출과 영상분할 기법을 적용하였다. 영상 특징 추출의 대상은 유구의 원형 적심과 선형의 도로 및 담장으로 캐니 윤곽선 검출(Canny edge detection)과 허프 변환(Hough Transform) 알고리듬을 적용하였다. 캐니 윤곽선 검출 알고리듬으로 검출된 윤곽선 이미지에 허프 변환을 적용하여 유구의 위치를 탐사 영상에서 자동 결정하고자 하였으나, 탐사 지역별로 매개변수를 달리해서 적용해야 한다는 제약이 있었다. 영상 분할 기법의 경우 연결요소 분석 알고리듬과 QGIS에서 제공하는 Orfeo Toolbox (OTB)를 이용한 객체기반 영상분석을 적용하였다. 연결 요소 분석 결과에서, 유구에 의한 신호들이 연결된 요소들로 효과적으로 인식되었지만 하나의 유구가 여러 요소로 분할되어 인식되는 경우도 발생함을 확인하였다. 객체기반 영상분석에서는 평균이동(Large-Scale Mean-Shift, LSMS) 영상 분할을 적용하여 각 분할 영역에 대한 화소 정보가 포함된 벡터 레이어를 우선 생성하였고, 유구를 포함하는 영역과 포함하지 않는 영역을 선별하여 훈련 모델을 생성하였다. 이 훈련모델에 기반한 랜덤포레스트 분류기를 이용해 LSMS 영상분할 벡터 레이어에서 유구를 포함하는 영역과 그렇지 않은 영역이 자동 분류 될 수 있음을 확인하였다. 이러한 자동 분류방법을 매장 문화재 지하투과레이더 영상에 적용한다면 유구 발굴 계획에 활용가능한 일관성 있는 결과를 얻을 것으로 기대한다.