• 제목/요약/키워드: 확률데이터연관기법

검색결과 33건 처리시간 0.031초

확률기법과 민감도 분석을 이용한 폐탄광지역의 지반침하 관련요인 고찰 (Study on the principle factors related to ground subsidence at Abandoned Underground Coal Mine Area using probability and sensitivity analysis)

  • 안승찬;김기동
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 춘계학술대회 논문집
    • /
    • pp.296-300
    • /
    • 2007
  • 본 연구에서는 강원도 정선지역 및 삼척지역의 폐탄광 지역에서 관측된 지반침하지역의 공간자료와 각종 지반침하 관련요인을 분석하여, 지질학적구조와 지역적 특성이 상이한 지역에서 지반침하에 직접적인 영향을 주는 공통요인을 찾아내고자 하였다. 연구지역의 지반침하 관련요인들에 대해 GIS(Geographic Information System)를 이용하여 래스터 데이터베이스를 구축하고 모든 요인을 이용하여 분석한 위험지역과 하나의 요인씩 제거하며 분석한 위험지역을 비교하는 민감도 분석 (Sensitivity analysis)을 통해 지반침하와 연관성이 높은 요인을 추출하였다. 민감도 분석은 서로 다른 두 지역에 대해 수행하여 그 결과를 비교하였으며, 갱으로부터의 수평거리,RMR(Rock Mass Rating), 지하수 심도가 지반침하에 영향을 주는 공통요인으로 분석되었다. 본 연구결과, 폐탄광지역의 지반침하에 공통적으로 영향을 끼치는 주 요인을 구할 수 있었으며, 타 지역에서 지반침하 예측시 기존 연구에서 사용한 요인들의 데이터를 전부 구하지 못하는 경우에도 최소한의 필요한 요인을 정할 수 있으며 지반침하 예측의 효율성을 높일 수 있을 것이라 기대된다.

  • PDF

다차원 데이터 평가가 가능한 개선된 FSDD 연구 (An Improvement of FSDD for Evaluating Multi-Dimensional Data)

  • 오세종
    • 디지털융복합연구
    • /
    • 제15권1호
    • /
    • pp.247-253
    • /
    • 2017
  • 피처선택, 혹은 변수 선택은 피처의 수가 매우 많은 고차원 데이터에서 주어진 주제와 연관성이 높은 피처를 선별하는 과정으로서, 데이터의 차원수를 낮추어 군집분석이나 분류 분석 등을 용이하게 하는데 중요한 기법이다. 많은 수의 피처들 중에서 일부의 피처를 선별하기 위해서는 피처들을 평가하기 위한 도구가 필요하다. 현재까지 제안된 도구들은 대부분 확률이론이나 정보이론에 기초하여 만들어졌기 때문에 하나의 피처, 즉 1차원 데이터만을 평가할 수 있다. 그러나 피처들 간에는 상호작용이 있기 때문에 하나의 피처를 평가하기 보다는 여러 피처들의 집합, 즉 다차원 데이터를 평가할 수 있어야 효과적인 피처 선택이 가능하다. 본 연구에서는 확장된 거리 함수를 이용하여 1차원 데이터 평가용으로 제안된 FSDD 평가 함수를 다차원 데이터에 대한 평가가 가능하도록 개선하는 방법에 대해 제안하였다. 본 연구에서 제안한 접근법은 다른 1차원 데이터 평가함수에도 적용이 될 수 있을 것으로 기대된다.

PIPO 64/128에 대한 딥러닝 기반의 신경망 구별자 (Deep Learning-Based Neural Distinguisher for PIPO 64/128)

  • 김현지;장경배;임세진;서화정
    • 정보보호학회논문지
    • /
    • 제33권2호
    • /
    • pp.175-182
    • /
    • 2023
  • 차분 분석은 블록 암호에 대한 분석 기법 중 하나이며, 입력 차분에 대한 출력 차분이 높은 확률로 존재한다는 성질을 이용한다. 무작위 데이터와 특정 출력 차분을 갖는 데이터를 구별할 수 있다면, 차분분석에 대한 데이터 복잡도를 감소시킬 수 있다. 이를 위해 딥러닝 기반의 신경망 구별자에 대한 연구들이 다수 진행되었으며, 본 논문에서는 PIPO 64/128에 대한 최초의 딥러닝 기반의 신경망 구별자를 제안하였다. 여러 입력 차분들을 사용하여 실험한 결과, 0, 1, 3, 5-라운드의 차분 특성에 대한 3 라운드 신경망 구별자가 각각 0.71, 0.64, 0.62, 0.64의정확도를달성하였다. 이 구별자는 고전 구별자와 함께 사용될 경우 최대 8 라운드에 대한 구별 공격이 가능하도록 한다. 따라서 여러 라운드의 입력 차분을 처리할 수 있는 구별자를 찾아냄으로써 확장성을 확보하였다. 향후에는 성능 향상을 위한 최적의 신경망을 구성하기 위해 다양한 신경망 구조를 적용하고, 연관 키 차분을 사용하거나 다중 입력차분을 위한 신경망 구별자를 구현할 예정이다.

상수도 관망 최적설계에 대한 유전 알고리즘과 하모니써치 알고리즘의 적용 및 비교 (Application and Comparison of Genetic Algorithm and Harmony Search Algorithm for Optimal Cost Design of Water Distribution System)

  • 홍아리;이호민;최영환;최지호;김중훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2016년도 학술발표회
    • /
    • pp.521-521
    • /
    • 2016
  • 상수도 관망은 수원에서 수요절점까지 물을 안정적으로 공급하는 것을 목표로 한다. 상수도 관망의 최적설계는 수리학적 제한조건 (절점의 수압, 관로의 유속)을 만족하는 범위에서 비용을 최소화하는 설계안을 얻는 것으로 Savic and Walters (1997)는 유전 알고리즘 (Genetic Algorithms, Holland 1975)을 적용한 상수도 관망 설계 프로그램인 GANET를 제안하였고, Maier et al. (1996)은 개미군집알고리즘 (Ant Colony Optimization Algorithm, Dorigo et al. 1996)을 상수도 관망 최적설계에 적용한 후 그 결과가 유전 알고리즘에 비해 우수함을 증명하는 등 상수도 관망 최적설계에 관한 연구가 활발히 진행되어 오고 있다. 유전알고리즘은 선택, 교차, 돌연변이의 반복계산 과정을 통하여 최적해를 찾는 최적화 기법이다. 이 과정에서 결정변수는 유전자 (Gene)의 집합으로 표현되며, 염색체 (Chromosome) 내에서 근접한 유전 인자들은 일종의 Building Block을 형성하게 된다. Building Block은 좋은 해를 갖는 유전 인자를 높은 확률로 보관하여 지역해에 빠질 가능성을 줄이는 반면, 유전형 (Genotype)이 표현형 (Phenotype)을 충분히 모방하여 표현하지 못한 경우 오히려 최적해의 탐색을 방해할 수 있다는 한계점을 갖는다. 유전 알고리즘을 상수도 관망 최적설계에 적용하였을 때에도 이 한계점은 여실히 드러난다. 관로의 관경을 결정변수로 설정한 후 유전형으로 표현하였을 때, 관망도 상에서 근접하지 않은 두 관로가 염색체 내에서 연속으로 나열된다면 두 관로 간의 연관성이 실제보다 크게 고려되기 때문이다. 한편, 하모니써치 (Harmony Search, Geem et al. 2001) 알고리즘은 즉흥 연주 (Improvisation)를 통해 최상의 화음을 만들어내는 현상으로부터 착안하여 만들어진 최적화기법으로 연산 기법은 무작위선택, 기억회상, 피치조정 등으로 구성되어 있으며, 결정변수에 해당하는 연주자가 독립적으로 행동하며 해를 탐색한다는 점에서 유전알고리즘과 큰 차이를 갖는다. 본 연구에서는 유전알고리즘의 Building Block에 의해 발생하는 오류를 개선하고자, 상수도 관망 최적설계 연구에 많이 사용되는 Hanoi 관망 (Fujiwara and Khang 1990) 관로의 정렬 순서를 여러 가지 기준으로 설정하여 관망데이터를 구축한 후 하모니써치와 유전 알고리즘을 적용하여 최적화를 수행하였고 그 결과를 비교하였다. 그 결과 유전 알고리즘과 달리 하모니써치 알고리즘의 경우, 관로의 나열 순서와 상관없이 우수한 최적해 탐색 결과를 보이는 것을 확인할 수 있었다.

  • PDF

카테고리 연관 규칙 마이닝을 활용한 추천 정확도 향상 기법 (A Study on the Improvement of Recommendation Accuracy by Using Category Association Rule Mining)

  • 이동원
    • 지능정보연구
    • /
    • 제26권2호
    • /
    • pp.27-42
    • /
    • 2020
  • 인터넷이라는 가상 공간을 활용함으로써 물리적 공간의 제약을 갖는 오프라인 쇼핑의 한계를 넘어선 온라인 쇼핑은 다양한 기호를 가진 소비자를 만족시킬 수 있는 수많은 상품을 진열할 수 있게 되었다. 그러나, 이는 역설적으로 소비자가 구매의사결정 과정에서 너무 많은 대안을 비교 평가해야 하는 어려움을 겪게 함으로써 오히려 상품 선택을 방해하는 원인이 되기도 한다. 이런 부작용을 해소하기 위한 노력으로서, 연관 상품 추천은 수많은 상품을 다루는 온라인 상거래에서 소비자의 구매의사결정 과정 중 정보탐색 및 대안평가에 소요되는 시간과 노력을 줄여주고 이탈을 방지하며 판매자의 매출 증대에 기여할 수 있다. 연관 상품 추천에 사용되는 연관 규칙 마이닝 기법은 통계적 방법을 통해 주문과 같은 거래 데이터로부터 서로 연관성 높은 상품을 효과적으로 발견할 수 있다. 하지만, 이 기법은 거래 건수를 기반으로 하므로, 잠재적으로 판매 가능성이 높을지라도 충분한 거래 건수가 확보되지 못한 상품은 추천 목록에서 누락될 수 있다. 이렇게 추천 시 제외된 상품은 소비자에게 구매될 수 있는 충분한 기회를 확보하지 못할 수 있으며, 또 다시 다른 상품에 비해 상대적으로 낮은 추천 기회를 얻는 악순환을 겪을 수도 있다. 본 연구는 구매의사결정이 결국 상품이 지닌 속성에 대한 사용자의 평가를 기반으로 한다는 점에 착안하여, 추천 시 상품의 속성을 반영하면 소비자가 특정 상품을 선택할 확률을 좀더 정확하게 예측할 수 있다는 점을 추천 시스템에 반영하기 위한 목적으로 수행되었다. 즉, 어떤 상품 페이지를 방문한 소비자는 그 상품이 지닌 속성들에 어느 정도 관심을 보인 것이며 추천 시스템은 이런 속성들을 기반으로 연관성을 지닌 상품을 더 정교하게 찾을 수 있다는 것이다. 상품의 주요 속성의 하나로서, 카테고리는 두 상품 간에 아직 드러나지 않은 잠재적인 연관성을 찾기에 적합한 대상이 될 수 있다고 판단하였다. 본 연구는 연관 상품 추천에 상품 간의 연관성뿐만 아니라 카테고리 간의 연관성을 추가로 반영함으로써 추천의 정확도를 높일 수 있는 예측모형을 개발하였고, 온라인 쇼핑몰로부터 수집된 주문 데이터를 활용하여 이루어진 실험은 기존 모형에 비해 추천 성능이 개선됨을 보였다. 실무적인 관점에서 볼 때, 본 연구는 소비자의 구매 만족도를 향상시키고 판매자의 매출을 증가시키는 데에 기여할 수 있을 것으로 기대된다.

SNA를 활용한 빅데이터 프로젝트의 위험요인 영향 관계 분석 (Analysis of the Impact Relationship for Risk Factors on Big Data Projects Using SNA)

  • 박대귀;김승희
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.79-86
    • /
    • 2021
  • 빅데이터 프로젝트의 성공 확률을 높이기 위해서는 복잡한 원인들로부터 근본적인 위험의 원인을 분석하여 최적의 대응 방안을 수립할 수 있는 계량화된 기법이 요구된다. 이를 위해 본 연구에서는 SNA 분석을 통해 위험 요인과 관계를 측정하고, 이를 기반으로 위험에 대응할 수 있는 방법을 제시한다. 즉, 사전 연구에서 제시된 빅데이터 프로젝트의 위험 그룹 간 상관관계 분석 결과를 활용하여 종속성 네트워크(dependency network) matrix를 도출하고 이를 통해 SNA 분석을 수행한다. 종속성 네트워크 matrix를 도출하기 위하여 위험 노드 간의 상관관계로부터 부분 상관을 구하고, 상관 영향과 상관 종속성을 계산함으로써 노드별 활동 종속성을 도출하고 이를 통해 위험 요인 노드 간의 인과 관계와 연관관계에 있는 모든 노드간의 영향정도를 모두 산출한다. 위험 요인 간 SNA통해 도출된 위험 요인 간 네트워크로부터 위험에 대한 근본 원인을 인지함으로써 보다 최적화되고 효율저인 위험 관리가 가능하다. 본 연구는 위험관리 대응과 관련하여 SNA 분석 기법을 적용한 최초의 연구로 본 연구결과는 IT프로젝트의 위험관리와 관련하여 주요 위험에 대한 위험 관리 순서를 최적화할 수 있을 뿐만 아니라, 위험 통제를 위한 새로운 위험분석 기법을 제시하였다는데 큰 의의가 있다.

극치강수량의 시공간적 특성을 이용한 지역빈도분석 (Regionalization of Extreme Rainfall with Spatio-Temporal Pattern)

  • 이정주;권현한;김병식;윤석영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2010년도 학술발표회
    • /
    • pp.1429-1433
    • /
    • 2010
  • 수공구조물의 설계, 수자원 관리계획의 수립, 재해영향 검토 등을 수행할 때, 재현기간에 따른 확률개념의 강우량, 홍수량, 저수량 등을 산정하여 사용하게 되며, 보통 대상지역의 장기 수문관측 자료를 이용하여 수문사상의 확률분포를 산정한 후 재현기간을 연장하여 원하는 설계빈도에 해당하는 양을 추정하게 된다. 미계측지역 또는 관측자료의 보유기간이 짧은 지역의 경우는 지역빈도 분석 결과를 이용하게 된다. 지역빈도해석을 위해서는 강우자료들의 동질성을 파악하는 것이 가장 기본적인 과정이 되며 이를 위해 통계학적인 범주화분석이 선행되어야 한다. 지점 빈도분석의 수문학적 동질성 판별을 위해 L-moment 방법, K-means 방법에 의한 군집분석 등이 주로 사용되며 관측소 위치좌표를 이용한 공간보간법을 적용하여 시각화하고 있다. 강수량은 시공간적으로 변하는 수문변량으로서 강수량의 시간적인 특성 또한 강수량의 특성을 정의하는데 매우 중요한 요소이다. 이러한 점에서 본 연구를 통해 강수지점의 공간적인 좌표 및 강수량의 양적인 범주화에 초점을 맞춘 기존 지역빈도분석의 범주화 과정에 덧붙여 시간적인 영향을 고려할 수 있는 요소들을 결정하고 이를 활용할 수 있는 범주화 과정을 제시하고자 한다. 즉, 극치강수량의 발생 시기에 대한 정량적인 분석이 가능한 순환통계기법을 이용하여 관측 지점별 시간 통계량을 산정하고, 이를 극치강수량과 결합하여 시 공간적인 특성자료를 생성한 후 이를 이용한 군집화 해석 모형을 개발하는데 연구의 목적이 있다. 분석 과정에 있어서 시간속성의 정량화 및 일반화는 순환통계기법을 사용하였으며, 극치강수량과 발생시점의 속성자료는 각각의 평균과 표준편차를 이용하였다. K-means 알고리즘을 이용해 결합자료를 군집화 하고, L-moment 방법으로 지역화 결과에 대한 검증을 수행하였다. 속성 결합 자료의 군집화 효과는 모의데이터 실험을 통해 확인하였으며, 우리 나라의 58개 기상관측소 자료를 이용하여 분석을 수행하였다. 예비해석 단계에서 100회의 군집분석을 통해 평균적인 centroid를 산정하고, 해당 값을 본 해석의 초기 centroid로 지정하여, 변동적인 클러스터링 경향을 안정화시켜 해석이 반복됨에 따라 군집화 결과가 달라지는 오류를 방지하였다. 또한 K-means 방법으로 계산된 군집별 공간거리 합의 크기에 따라 군집번호를 부여함으로써 군집의 번호순서대로 물리적인 연관성이 인접하도록 설정하였으며, 군집간의 경계선을 추출할 때 발생할 수 있는 오류를 방지하였다. 지역빈도분석 결과는 3차원 Spline 기법으로 도시하였다.

  • PDF

온톨로지 기반 영화 메타데이터간 연관성을 활용한 영화 추천 기법 (The Ontology Based, the Movie Contents Recommendation Scheme, Using Relations of Movie Metadata)

  • 김재영;이석원
    • 지능정보연구
    • /
    • 제19권3호
    • /
    • pp.25-44
    • /
    • 2013
  • 최근 IPTV와 스마트 TV 등의 등장과 영상 콘텐츠를 시청하고 검색할 수 있는 웹 서비스의 등장으로 영상 콘텐츠의 접근이 용이해져 사용자들은 자신이 원하는 콘텐츠를 찾고자 하는 요구가 증가하고 있다. 하지만 서비스되는 콘텐츠의 양이 방대하여 영상 콘텐츠를 검색할 때 사용하는 키워드 기반의 검색은 많은 양의 결과를 가져오며 사용자가 필요로 하지 않은 결과가 검색된다. 따라서 사용자가 원하는 콘텐츠의 검색 시간과 노력이 증가 하게 되었다. 이를 극복 하기 위해 콘텐츠 추천 및 검색에 대한 연구가 수행되어 왔다. 기존의 연구에는 사용자의 선호도 분석을 통하여 영상 콘텐츠를 추천하거나 비슷한 성향을 가지는 사용자들을 분류하여 콘텐츠를 추천하는 기법들이 연구되어 왔다. 본 논문에서는 영상 콘텐츠 중 영화의 추천을 위해 사용자 개인의 영화 메타데이터의 선호도를 분석하고, 영화의 메타데이터와 영화의 유사성을 도출하여 이를 기반으로 영화 추천 기법을 제안한다. 영화의 특징을 담고 있고, 사용자의 영화 선호도에 영향을 끼치는 장르, 줄거리, 배우, 키워드 등의 영화 메타데이터를 기반으로 온톨로지를 구축하고, 확률 기법을 통한 메타 데이터간의 유사성을 분석하여 유사 메타데이터를 연결한다. 또한 사용자의 선호도와 그룹을 정의하고, 사용자 정보를 활용하기 위한 사용자 모델을 정의한다. 제안하는 추천 기법은 1) 사용자 정보기반의 후보 영화 검색 컴포넌트, 2) 사용자 선호기반의 후보 영화 검색 컴포넌트, 3) 1)과 2)의 결과를 통합하고 가중치를 부여하는 컴포넌트, 4) 최종결과의 분석을 통한 개인화된 영화 추천 컴포넌트 등 총 4가지 컴포넌트로 구성된다. 제안하는 추천 기법의 실험을 위하여 20대 남/녀 10명씩 20명을 대상으로 실험을 진행하였으며, 실험결과 평균 Top-5에서 2.1개 Top-10에서 3.35개 Top-20에서 6.35의 영화가 보고 싶은 영화로 선택되었다. 본 논문에서는 영화 메타데이터간의 연관성 도출을 통하여 영화간의 유사성을 도출하고 이를 기반으로 사용자의 기본적인 정보를 활용한 추천뿐만 아니라 사용자가 예상하지 못한 영화의 추천이 가능하다.

사회연결망 분석을 활용한 연관규칙 확장기법 (Extension Method of Association Rules Using Social Network Analysis)

  • 이동원
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.111-126
    • /
    • 2017
  • 연관 상품 추천은 수많은 상품을 다루는 온라인 상거래에서 소비자의 상품 탐색 시간을 줄여주며 판매자의 매출 증대에 크게 기여한다. 이는 주문과 같은 거래의 빈도를 기반으로 생성되므로, 통계적으로 판매 확률이 높은 상품을 효과적으로 선별할 수 있다. 하지만, 판매 가능성이 높은 경우라도 신상품처럼 판매 초기에 거래 건수가 충분하지 않은 상품은 추천에서 누락될 수 있다. 연관 추천에서 누락된 상품은 이로 인해 노출 기회를 잃게 되고, 이는 거래 건수 감소로 이어져, 또 다시 추천 기회를 잃는 악순환을 겪을 수도 한다. 따라서, 충분한 거래 건수가 쌓이기 전까지 초기 매출은 일정 기간 동안 정체되는 현상을 보이는데, 의류 등과 같이 유행에 민감하거나 계절 변화에 영향을 많이 받는 상품은 이로 인해 매출에 큰 타격을 입을 수도 있다. 본 연구는 이와 같이 거래 초기의 낮은 거래 빈도로 인해 잘 드러나지 않는 상품 간의 잠재적인 연관성을 찾아 추천 기회를 확보할 수 있도록 연관 규칙을 확장하기 위한 목적으로 수행되었다. 두 상품 간에 직접적인 연관성이 나타나지 않더라도 다른 상품을 매개로 두 상품 간의 잠재적 연관성을 예측할 수 있을 것이며, 이런 연관성은 주문에서 나타나는 상품 간 상호작용으로 표현될 수 있으므로, 사회연결망 분석을 활용한 분석을 시도하였다. 사회연결망 분석기법을 통해 각 상품의 속성과 두 상품 간 경로의 특성을 추출하고 회귀분석을 실시하여, 두 상품 간 경로의 최단 거리 및 경로의 개수, 각 상품이 얼마나 많은 상품과 연관성을 갖는지, 두 상품의 분류 카테고리가 어느 정도 일치하는지가 두 상품 간의 잠재적 연관성에 미친다는 것을 확인하였다. 모형의 성능을 평가하기 위해, 일정 기간의 주문 데이터로부터 연결망을 구성하고, 이후 10일 간 생성될 상품 간 연관성을 예측하는 실험을 진행하였다. 실험 결과는 모형을 적용하지 않는 경우보다 제안 모형을 활용할 때 훨씬 많은 연관성을 찾을 수 있음을 보여준다.

환경변화에 강인한 단안카메라 레이더 적외선거리계 센서 융합 기반 교통정보 수집 시스템 개발 (Development of A Multi-sensor Fusion-based Traffic Information Acquisition System with Robust to Environmental Changes using Mono Camera, Radar and Infrared Range Finder)

  • 변기훈;김세진;권장우
    • 한국ITS학회 논문지
    • /
    • 제16권2호
    • /
    • pp.36-54
    • /
    • 2017
  • 본 논문은 환경변화에 강인한 센서 융합 교통정보 수집 시스템을 제안한다. 제안된 시스템은 각 센서의 특징을 융합하여 영상 검지기에 비해 환경에 강인하고, 주 야간 등 시간에 영향을 받지 않으며 루프 검지기에 비해 유지보수에 드는 비용이 적다. 이는 레이더의 물체 추적 기법과 영상검지기의 차량분류, 적외선거리계의 신뢰성 높은 객체검지 정보를 융합하고 각 센서의 문제점을 보완하여 개선을 이루었다. 구현된 시스템을 보행자의 통행이 가능한 도로에서 주 야간 5일에 걸쳐 6시간 동안 실험한 결과 88.7%의 분류정확도와 95.5%의 차량 검지율을 나타내었다. 본 시스템의 파라미터 최적화 작업을 실험환경에 따라 적응되는 방식으로 보완한다면 교통정보 수집 체계의 고도화에 기여할 수 있을 것으로 기대된다.