• 제목/요약/키워드: 통계적 유사성

검색결과 378건 처리시간 0.03초

Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법 (Web Site Keyword Selection Method by Considering Semantic Similarity Based on Word2Vec)

  • 이동훈;김관호
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.83-96
    • /
    • 2018
  • 문서를 대표하는 키워드를 추출하는 것은 문서의 정보를 빠르게 전달할 수 있을 뿐만 아니라 문서의 검색, 분류, 추천시스템 등의 자동화서비스에 유용하게 사용 될 수 있어 매우 중요하다. 그러나 웹사이트 문서에서 출현하는 단어의 빈도수, 단어의 동시출현관계를 통한 그래프 알고리즘 등의 기반으로 키워드를 추출할 경우 웹페이지 구조상 잠재적으로 주제와 관련이 없는 다양한 단어를 포함하고 있는 문제점과 한국어 형태소 분석의 정확성이 떨어지는 형태소 분석기 성능의 한계점 때문에 의미적인 키워드를 추출하는데 어려움이 존재한다. 따라서 본 논문에서는 의미적 단어 위주로 구축된 후보키워드들의 집합과 의미적 유사도 기반의 후보 키워드를 선택하는 방법으로써 의미적 키워드를 추출하지 못하는 문제점과 형태소 분석의 정확성이 떨어지는 문제점을 해결하고 일관성 없는 키워드를 제거하는 필터링 과정을 통해 최종 의미적 키워드를 추출하는 기법을 제안한다. 실 중소기업 웹페이지를 통한 실험 결과, 본 연구에서 제안한 기법의 성능이 통계적 유사도 기반의 키워드 선택기법보다 34.52% 향상된 것을 확인하였다. 따라서 단어 간의 의미적 유사성을 고려하고 일관성 없는 키워드를 제거함으로써 문서에서 키워드를 추출하는 성능을 향상시켰음을 확인하였다.

러프집합을 통한 취업의사결정 분석시스템 (Decision Analysis System for Job Guidance using Rough Set)

  • 이희태;박인규
    • 디지털융복합연구
    • /
    • 제11권10호
    • /
    • pp.387-394
    • /
    • 2013
  • 데이터 마이닝은 예측이나 분석을 위해서 많은 양의 데이터에 존재하는 여러 가지의 관계를 추출하는 과정이라고 할 수 있다. 그러한 데이터에는 매우 많은 변수로 인한 차원의 증가로 인하여 계산상의 어려움이 수반되어지고 변수의 중복성과 중요도에 있어서 다양한 통계적 관계가 존재한다. 따라서 동일하거나 유사한 데이터를 같은 그룹으로 형성하는 클러스터 해석은 데이터 마이닝에서 필수적인 요소이다. 본 연구는 범주형 데이터의 분류에서 발생하는 불확실성의 처리를 위해 러프집합을 이용하여 정보 엔트로피를 이용한 새로운 척도를 정의하고 연구 대상에 대한 유사행동을 분석하는 시스템 구현에 그 의의가 있다. 데이터는 평택공업고등학교에서 채집되었고 이를 토대로 제안된 방법이 학생들의 유사행동에 대한 보다 정확한 결과를 보임을 알 수 있었다. 또한 속성의 개수가 10개 이상인 경우에 기본 방법과의 차이를 보이며 취업의사결정에서 학생들의 의식을 기존 방법보다 효과적으로 반영하였다.

러프집합과 정보이론을 이용한 대학생역량강화 진단 (Diagnosis by Rough Set and Information Theory in Reinforcing the Competencies of the Collegiate)

  • 박인규
    • 디지털융복합연구
    • /
    • 제12권8호
    • /
    • pp.257-264
    • /
    • 2014
  • 본 논문은 대학생을 대상으로 학생들의 학업 및 취업경쟁력 강화에 필요한 핵심 역량의 도출과 진단에 관한 연구이다. 이러한 데이터의 처리에는 매우 많은 변수로 인한 차원의 증가로 인하여 계산상의 어려움이 수반되어지고 변수의 중복성과 중요도에 있어서 다양한 통계적 관계가 존재한다. 따라서 범주형 데이터의 분류에서 발생하는 애매함이나 불확실성을 처리하기 위하여 러프집합과 정보 엔트로피를 기반으로 불확실성의 척도를 정의하여 학생들의 유사행동을 분석하고, 기존의 통계적인 방법과의 비교우위를 위하여 속성간의 변별력을 비교하였다. 도출된 공통 핵심역량과 전공핵심역량을 이용하여 학생들이 가지고 있는 역량의 정성적인 보유수준과 부족한 역량을 파악할 수 있기 때문에, 대학생활지도와 취업진로지도의 보조자료로 활용이 가능할 뿐만 아니라 대학 적응을 높이고 취업 활성화에 부합될 수 있다고 사료된다.

기후예측정보와 베이지안 기법을 활용한 가뭄전망기술 개발 및 평가 (Development and Evaluation of Drought Outlook method Using Climate Prediction with Bayesian method)

  • 손경환;배덕효
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.22-22
    • /
    • 2015
  • 가뭄은 적시에 경보해야 하는 홍수와 달리 진행속도가 느리고 시간적으로 대처할 여유가 있어 진행중일지라도 미리 감지만 한다면 그 피해를 최소화할 수 있다. 이로 인해 미국 등 수문기상 선진국에서는 수문기상 장기예보자료로부터 가뭄전망정보 생산기술을 개발하였으며, 특히 가뭄전망의 정확도 향상을 위해 여러 통계적 보정기법을 적용하고 있다. 국내의 경우 기상청에서 가뭄전망을 목적으로 2011년에 수치예보모델을 이용하여 가뭄전망정보를 생산한바 있으나, 전망정보의 불확실성 문제로 가뭄예보에 활용하는데 한계가 있어 이를 개선할 수 있는 기술개발이 요구되는 실정이다. 본 연구에서는 기후예측자료를 이용하여 가뭄전망정보 생산기술을 개발하고 정확도 개선을 위해 베이지안 기법을 연계하였다. GloSea5 (Global Seasonal forecast model 5) 장기예보자료를 이용하였으며, 베이지안 기법을 통해 과거 관측자료에 대한 사전분포, 모델의 전망정보로부터 우도함수를 유도하여 최종 사후분포를 추정하였다. 베이지안 기법 적용 전 후에 따른 가뭄지수를 산정하였다. 관측자료 기반의 가뭄지수와의 비교분석을 통해 선행기간 및 계절별 가뭄예측 성능을 평가하였으며, 실제 가뭄기간 동안에 가뭄의 재현성을 지역별로 분석하였다. 장기예보자료만을 활용한 기존 가뭄전망에서는 관측 자료가 포함된 1개월 전망에서도 불확실성이 매우 높았지만 베이지안 기법 적용으로 가뭄전망의 정확도가 크게 개선되었다. 특히, 1, 2개월 전망의 시계열 가뭄지수가 관측기반의 가뭄지수의 거동과 매우 유사하게 나타났으며, 지역별로도 베이지안 기법 적용시 실제 가뭄피해 상황을 적절히 재현하는 것으로 나타났다. 국내 가뭄예보에 있어 기후예측정보를 단순활용하기 보다는 베이지안과 같은 통계적 보정기법을 이용하여 가뭄전망정보를 생산하는 것이 바람직하며, 본 연구에서는 가뭄예보업무에 활용될 수 있도록 베이지안 기법에 대한 검증 및 평가를 지속적으로 수행할 계획이다.

  • PDF

통계적 기반의 장기 기온예측정보를 이용한 기준증발산량 전망 (Forecasting reference evapotranspiration using statistically based long-term temperature prediction information)

  • 김철겸;이정우;이정은;김현준
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.390-390
    • /
    • 2021
  • 본 연구에서는 통계적 방법에 의해 예측된 미래기간의 기온정보와 기온기반의 기준증발산량 산정방법을 연계하여 한강권역을 대상으로 최대 12개월의 미래기간에 대한 기준증발산량을 전망하였다. 기온정보는 Kim et al. (2020)의 연구와 같이 글로벌 기후지수와의 원격상관성을 기반으로 개발된 다중회귀모형을 이용하여 미래기간(예측시점 기준 1~12개월)에 대해 월 평균기온을 예측하고 이를 상세화하여 한강권역 내 주요 ASOS 지점별로 최고/최저기온을 도출하였다. 기준증발산량은 Hamon 방법(Hamon, 1960, 1963)을 기반으로 각 지점별로 상세화된 최고/최저기온을 이용하여 동일한 미래기간(1~12개월)에 대해 산정하였다. 한강권역 전체에 대해 2015년 1월~2020년 12월의 월별 평균기온과 각 지점별 산정한 기준증발산량을 활용하여 기온 및 기준증발산량에 대한 예측성을 분석하였다. 한강권역 전체에 대해 예측된 월별 평균기온의 경우 실제 관측값과 비교하였을 때, PBIAS 4.2~6.4%, R2 0.97~0.98, NSE 0.97~0.98 등으로 매우 높은 예측성을 보였다. 지점별로 상세화된 기온정보를 이용하여 산정한 기준증발산량을 실제 기온으로부터 산정한 기준증발산량과 비교한 결과는 PBIAS 5.0~6.8%, R2 0.97~0.98, NSE 0.96~0.97로 기온에 대한 예측성과 유사하게 나타났다. 기온과 기준증발산량 모두 일부 월이나 일부 지점에서 관측값과 비교했을 때 다소 차이를 보이는 경우도 있었으나, 대상유역 전반적으로는 매우 안정적인 예측결과를 확인할 수 있었다. 기준증발산량에 대한 예측결과(미래 1~12개월)는 계절 및 월 단위의 유역 수자원 전망에 유용하게 활용될 수 있을 것으로 판단된다.

  • PDF

정준대응분석에서 붓스트랩 방법 활용 (Applications of Bootstrap Methods for Canonical Correspondence Analysis)

  • 고현석;전명식;정형철
    • 응용통계연구
    • /
    • 제28권3호
    • /
    • pp.485-494
    • /
    • 2015
  • 정준대응분석은 생태학에서 장소, 종 그리고 환경변수의 관계를 시각적으로 보기 위해 가장 많이 사용되는 서열화 방법 중의 하나이다. 그런데 이 방법은 표본이 바뀔 때마다 분석결과가 달라지기 때문에 종 간의 생태학적 유사성에 대한 일관된 해석을 어렵게 한다. 본 연구에서는 이러한 문제점을 해결하기 위해 정준대응분석에 붓스트랩 방법을 활용하였다. 이를 통해 전체 관찰 자료수에 반비례하여 좌표점의 변이가 나타나고, 붓스트랩 신뢰구간을 사용한 포함확률이 명목확률에 근사함을 확인하였다.

심층학습 기반 초해상화 기법을 이용한 슬로싱 압력장 복원에 관한 연구 (Study on the Reconstruction of Pressure Field in Sloshing Simulation Using Super-Resolution Convolutional Neural Network)

  • 김효주;양동헌;박정윤;황명권;이상봉
    • 대한조선학회논문집
    • /
    • 제59권2호
    • /
    • pp.72-79
    • /
    • 2022
  • Deep-learning-based Super-Resolution (SR) methods were evaluated to reconstruct pressure fields with a high resolution from low-resolution images taken from a coarse grid simulation. In addition to a canonical SRCNN(super-resolution convolutional neural network) model, two modified models from SRCNN, adding an activation function (ReLU or Sigmoid function) to the output layer, were considered in the present study. High resolution images obtained by three models were more vivid and reliable qualitatively, compared with a conventional super-resolution method of bicubic interpolation. A quantitative comparison of statistical similarity showed that SRCNN model with Sigmoid function achieved best performance with less dependency on original resolution of input images.

다중서열정렬의 유사도 매칭을 이용한 순서기반 침입탐지 (Sequence based Intrusion Detection using Similarity Matching of the Multiple Sequence Alignments)

  • 김용민
    • 정보보호학회논문지
    • /
    • 제16권1호
    • /
    • pp.115-122
    • /
    • 2006
  • 대부분의 침입탐지 방법은 알려진 침입 정보를 축적하고 임의의 행위 데이터에 대해 침입 여부를 결정하는 오용행위 탐지의 방법에 기반하고 있다. 그러나 생성된 공격행위 패턴은 새로운 공격 및 변형된 공격행위에 대응하는 방법에 어려움이 있다. 현실적으로 비정상행위 탐지기법의 높은 오탐을 고려하면, 대용량 순서기반 침입패턴은 알려진 공격에 대한 탐지와 함께 침입패턴의 유사도를 측정하는 방법의 보완을 통해 변형된 공격 및 새로운 공격에 대한 탐지의 가능성을 높이는 대책이 요구된다. 본 논문에서는 순서기반 침입패턴의 유사성 매칭을 위해 다중서열정렬 기법을 적용하는 방법을 제안한다. 그 기법은 침입패턴 서열의 통계적 분석을 가능하게 하고 구현이 용이하며, 서열 크기의 변경에 따라 공격에 대한 탐지 경보 및 오탐의 수를 줄이는 결과를 보였다.

교차 프로젝트 결함 예측을 위한 유사도 측정 기법 비교 연구 (A Comparative Study on Similarity Measure Techniques for Cross-Project Defect Prediction)

  • 류덕산;백종문
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권6호
    • /
    • pp.205-220
    • /
    • 2018
  • 소프트웨어 결함 예측은 결함이 자주 발생하는 모듈에 집중함으로써 소프트웨어 품질 보증 활동에 귀중한 프로젝트 리소스를 효과적으로 할당하는 데 도움이 될 수 있다. 회사 내에서 수집 된 충분한 기록 데이터를 사용하여 정확한 결함 발생 가능성이 높은 모듈 예측에 대해 WPDP (프로젝트 내 결함 예측)를 사용할 수 있다. 회사가 과거 데이터를 유지하지 못한 경우 CPDP (Cross-Project Defect Prediction) 메커니즘을 기반으로 오류를 예측하는 분류기를 만드는 것이 도움이 될 수 있다. CPDP는 다른 조직에서 수집 한 다른 프로젝트 데이터를 사용하여 분류기를 작성하기 때문에 정확한 분류기를 만드는데 가장 큰 장애물은 소스와 대상 프로젝트 간의 서로 다른 분포이다. 이 문제의 해결을 위해 효과적인 유사도 측정 기술을 식별하는 것이 중요하므로, 본 논문에서는 다양한 유사도 측정 기술을 CPDP 모델에 적용하여 성능을 비교한다. 유사도 가중치의 유효성을 평가하고, 통계적 유의성 검정 및 효과 크기 검정을 통해 결과를 검증한다. 실험 결과, k-Nearest Neighbor (k-NN), LOcal Correlation Integral (LOCI) 및 Range 방법이 유사도 측정 기술 중 상위 3 개에 속했고, 이들을 사용하는 CPDP 예측 성능이 WPDP의 성능과 유사하였다.

통행시간분포를 이용한 교통량기반 추정O/D의 신뢰성 평가에 관한 연구 (Evaluation on the traffic count based O/D matrix using Trip Length Frequency Distribution)

  • 이승재;손의영;김종형
    • 대한교통학회지
    • /
    • 제18권2호
    • /
    • pp.53-62
    • /
    • 2000
  • 현재까지 개발된 교통량 기반 O/D 추정기법들은 추정된 O/D의 신뢰성을 평가하는 기준으로 통계적 오차분석을 통한 참O/D(true O/D)와 추정O/D간의 타이를 분석하는 방법이 주류를 이루었다. 문제는 이러한 오차분석기법들이 현실적인 대규모 교통망상에 적용될 때 탐O/D를 알 수 없을 뿐만 아니라, 알 수 있다고 하더라도 추정된 O/D와의 비교 평가시에 그러한 평가방법으로 추정된 O/D의 신뢰성을 부여하기에는 많은 문제점을 가지고 있다는 점이다. 통행조사에 의한 O/D는 비록 포함되어 있는 정보가 과거의 정보라고 할지라도 현재의 통행흐름에 대하여 가장 많은 정보를 가지고 있다고 할 수 있다. 즉, 선행O/D의 정보를 크게 변화시키지 않으면서도 관측교통량으로 O/D를 추정할 수 있는 방법이 이 관점에서 매우 뛰어난 추정방법이라고 할 수 있다. 이러한 관점에서 본 연구에서는 선행O/D정보 중 통행수요예측시 가장 중요한 지표의 하나인 통행시간빈도분포 (TriP Length Frequency Distribution:TLFD)를 이용하여 추정O/D의 신뢰성 지표로 삼았다. TLFD는 4단계 모형에서 통행분포(trip distribution)시 모형을 정산하는 데 사용되는 방법으로써 죤간 통행시간을 단위별로 나누어 조사된 통행시간분포와 추정된 O/D의 통행시간분포가 유사한 지를 살피는 방법이라고 할 수 있다. 조사된 TLFD와 추정O/D의 TLFD가 유사한 모양을 이를 때 추정O/D의 신뢰성이 높다고 인정한다. 또한 TLFD는 전통적으로 조사된 표본O/D를 전 수화하는데 이용되어 그 타당성 또한 많이 검증되어 왔다. 그러나 아직까지 TLFD를 가지고 교통량으로 O/D를 추정하는 모형의 결과를 검증한 연구 결과는 없는 실정이다. 따라서, 본 연구에서는 최종적인 이러한 분석결과를 평가할 수 있을 뿐 아니라, 평가된 지표가 신뢰할 만한 수준이 아니라면, 추정된 결과를 보정할 수 있는 가능성을 제시하고자 한다.

  • PDF