• 정보와 통신
• /
• 제31권11호
• /
• pp.35-45
• /
• 2014

주성분 분석 기법(PCA)는 가장 널리 사용되는 데이터 차원 감소 (dimensionality reduction) 기법으로 알려져 있다. 하지만 데이터에 이상점 (outlier)가 존재하는 환경에서는 성능이 크게 저하된다는 단점을 가지고 있다. Rank-Sparsity(Robust PCA) 기법은 주어진 행렬을 low-rank 행렬과 저밀도(sparse)행렬의 합으로 분해하는 방식으로, 이상점이 많은 환경에서 PCA기법을 효과적으로 대체할 수 있는 알고리즘으로 알려져 있다. 본 고에서는 RPCA 기법을 간략히 소개하고, 그의 적용분야, 및 알고리즘에 관한 연구들을 대해서 알아본다.

• 정보화정책
• /
• 제23권1호
• /
• pp.3-19
• /
• 2016

본 연구의 목적은 빅데이터 보안 분야의 기존 연구를 분석하고, 향후 연구 방향을 모색하는 것이다. 이를 위해 국내외의 총62편의 논문을 식별하여, 발간년도, 게재 매체, 전반적인 연구접근 방법, 세부적 연구 방법, 연구 주제 등을 분석하였다. 분석 결과, 빅데이터 보안 연구는 매우 초기 단계로서, 비실증 연구가 압도적인 비중을 차지하고 있고, 관련 개념/기법에 대한 이해를 해나가는 과정으로서 기술-관리-통합의 단계로 진화한 정보보안 분야의 연구 동향에 동조하여 기술적인 연구가 주로 진행되고 있다. 연구 주제 측면에서도 빅데이터 보안에 대한 전반적인 이슈를 다룬 총론적인 연구들이 보안 구현 방법론, 분야별 이슈 등의 각론적 연구에 비해 높은 비중을 나타내는 등 초기 단계의 모습을 나타내고 있다. 향후 유망한 연구 분야로는 빅데이터 보안에 대한 전반적인 프레임워크 수립, 업종별 빅데이터 보안에 대한 연구, 빅데이터 보안 관련 정부 정책 분석 등을 들 수 있다. 빅데이터 보안 분야의 연구는 본격적으로 시작된 지 얼마 되지 않아, 연구 결과가 상대적으로 매우 부족한 편이다. 앞으로 다양한 관점에서 빅데이터 보안과 관련해 풍부한 주제를 다루는 연구가 진행되기를 기대한다.

• 정보와 통신
• /
• 제34권6호
• /
• pp.43-50
• /
• 2017

본고에서는 소셜 빅데이터에서 공공안전에 위협되고 사회적으로 이슈가 되는 재난사건을 추출하기 위한 방법으로 소셜 네트워크상에서 사용자 행동 분석과 시간분석을 반영한 토픽 모델링 기법을 알아본다. 소셜 사용자의 글 수, 리트윗 반응, 활동주기, 팔로워 수, 팔로잉 수 등 사용자의 행동 분석을 통하여 활동적이고 신뢰성 있는 사용자를 분류함으로써 트윗에서 스팸성과 광고성을 제외하고 이슈에 대해 신뢰성 높은 사용자가 쓴 트윗을 중요하게 반영한다. 또한, 트위터 데이터에서 새로운 이슈가 발생한 것을 탐지하기 위해 시간별 핵심어휘 빈도의 분포 변화를 측정하고, 이슈 트윗에 대해 감성 표현 분석을 통해 핵심이슈에 대해 사건 어휘를 추출한다. 소셜 빅데이터의 특성상 같은 날짜에 여러 이슈에 대한 트윗이 많이 생성될 수 있기 때문에, 트윗들을 토픽별로 그룹핑하는 것이 필요하므로, 최근 많이 사용되고 있는 LDA 토픽모델링 기법에 시간 특성과 사용자 특성을 분석한 시간상에서의 중요한 사건 어휘를 반영하고, 해당이슈에 대한 신뢰성 있는 사용자가 쓴 트윗을 중요시 반영하도록 토픽모델링 기법을 개선한 소셜 사건 탐지 방법에 대해 알아본다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.892-894
• /
• 2019

빅데이터 기반의 기계학습은 대규모 데이터를 이용하여, 숨겨진 패턴을 찾아내는 학습과정과, 그렇게 찾아낸 패턴을 이용하여 새로운 데이터를 해석하는 추론과정으로 이루어진다. 이 과정을 통해 학습된 패턴은 데이터를 구성하는 속성들과 긴밀한 연관성을 갖고 있다. 학습에 사용된 데이터의 원 데이터를 구성하는 각각의 속성과 추론 결과가 동일한 계층 관계를 갖고 있다면, 모든 속성을 동일하게 처리할 수 있지만, 그렇지 않은 경우, 속성들 사이의 계층 정보를 고려하는 것이, 추론 결과의 정확도를 높일 수 있다. 이에 본 연구에서는 속성들 사이의 계층 관계를 고려한 추론 기법을 제안하고, 사례연구를 통해 제안 방법을 실제 상황에 적용하는 방법을 제시한다.

• Spatial Information Research
• /
• 제22권6호
• /
• pp.13-21
• /
• 2014

본 연구는 수요 및 관심이 증대되고 있는 공간 빅데이터의 개념설정과 이를 기반으로 공간 빅데이터 기술을 활용할 수 있는 서비스 프레임워크를 개념적으로 제시하는데 목적이 있다. 공간 빅데이터는 정형 반정형 비정형 공간 빅데이터를 효율적으로 수집 저장 관리하는 동시에 공간정보와 융합된 다양한 속성정보에 대해 실시간 통합 분석을 수행하여 의미 있는 정보를 추출함으로써 미래에 대응할 수 있는 기술이라 할 수 있다. 또한 공간 빅데이터는 기존 빅데이터가 가지는 3V(Volume, Variety, Velocity) 특성에 4V(Veracity, Visualization, Versatile, Value)가 추가된 특성을 가지며, 저장 관리, 분석, 서비스로 구분하여 활용범위를 설정할 수 있다. 그리고 공간 빅데이터를 활용하기 위한 서비스 측면에서의 프레임워크를 제시하였다. 구체적으로 서비스 관리, 서비스 콘테이너, 서비스 모니터링의 구성요소로 구상안을 제시하였다. 이러한 연구결과를 참조로 새로운 기술 및 기법들을 적용하여 수정 보완하고, 향후 개발예정인 저장 관리, 분석 기술개발과 연계하여 구체적인 서비스 제공방안에 대한 연구가 지속적으로 이루어져야 할 것이다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 춘계학술대회
• /
• pp.710-711
• /
• 2015

최근 사이버 공격이사회, 국가적 위협으로 대두되고 있다. 최근 신종 악성코드에 의한 A.P.T 공격이 사회적으로 큰 혼란을 야기하고 있다. 이에 따라 기업 내에서 방화벽, IPS, VPN 등의 네트워크 보안 시스템의 통합 관리를 목적으로 하는 통합관제시스템(ESM)의 필요성이 제기되었다. 그러나 기존의 ESM의 방식은 외부에서 내부로 유입되는 트래픽만을 모니터링하는 네트워크 기반 공격 탐지기법을 사용하기 때문에, 외부 사이버 공격만을 차단할 수 있다는 한계점을 가지고 있다. 따라서 본 연구는 주요 IT 기반시설의 네트워크, 시스템, 응용 서비스 등으로부터 발생하는 데이터 및 보안 이벤트 간의 연관성을 분석하여 보안 지능을 향상시키는 빅데이터를 활용한 보안로그시스템을 제안한다. 본 연구에서 제안한 빅데이터를 활용한 보안로그시스템을 통해 분산 기반의 저장/처리 기술 적용하고자 한다.본 기술을 적용한 지능형 정보 분석 플랫폼 구성을 통해, 가용성과 확장성을 확보하여 통합적 보안 관제가 가능하도록 한다. 뿐만 아니라 기업 내로의 악성코드 유입, 감염(전파) 그리고 실시간 모니터링이 가능하여 고객 서비스 만족도가 향상되는 파급효과가 기대된다.

• 해양환경안전학회지
• /
• 제24권4호
• /
• pp.408-414
• /
• 2018

해양사고 감소를 위해 다양한 연구들이 수행되어 왔다. 그에 비해 준해양사고에 대한 연구는 미미한 수준에 그치고 있다. 준해양사고는 건수가 많은 대신 내용이 정성적이기 때문에 분석하기에는 현실적인 어려움이 있었다. 하지만 해양사고 감소를 위해서는 준해양사고의 정량적인 분석이 필요하다. 이번 논문의 목적은 준해양사고 경향을 예측하고 해양사고를 감소시키기 위해 빅데이터 기법을 적용하여 준해양사고 데이터를 정량적으로 분석하는 것이다. 이를 위해 10,000여건의 준해양사고 보고서를 전처리 작업을 통해 통일된 양식으로 정리하였다. 전처리된 데이터에 대해서 1차적으로, 텍스트마이닝 기법을 적용하여 항해 중 준해양사고 발생원인에 대한 주요 키워드를 도출하였다. 주요 키워드에 대해 2차로 시계열 및 클러스터 분석을 통해 발생할 수 있는 준해양사고 상황에 대한 경향 예측을 도출하였다. 이번 연구에서는 정성적 자료인 준해양사고 보고서를 빅데이터 기법을 활용하여 정량화된 데이터로 전환할 수 있고, 이를 통해 통계적 분석이 가능함을 확인하였다. 또한 빅데이터 기법을 통해 차 후 발생할 수 있는 준해양사고에 대한 객관적인 경향을 파악함으로써 예방 대책에 대한 정보 제공이 가능함을 확인할 수 있었다.

• 응용통계연구
• /
• 제27권2호
• /
• pp.169-183
• /
• 2014

오늘날, 다양한 분야에서 다양한 형태의 빅 데이터들이 축적되고 있다. 이에, 빅 데이터를 분석하고 그 속에서 가치 있는 정보를 찾아내는 것은 매우 중요해지고 있다. 또한, 비정형 빅 데이터를 정형화하여 통계적 기법을 적용할 수 있게 하는 것은 매우 중요해지고 있다. 본 연구에서는 분산처리 시스템인 맵리듀스를 활용하여 비정형 빅 데이터를 정형화하고, 통계적 분석 기법인 단순 대응분석과 다중 대응분석을 적용하여, 한국 경제 신문의 지면에 실린 기사를 이용해 삼성전자와 애플을 언급하고 있는 단어들의 관계와 특성을 각각 파악하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.66-67
• /
• 2016

최근 수많은 국 내외 글로벌 기업들이 클라우드 자원의 제공자 겸 소비자 역할을 하는 프라이빗 IaaS 클라우드 환경을 구축하고 있는 추세이며 이를 위해 오픈소스 클라우드 플랫폼인 오픈스택(OpenStack)이 많이 사용되고 있다. 이 논문에서는 대규모 빅데이터 처리를 위해 오픈스택 클라우드 환경의 가상머신 라이브 마이그레이션 기법을 사용할 경우 발생할 수 있는 문제점을 분석한다. 이러한 문제점에 대하여 가상머신에서 빅데이터 연산 처리 시 스토리지 병목현상을 해결하기 위한 마이그레이션 기법을 제시한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.442-444
• /
• 2016

과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.