• 한국인터넷방송통신학회논문지
• /
• 제21권1호
• /
• pp.79-86
• /
• 2021

빅데이터 프로젝트의 성공 확률을 높이기 위해서는 복잡한 원인들로부터 근본적인 위험의 원인을 분석하여 최적의 대응 방안을 수립할 수 있는 계량화된 기법이 요구된다. 이를 위해 본 연구에서는 SNA 분석을 통해 위험 요인과 관계를 측정하고, 이를 기반으로 위험에 대응할 수 있는 방법을 제시한다. 즉, 사전 연구에서 제시된 빅데이터 프로젝트의 위험 그룹 간 상관관계 분석 결과를 활용하여 종속성 네트워크(dependency network) matrix를 도출하고 이를 통해 SNA 분석을 수행한다. 종속성 네트워크 matrix를 도출하기 위하여 위험 노드 간의 상관관계로부터 부분 상관을 구하고, 상관 영향과 상관 종속성을 계산함으로써 노드별 활동 종속성을 도출하고 이를 통해 위험 요인 노드 간의 인과 관계와 연관관계에 있는 모든 노드간의 영향정도를 모두 산출한다. 위험 요인 간 SNA통해 도출된 위험 요인 간 네트워크로부터 위험에 대한 근본 원인을 인지함으로써 보다 최적화되고 효율저인 위험 관리가 가능하다. 본 연구는 위험관리 대응과 관련하여 SNA 분석 기법을 적용한 최초의 연구로 본 연구결과는 IT프로젝트의 위험관리와 관련하여 주요 위험에 대한 위험 관리 순서를 최적화할 수 있을 뿐만 아니라, 위험 통제를 위한 새로운 위험분석 기법을 제시하였다는데 큰 의의가 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.54-55
• /
• 2016

무선 센터 네트워크 환경과 이동성을 지원하는 MANET이 결합된 환경에서 센서 커버리지 최대화 문제는 해결해야 할 중요한 문제 중 하나이다. 이 문제를 해결하기 위해 기존 연구에서는 자가 조직의 방식으로 노드 이동에 대하여 자가 결정, 근접 노드 검색, 노드 이동의 단계를 수행하는 알고리즘이 제시되었다. 하지만 기존 연구의 방식으로는 이미 노드의 배치가 최적화된 상태에서는 효과적이지 않다는 문제점을 가지고 있다. 이 논문에서는 기존 MANET 센서 커버리지 최대화 알고리즘의 문제점을 상세히 분석하고, 이 문제점을 해결하기 위한 해결 방안을 제시한다. 문제점을 제시하기 위해 MANET 환경을 모의구성하고 성능 실험을 실시하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.118-120
• /
• 2017

모바일 이동통신망의 Core 노드들은 2G CDMA, 3G WCDMA, 4G LTE 교환기를 비롯하여 IMS 및 다양한 부가장비들로 이루어져 있다. 최근 5G로 진화하는 과정에는 NFV(Network Function Virtualization)가 그 중심에 서 있다. NFV 환경에서는 기존 통신 노드와 다르게 범용서버 및 범용 운영체제가 주축이 되어, 일반 IT 툴로도 통신망 내부 노드의 로그분석이 용이해 졌다. 또한 다양하고 복잡한 Core 네트워크에서 빅데이터로 발생하는 로그 또한 머신러닝으로 분석이 가능하며, 운용에 활용할 수 있다. 따라서 본 연구에서는 vDPI, vMMSGW OS 로그를 대상으로 분석하였으며, 잠재되어 있는 문제점들을 확인할 수 있었다. 또한 어플리케이션의 비정형화 된 로그에서도 비정상적인 패턴들을 발견하여 대용량 트래픽이 발생하며 SLA가 유난히 높은 통신환경에서도 비지도 머신러닝 분석이 유용함을 확인하였다.

• 디지털융복합연구
• /
• 제12권6호
• /
• pp.311-316
• /
• 2014

소셜 네트워크와 스마트폰의 대중화로 인하여 서버에 저장되어 있는 데이터를 손쉽게 사용할 수 있는 빅데이터 서비스가 증가하고 있다. 빅 데이터 처리기술은 빅 데이터 서비스에서 가장 중요한 기술 중 하나지만 보안에 대한 해결책이 미미한 상태이다. 본 논문에서는 빅 데이터 서비스에서 제공되는 분산된 대용량 데이터를 이중 해쉬를 이용하여 사용자가 손쉽게 데이터에 접근할 수 있는 다중 해쉬 체인 기반의 데이터 분산 처리 기법을 제안한다. 제안 기법은 빅 데이터를 데이터의 종류, 기능, 특성에 따라 해쉬 체인으로 묶어 데이터에 높은 처리량을 지원한다. 또한, 토큰 및 데이터 노드가 공격자에게 노출되었을 때 발생하는 보안 취약점을 해결하기 위해서 데이터의 속성 정보를 해쉬 체인의 연결 정보로 활용하여 빅 데이터의 접근 제어를 분산 처리한다.

• Journal of the Korean Data and Information Science Society
• /
• 제25권6호
• /
• pp.1431-1438
• /
• 2014

2013년 1월 1일부터 2013년 12월 31일까지의 부산지역지인 국제신문과 부산일보의 기사들 중 제목에 '부산'과 '교통'을 동시에 포함한 2889건의 기사 내용의 관계 또는 관련 있는 데이터에 내재되어 있는 의미 있는 패턴을 찾아내고자한다. 데이터마이닝 (datamining)의 일부인 텍스트마이닝(textmining)의 기법을 이용하여 사회네트워크분석 (SNA; social network analysis)을 실시하였다. 비정형 데이터의 정형화를 위해 빅데이터의 저장, 처리 및 분석을 위해 자바 기반의 오픈소스 프레임워크인 하둡 생태계 (Hadoop ecosystem)의 HDFS와 맵리듀스 (MapReduce)를 Linux (Ubuntu-12.04LTS) 환경에서 이용하였고, 기존의 R패키지에서 제공되는 사회 네트워크 분석보다 효율적인 시각화를 위해 각 노드 및 선에 비율에 따른 가중치를 주어 색상과 굵기로 해석할 수 있도록 새로운 알고리즘을 구현하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.82-85
• /
• 2021

최근 초연결화를 근간으로 한 스마트 홈 구성을 위해 스마트 홈 내부에 센서를 탑재한 디바이스가 증가하고 있으며, 이를 효과적으로 사용하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생함에 따라 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속적으로 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시간에 빈번한 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 기계학습 기반 캐싱 시스템을 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.396-398
• /
• 2023

Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권5호
• /
• pp.179-186
• /
• 2014

소셜 네트워크, 웹 페이지 링크, 교통 네트워크 등과 같은 최근의 네트워크들은 노드와 에지의 수가 방대한 빅 데이터이다. 소셜 네트워크 서비스나 네비게이션 서비스와 같이 이와 같은 네트워크를 이용하는 애플리케이션이 많아지고 있다. 대용량 네트워크는 전체를 메모리에 적재할 수 없어, 기존의 네트워크 분석 기술을 활용할 수 없다. 최근 대용량 그래프의 효율적 탐색을 제공하는 RDB 기반 연산자들이 프레임워크(Frontier-expand-merge framework, FEM)로 제안되었다. FEM은 효율적인 최단 경로 탐색을 위해 부분 최단 경로를 저장하는 RDB 기반의 인덱스 테이블을 구축하였다. 그러나 FEM의 인덱스 테이블은 최단 경로에 포함될 확률보다 인덱스의 거리에 의해 결정되기 때문에 인덱스 테이블 참조율이 떨어진다. 본 논문에서는 효율적인 최단 경로 탐색을 지원하는 인덱스 참조율이 높은 차수가 큰 노드들을 이용한 인덱스 테이블 구축 기법을 제안한다. 실험을 통하여 제안하는 인덱스 테이블 구축 기법이 실세계 데이터 셋에서 효율적인 최단 경로 탐색을 지원함을 보인다.

• 한국위성정보통신학회논문지
• /
• 제10권2호
• /
• pp.40-45
• /
• 2015

본 논문에서는 빅 데이터를 이용하여 범죄 발생 요인에 따른 범죄 예측 알고리즘을 구현했다. 제안된 알고리즘은 대검찰청에서 수집하여 공개한 범죄관련 빅 데이터를 사용하였으며, 통계분석을 통해 서울시의 2011-2013년 범죄발생 패턴을 분석했다. 범죄예측 알고리즘 구현을 위해 베이지안 네트워크를 적용하였으며, 범죄발생 요인으로서 공간적, 인구적, 사회적 특성 및 요일, 시간, 날씨와 같은 기타 요인으로 베이지안 네트워크의 노드를 구성하였다. 제안한 알고리즘의 구현 결과, 서울시의 각 구별로 범죄발생 패턴이 다르다는 것을 파악할 수 있었으며, 다양한 범죄발생 패턴을 분석하고, 범죄예측 알고리즘의 정확도를 확인할 수 있었다.

• 정보과학회 논문지
• /
• 제44권4호
• /
• pp.383-391
• /
• 2017

빅데이터 시대가 도래 하면서 시맨틱 데이터의 양이 빠른 속도로 증가하고 있다. 이러한 대용량 시맨틱 데이터에서 의미 있는 암묵적 정보를 추론하기 위해서 지식 사용자의 경험적 지식을 기반으로 작성된 SWRL(Semantic Web Rule Language) 규칙들을 활용하는 많은 연구가 진행되고 있다. 그러나 기존의 단일 노드의 추론 시스템들은 대용량 데이터 처리에 한계가 있고, 다중 노드 기반의 분산 추론 시스템들은 네트워크 셔플링으로 인해 성능이 저하되는 문제점들이 존재한다. 따라서 본 논문에서는 기존 시스템들의 한계를 극복하고 보다 효율적인 분산 추론 방법을 제안한다. 또한 네트워크 셔플링을 최소화 할 수 있는 데이터 파티셔닝 전략을 소개하고, 점증적 추론에서 사용되는 추가된 새로운 데이터의 선별과 추론 규칙의 순서결정으로 추론 과정을 최적화 할 수 있는 방법에 대해 설명한다. 제안하는 방법의 성능을 측적하기 위해 약 2억 트리플로 구성된 WiseKB 온톨로지와 84개의 사용자 정의 규칙을 이용한 실험에서 32.7분이 소요되었다. 또한 LUBM 벤치 마크 데이터를 이용한 실험에서 맵-리듀스 방식에 비해 최대 2배 높은 성능을 보였다.