• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 인터넷정보학회논문지
• /
• 제16권2호
• /
• pp.77-83
• /
• 2015

데이터 마이닝에서 활발히 연구되고 있는 주요 분야들 가운데 하나인 빈발 패턴 마이닝은 대규모의 데이터 집합 또는 데이터베이스로부터 숨겨진 유용한 패턴 정보를 추출하기 위한 방법이다. 또한 이 기법으로 얻을 수 있는 결과물을 통해 데이터베이스내의 다양하고 중요한 특징들을 더욱 손쉽게 자동적으로 분석할 수 있기 때문에 많은 응용영역에도 활발히 적용되고 있다. 하지만 이러한 데이터베이스로부터 단순히 사용자에 의해 설정된 최소 지지도 임계값만을 가지고 이를 만족하는 모든 패턴들을 추출하는 기존의 전통적인 빈발 패턴 마이닝 방식은 데이터베이스의 특성과 임계값 설정의 정도에 따라 극도로 많은 수의 결과 패턴을 생성하는 문제를 가지며, 이에 따른 시간 및 공간 자원의 낭비를 초래한다. 또한 과도하게 생성된 패턴에 대한 분석의 어려움 역시 심각한 문제가 된다. 기존의 빈발 패턴 마이닝 접근방법들이 직면한 이러한 문제를 해결하고자, 데이터베이스로부터 가능한 모든 빈발 패턴들을 마이닝하는 것이 아닌, 이들에 대한 대표 패턴들만은 선별적으로 추출할 수 있도록 하는 대표 패턴 마이닝의 개념과 다양한 관련 기법들이 제안되었다. 본 논문에서는 생성되는 각 패턴의 최대성 또는 폐쇄성을 고려하는 패턴 압축 기법들에 대한 특성들을 기술하고, 이에대한 비교 및 분석을 진행한다. 최대 빈발 패턴 혹은 닫힌 빈발 패턴들을 마이닝함으로써, 효과적인 패턴 압축이 가능하며, 더 적은 시공간 자원으로 마이닝 작업을 수행할 수 있다. 또한 압축된 패턴들은 필요시 다시 원래의 패턴 형태로 복구가 가능한 특징이 있으며, 특히 닫힌 패턴 접근 방법을 이용하면 패턴을 압축하고 다시 해제하는 과정에서 어떠한 정보의 손실도 일어나지 않는다. 본 논문에서는 같은 플랫폼 상에서 동일한 구현 수준의 알고리즘에 대해 실세계로부터 축적된 실 데이터셋들을 가지고 상기 기법들에 대한 성능평가를 진행함으로써, 각 기법이 패턴 생성, 수행 시간, 메모리 사용량과 같은 실제적인 마이닝 성능에 대해 어떠한 영향을 미치는지에 대한 심층적 분석결과를 보인다.

• 한국멀티미디어학회논문지
• /
• 제13권9호
• /
• pp.1299-1313
• /
• 2010

Top-k 질의는 데이터베이스에서 사용자가 가장 원하는 k개의 객체를 구하는 질의이다. Top-k 질의를 효율적으로 처리하는 대표적인 연구로 Partitioned-Layer Index (간단히, PL-index) 방법이 있다. PL-index는 데이터베이스를 여러 개의 더 작은 데이터베이스로 분할하고 각 분할된 데이터베이스에 대해 sublayer들의 list (간단히, sublayer list)를 구성한다. 이때, 분할된 데이터베이스에 대해서 top-i 결과가 될 수 있는 객체들을 그 분할된 데이터베이스에 대한 i번째 sublayer로 구성한다. 그리고 주어진 질의에 맞춰 그 sublayer list들을 병합함으로써 질의 결과를 구한다. PL-index는 질의 처리 시 데이터베이스로부터 읽어 들이는 객체의 개수가 매우 작다는 장점을 가지지만, sublayer list들을 병합할 때에 임의 접근(random access)이 많이 발생하기 때문에 디스크 기반의 데이터베이스 환경에서 질의 처리 성능이 저하된다. 이에 본 논문에서는 임의 접근 횟수를 줄임으로써 디스크 기반의 데이터베이스 환경에서 PL-index의 질의 처리 성능을 크게 향상시키는 요약된(Abstracted) Partitioned-Layer Index (간단히, APL一index)를 제안한다. 먼저, PL-index의 각 sublayer를 가상의 (점) 객체로 요약함으로써 sublayer list들을 이러한 점 객체들의 list들(즉, APL-index)로 변형한다. 그리고 APL-index에 대해 질의 처리를 가상으로 수행하여 실제 질의 처리 시 접근할 sublayer를 예측한다, 그리고 예측된 sublayer들을 sublayer list별로 한꺼번에 읽어 들임으로 PL-index에서 발생하는 임의 접근 횟수를 줄인다. 합성 데이터와 실제 데이터에 대한 실험을 통하여 제안한 APL-index가 PL-index의 임의 접근 횟수를 크게 줄일 수 있음을 보인다.

• 한국지능시스템학회논문지
• /
• 제18권6호
• /
• pp.754-761
• /
• 2008

최근 자동차 산업 및 기술이 발전함에 따라 기계적인 부분에서 서비스적인 부분으로 관심이 점점 바뀌고 있는 추세이다. 이와 같은 추세에 발맞추어 운전자에게 보다 안정적이며 편리한 운전 환경을 조성하기 위한 방법으로 감정 및 인지 인식에 대한 관심이 점점 높아지고 있다. 감정 및 주의력을 인식하는 것은 감정공학 기술로서 이 기술은 1980년대 후반부터 얼굴, 음성, 제스처를 통해 인간의 감정을 분석하고 이를 통해 인간 진화적인 서비스를 제공하기 위한 기술로 연구되어 왔다. 이와 같은 기술을 자동차 기술에 접목시키고 운전자의 안정적인 주행을 돕고 운전자의 감정 및 인지 상황에 따른 다양한 서비스를 제공할 수 있다. 또한 Real-Time으로 운전자의 제스처를 인식하여 졸음운전이나 부주의에 의한 사고를 사전에 예방하고 보다 안전한 운전을 돕는 서비스가 필요시 되고 있다. 본 논문은 운전자가 안전 운전을 하기 위해 생체-행동 신호를 이용하여 감정 및 졸음, 주의력의 신호를 추출하여 일정한 형태의 데이터베이스로 구축하고, 구축된 데이터를 이용하여 운전자의 감정 및 졸음, 주의력의 특징 점들을 검출하여, 그 결과 값을 Multi-Modal 방법을 통해 응합함으로써 운전자의 감정 및 주의력 상태를 인식할 수 있는 시스템을 개발하는데 목표를 두고 있다.

• 한국정보과학회논문지:데이타베이스
• /
• 제33권6호
• /
• pp.644-653
• /
• 2006

본 논문에서는 주식 데이타베이스로부터 탐사된 다수의 규칙들을 이용하여 주식 투자 추천을 요구하는 대량의 연속 질의들을 효과적으로 처리하는 방안에 관하여 논의한다. 먼저, 본 논문에서는 주식투자 추천을 위한 사용자 질의의 특성을 분석함으로써 질의간에 존재하는 새로운 관계인 '따름 관계'를 정의한다. 두 질의 $Q_1,\;Q_2$간의 추천값 X에 대한 따름 관계는 '만일 선행 질의 $Q_1$의 추천값이 X이면, 추종 질의 $Q_2$의 추천값은 항상 X인 관계'를 의미한다. 이러한 따름 관계가 존재하는 경우, 추종 질의 $Q_2$의 추천값은 선행 질의 $Q_1$의 추천값을 이용하여 ,바로 결정할 수 있으므로 $Q_2$를 위한 질의 처리 과정을 제거할 수 있다. 본 논문에서는 전체 사용자 질의들간의 따름 관계들을 파악하여 그래프 형태로 표현하는 방법을 제안한다. 또한, 처리 과정이 제거되는 질의들의 수가 최대가 되도록 이러한 그래프를 탐색하여 질의 처리 순서를 결정하는 방법을 제안한다. 따름 관계를 기반으로 하는 제안된 방식을 이용하는 경우, 많은 사용자 질의들은 실제 질의 처리 과정이 불필요하게 되므로 전체 시스템의 처리 성능을 크게 개선할 수 있다. 실제 주가 데이타를 이용한 실험을 통하여 제안한 질의 처리 방식의 우수성을 규명한다. 실험 결과에 의하면, 제안된 방식에 의한 전체 질의 처리 시간은 기존 방식에 의한 시간의 10%이하로 줄어드는 것으로 나타났다.

• 정보처리학회논문지D
• /
• 제11D권1호
• /
• pp.11-22
• /
• 2004

최근 들어 계속되는 램 가격 하락으로 인해 대용량의 램을 사용하는 주기억장치 데이터베이스 시스템의 구축이 실현 가능하게 되었다. 주기억장치 데이터베이스는 여러 다양한 실시간 응용 분야를 위해 사용되며, 매년 CPU 속도가 60％ 정도 증가되고, 메모리 속도가 10% 증가되는 현실에서, 케쉬 미스(Cache miss)를 얼마나 줄이느냐 하는 문제가 주기억장치 데이터베이스의 검색 성능 측면에서 가장 중요한 문제로 대두되고 있다. 본 논문에서는 이러한 환경을 고려한 실시간 모바일 GIS응용을 위한 주기억장치 데이터베이스 시스템을 설계 및 구현한다. 본 시스템은 크게 PDA를 사용하는 모바일 사용자를 위한 인터페이스 관리기와 가상 메모리 기법을 사용해 전체 데이터를 주기억장치에 상주시키며 관리하는 주기억 데이터 관리기, 공간 및 비 공간 질의를 처리하는 질의처리기, 새롭게 제시하는 공간 데이터를 위한 MR-트리 인덱스와 비 공간 데이터를 위한 T-트리 인덱스 구조를 관리하는 인덱스 관리기, 데이터를 디스크에 저장하기 위한 GIS 서버 인터페이스로 구성된다. 새롭게 제시하는 공간 인덱싱을 위한 MR-트리는 노트 분할이 발생될 경우, 입력 경로 상에 하나 이상의 빈 엔트리를 지니는 노드가 존재할 경우에만, 노드 분할을 상위로 전송한다. 그러므로 중간 노드들은 항상 100%에 가깝게 채워져 있게 된다. 본 논문의 실험 결과, 2차원의 MR-트리는 기존의 R-트리에 비해 2.4배 이상의 빠른 검색 속도를 나타냈다. 한편, 주 기억 데이터 관리기는 가상 메모리 제공을 위해 전체 벡터 데이터 및 MR-트리, T-트리, 데이터 객체 텍스트 정보를 페이지 단위로 분할하여 관리하고, 간접 주소 기법을 사용하여 디스크로부터의 재 로딩시 발생할 수 있는 문제점을 제거하였다.

• 융합보안논문지
• /
• 제7권3호
• /
• pp.87-93
• /
• 2007

기존의 중대형 POS 시스템을 무선인터넷 환경에 적용하여 모바일 정보 단말기와 개인용 컴퓨터만으로 구성할 수 있는 방안을 제시한다. 기존의 중대형 POS 시스템이 제공하는 물류, 경영 및 관리 등의 부문에서 얻을 수 있는 많은 이점을 살리면서, 바코드 시스템과 같은 부수적인 장치를 사용할 필요가 없이 모바일 연동을 통한 자동화된 정보수집과 관리가 가능한 POS 시스템을 제안한다. 본 시스템은 주문용 모바일 정보 단말기, 점포내의 메인 서버, 주방의 모니터와 프린터 등에 주문 정보를 유무선으로 전송하여 실시간으로 정보를 공유하도록 한다. 또한 기존의 주문 전용 PDA와는 달리 현장 발생 데이터를 실시간으로 수집 전송하여 기업의 회계, 매출, 자재, 인력 관리 시스템 등에 즉시 연동하여 기업 관리 및 의사 결정에 활용할 수 있도록 편의를 제공한다. 모바일 단말기에는 별도의 프로그램이 필요 없으며, 모바일 단말기에서 발생한 주문 정보는 메인 서버의 웹 서버를 통해 데이터베이스로 입력되며, 메인 서버, 프린터에 정보를 전달한다. 소프트웨어 측면에서도 메인 서버의 매장 관리 프로그램과 모바일 단말기와의 통신을 위한 모듈만으로 POS 시스템의 확장을 위한 추가적인 소프트웨어 제작은 필요하지 않다. 본 논문에서 제안한 방법은 인터넷의 확산에 따른 유통정보화의 요소들 중 판매시점의 모든 정보를 처리하여, 거래 데이터의 정보화를 위한 POS 시스템을 무선 인터넷과 개인용 컴퓨터, 모바일 단말기를 이용하여 별도의 특정 장비 없이 구축비용 및 유지보수 비용을 낮추어 줌으로써 소규모 매장에 확산 적용될 수 있다.

• 한국경제지리학회지
• /
• 제11권3호
• /
• pp.459-475
• /
• 2008

본 연구의 목적은 최근 다양한 네트워크 분석에 활발히 적용되고 있는 복잡성 분석을 통하여 수도권 지하철 망의 구조적 특성을 연구하는 것이다. 이를 위하여 수도권 지하철 망을 점과 선으로 구성되는 네트워크로 구성하고, 네트워크의 복잡성 분석에서 계산하는 다양 지표들을 산출하여 그에 대한 해석을 시도하였다. 특히 본 연구에서는 교통카드를 이용해 움직이는 수도권 대중교통이용자의 통행기록을 담고 있는 대용량 교통카드 트랜잭션 데이터베이스로부터 수도권 지하철망의 구조적 특징을 찾아내기 위한 알고리즘을 개발하고 그의 적용으로 얻어진 결과를 분석하였다. 또한 지하철역과 역 사이의 시간거리와 실제거리에 대해 최단경로를 탐사하는 알고리즘을 개발하고, 이를 통하여 얻어진 최단경로거리와 최단거리의 분포 구조를 분석하였다. 특히 최단 경로거리와 최단 거리의 합을 산출하여 수도권 지하절망을 통하여 각 역에서 다른 모든 역들에 도달하기 용이한 정도를 의미하는 접근성 지표로 삼고, 이를 GIS를 사용하여 수도권의 접근성의 공간적 분포를 나타내고 그의 공간적 구조를 분석하였다.

• 한국통신학회논문지
• /
• 제29권1B호
• /
• pp.18-28
• /
• 2004

라우터에서의 어드레스 검색은 일초에 수천만개 이상으로 입력되는 패킷에 대하여 실시간으로 처리되어야하기 때문에 인터넷 라우터는 효율적인 IP 어드레스 검색 구조를 갖도록 설계되어야 한다. 본 논문에서는 [1]에서 제안된 IP prefix의 binary tree에 기초한 효율적이면서 실용적인 IP 어드레스 검색 구조와 이를 구현하는 하드웨어 구조를 제안한다. 제안된 구조는 (1)에서 제안된 binary tree의 문제점들을 해결하는 구조로서 작은 수의 엔트리를 갖는 TCAM과 pipelined binary search를 적용하여 효율적인 하드웨어로 구현되었다. 구현된 하드웨어 구조의 성능을 평가하여 본 결과., 약 30,000 여개의 entry를 갖는 MAE-WEST 라우터 데이타의 경우, 2,000여개의 엔트리를 갖는 TCAM과 총 245 Kbyte의 SRAM을 사용하여 한번의 메모리 access를 통하여 어드레스 검색이 가능한 것으로 평가되었다. 또한 제한된 방식은 큰 데이터베이스나 IPv6를 위해서도 확장이 용이하다.

• 한국인터넷방송통신학회논문지
• /
• 제20권1호
• /
• pp.19-25
• /
• 2020

빈발 패턴 마이닝에서 각 패턴이 가지는 불확실한 정보로 인하여 정보의 손실을 수반하기 마련이다. 또한 실제적인 환경에서는 패턴들의 중요도가 시간에 따라서 변하기 때문에 이러한 요구에 부합하기 위하여 퍼지논리를 적용하고 패턴이 가지는 중요도의 동적특성을 고려하여야 한다. 본 논문에서는 웹 로그 데이터베이스에서 퍼지 유틸리티 기반 웹페이지 집합 마이닝을 통해 웹 로그 데이터베이스에서 빈발 웹 페이지 집합의 추출을 위한 퍼지 유틸리티 마이닝 기법을 제안한다. 여기서 퍼지 집합의 하향 폐쇄 특성은 최소 퍼지 유틸리티 임계 값(MFUTV) 및 사용자 정의 백분위 수(UDP)에 의해 넓은 공간을 제거하기 위해 적용된다. 여러 실험을 통하여 제안하는 기법은 매우 효과이며 확장성이 좋은 것임을 보인다.