• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2015.05a
• /
• pp.290-293
• /
• 2015

개개인의 데이터가 비즈니스적으로 중요하지 않을 수 있지만, 대량으로 모으면 그 안에 숨겨진 새로운 정보를 발견할 가능성이 있는 데이터의 집합체로 빅데이터 분석 활용 사례는 점차 늘어나는 추세이다. 빅데이터 분석 기술 중 전통적인 데이터 분석방법인 하둡(Hadoop)은 예전부터 현재에 이르기까지 정형 비정형 빅데이터 분석에 널리 사용되고 있는 기술이다. 하지만 하둡은 배치성 처리 시스템으로 데이터가 많아질수록 응답 지연이 발생할 가능성이 높아, 현재 기업 경영환경과 시장환경에 대한 엄청난 양의 고속 이벤트 데이터에 대한 실시간 분석이 어려운 상황이다. 본 논문에서는 급변하는 비즈니스 환경에 대한 대안으로 오픈소스 CEP(Complex Event Processing)기반 기술을 사용하여 초당 수백에서 수십만건 이상의 이벤트 스트림을 실시간으로 지연 없이 분석가능하게 하는 실시간 분석 시스템을 개발하여 병원 ERP시스템에 적용하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.125-127
• /
• 2021

본 논문에서는 기존의 산업 및 서비스 변화에 따라 발생하는 빅데이터 분석 서비스 처리를 위한 빅데이터 분석 서비스 브로커 시스템을 제안한다. 기존의 빅데이터 분석 시스템은 분석하는 시간 동안 지속적으로 자원을 점유하고 있어야 하며, 이러한 서비스를 이용하기 위해 내부에 대규모의 시스템을 구축하고 지속적으로 운영해야하는 단점이 존재한다. 본 논문에서는 빅데이터 분석에 필요한 자원을 효과적으로 사용하기 위해 클라우드 기반의 자원 관리와 연계하고 서비스 이용을 용이하게 하기 위해 단일 엔드포인트 기반의 빅데이터 분석 서비스 호출 구조를 설계하였다. 이를 통해 빅데이터 서비스 분석에 소요되는 자원 점유에 따라 동적으로 자원을 생성 관리하여 자원을 보다 효과적으로 이용할 수 있는지 테스트베드를 구축하여 서비스 이용 및 자원 사용을 효과적으로 하는지 확인하였다. 또한, 이를 통해 대규모 자원을 지속적으로 점유해야하는 빅데이터 분석 플랫폼의 자원사용에 대한 한계를 일부 해소하여 자원을 효과적으로 이용할 수 있는 것을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.04a
• /
• pp.1045-1046
• /
• 2009

본 논문에서는 이산 이벤트 시뮬레이터인 SMPL을 이용하여 노변 네트워크에서의 데이터 처리에 따르는 데이터 캐쉬 성능분석기를 구현한다. 구현된 성능분석기는 SMPL의 요청 도착과 서비스 사건 처리를 기본 골격으로 하여 실제 차량의 궤적 데이터에 기반한 데이터 요청 생성부와 큐잉 정책과 캐쉬 정책을 선택할 수 있는 정책 처리부 등으로 구성된다. 이 분석기는 서비스율, 해당 정책, 캐쉬의 크기 등의 수행인자를 설정하여 이에 따르는 큐 길이의 분포, 캐쉬의 히트율, 요청 처리시간의 분포 등을 측정할 수 있도록 한다. 추정된 성능 요소를 기반으로 노변 네트워크에 기반한 차량 텔레매틱스 시스템에서 RSU(RoadSide Unit)의 배치, 성능 요구사항 분석, 새로운 큐잉 정책과 캐쉬 정책의 설계 등 다양한 응용이 가능하다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.232-237
• /
• 2022

본 논문에서는 미세 조정(fine-tuning) 및 비지도 학습 기법을 사용하여 경제 분야 텍스트인 금융 리포트에 대해 속성 기반 감성 분석(aspect-based sentiment analysis) 데이터셋을 반자동적으로 구축할 수 있는 방법론에 대한 연구를 수행하였다. 구축 시에는 속성기반 감성분석 주석 요소 중 극성, 속성 카테고리 정보를 부착하였으며, 미세조정과 비지도 학습 기법인 BERTopic을 통해 주석 요소를 자동적으로 부착하는 한편 이를 수동으로 검수하여 데이터셋의 완성도를 높이고자 하였다. 데이터셋에 대한 실험 결과, 극성 반자동 주석의 경우 기존에 구축된 데이터셋과 비슷한 수준의 성능을 보였다. 한편 정성적 분석을 통해 자동 구축을 동일하게 수행하였더라도 기술의 원리와 발달 정도에 따라 결과가 상이하게 달라짐을 관찰함으로써 경제 도메인의 ABSA 데이터셋 구축에 여전히 발전 여지가 있음을 확인할 수 있었다.

• Proceedings of the Korea Contents Association Conference
• /
• 2016.05a
• /
• pp.53-54
• /
• 2016

빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

• Journal of the Korean Data and Information Science Society
• /
• v.21 no.1
• /
• pp.121-128
• /
• 2010

K-means clustering is an iterative algorithm in which items are moved among sets of clusters until the desired set is reached. K-means clustering has been widely used in many applications, such as market research, pattern analysis or recognition, image processing, etc. It can identify dense and sparse regions among data attributes or object attributes. But k-means algorithm requires many hours to get k clusters that we want, because it is more primitive, explorative. In this paper we propose a new method of k-means clustering using a center of gravity for grid-based sample. It is more fast than any traditional clustering method and maintains its accuracy.

• Knowledge Management Research
• /
• v.25 no.2
• /
• pp.19-47
• /
• 2024

Organizational ability to analyze and utilize data plays an important role in knowledge management and decision-making. This study aims to investigate the potential application of large language models in corporate data analysis. Focusing on the field of human resources, the research examines the data analysis capabilities of these models. Using the widely studied IBM HR dataset, the study reproduces machine learning-based employee turnover prediction analyses from previous research through ChatGPT and compares its predictive performance. Unlike past research methods that required advanced programming skills, ChatGPT-based machine learning data analysis, conducted through the analyst's natural language requests, offers the advantages of being much easier and faster. Moreover, its prediction accuracy was found to be competitive compared to previous studies. This suggests that large language models could serve as effective and practical alternatives in the field of corporate data analysis, which has traditionally demanded advanced programming capabilities. Furthermore, this approach is expected to contribute to the popularization of data analysis and the spread of data-driven decision-making (DDDM). The prompts used during the data analysis process and the program code generated by ChatGPT are also included in the appendix for verification, providing a foundation for future data analysis research using large language models.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.375-378
• /
• 2020

본 연구는 토지 보상비의 추정 모델 개발을 위해서 건설 CALS (Continuous Acquisition & Life-cycle Support) 시스템의 내부데이터와 개별공시지가 및 표준지 공시지가 등의 외부데이터, 그리고 개발된 추정 모델의 고도화를 위한 개별공시가 데이터를 기반으로 생성된 데이터를 활용하였다. 이렇게 수집된 3가지 유형의 데이터를 분석하기 위해서 기존 선형 모델 또는 의사결정나무 (Tree) 기반의 모델상 과적합 오류를 제거할 경우 매우 유용한 알고리즘으로 Decision Tree 기반의 Xgboost 알고리즘을 데이터 분석 방법론으로 토지 보상비 추정 모델 개발에 활용하였다. Xgboost 알고리즘의 고도화를 위해 하이퍼파라미터 튜닝을 적용한 결과, 실제 보상비와 개발된 보상비 추정 모델의 MAPE(Mean Absolute Percentage Error) 범위는 19.5%로 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.211-214
• /
• 2007

최근 멀티미디어 데이터, 특히 UCC를 중심으로 동영상 데이터가 급증하고 있다. 그러나 현재 대부분의 검색 시스템은 키워드 기반의 동영상 데이터 검색만을 지원하고 있으며, 따라서 사용자가 원하는 동영상 데이터를 효율적으로 검색하지 못하는 실정이다. 동영상 데이터에 대한 효율적인 검색을 지원하기 위해서는, 동영상의 내용(이미지, 색, 모양 등)을 고차원의 특징 벡터 데이터로 표현하여 유사한 동영상을 검색하는 내용-기반 검색이 요구된다. 본 논문에서는 내용-기반 검색을 위해 제안된 기존의 고차원 벡터 데이터 색인 구조를 실험을 통하여 성능을 비교하며, 이를 통해 동영상 내용-기반 검색에 가장 효율적인 색인 기법을 제시한다. 아울러 보다 효율적인 내용-기반 검색을 위한, 근사 k-NN 질의 탐색 기법의 유용성을 검증한다.

• Journal of KIISE
• /
• v.45 no.3
• /
• pp.294-302
• /
• 2018

With the emergence of the new service industry due to the development of information and communication technology, cyber space risks such as personal information infringement and industrial confidentiality leakage have diversified, and the security problem has emerged as a critical issue. In this paper, we propose a behavior-based anomaly detection method that is suitable for real-time and large-volume data analysis technology. We show that the proposed detection method is superior to existing signature security countermeasures that are based on large-capacity user log data according to in-company personal information abuse and internal information leakage. As the proposed behavior-based anomaly detection method requires a technique for processing large amounts of data, a real-time search engine is used, called Elasticsearch, which is based on an inverted index. In addition, statistical based frequency analysis and preprocessing were performed for data analysis, and the DBSCAN algorithm, which is a density based clustering method, was applied to classify abnormal data with an example for easy analysis through visualization. Unlike the existing anomaly detection system, the proposed behavior-based anomaly detection technique is promising as it enables anomaly detection analysis without the need to set the threshold value separately, and was proposed from a statistical perspective.