• 한국콘텐츠학회논문지
• /
• 제17권11호
• /
• pp.600-608
• /
• 2017

최근 인터넷의 급격한 확장에 따른 정보의 양이 기하급수적으로 증가하고 있다. 그러나 실제 사용자에게 필요한 정보는 극히 일부분으로 사용자가 원하는 정보를 찾는데 까지는 부가적인 시간과 노력이 요구된다. 따라서 검색어로 검색된 문서에 대한 유사도 평가를 통한 계층적 유사 정보와 검색 우선순위에 대한 정보를 제공할 필요성이 있다. 이를 위해서 검색어를 구성하고 있는 키워드의 동시 발생 빈도를 고려한 검색 문서에 대한 유사도를 기반으로 문서 클러스터를 구성하고 SVM을 적용한 빅 데이터 기반 계층적 유형 분류 모델을 제안한다. 계층적 분류방법과 SVM 분류기의 결합은 문서의 계층이 기하급수적으로 늘어나는 웹 문서의 경우에 높은 성능을 얻을 수 있다. 제안된 모델은 정확하고 신속한 검색을 제공하는 정보검색시스템의 응용 모델로 활용될 수 있다.

• 한국지능시스템학회논문지
• /
• 제24권5호
• /
• pp.536-541
• /
• 2014

기상레이더를 통해 취득된 데이터에는 지형에코, 파랑에코, 이상에코, 그리고 청천에코등이 존재한다. 각 에코는 여러 종류의 비강수에코이고, 이 비강수에코를 제거하기 위해 각 에코들의 특성을 분석하였다. 기상레이더 데이터는 매우 방대한 양이기 때문에 전처리 절차를 통해 분석된다. 본 논문에서는 클러스터링 기반 방사형 기저함수 신경회로망(RBFNNs : Radial Basis Function Neural Networks)과 에코 판단 모듈을 이용하여 기상레이더 데이터에서 강수에코와 비강수에코들을 구별하기 위한 에코 패턴분류기를 설계하였다. HCM(Hard C-Mean) 클러스터링 기반 RBFNNs 와 FCM(Fuzzy C-Mean) 클러스터링 기반 RBFNNs를 이용하여 출력성능은 비교 및 분석된다.

• 한국정보전자통신기술학회논문지
• /
• 제14권4호
• /
• pp.300-306
• /
• 2021

IT기술의 발달로 인해 최근 IoT 장비에 적용되는 하드웨어 기술이 저비용, 고성능 RF 및 연산장치를 사용한 스마트 시스템들로 변화되고 있다. 그러나 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 빅데이터 수집은 전송되는 데이터간 병목현상으로 인해 수집 서버의 부하가 발생한다. 이로인해 데이터수집 서버로 전송되는 데이터는 패킷 손실 및 데이터 처리율 감소 현상이 발생한다. 따라서 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법이 필요하다. 이에 본 논문에서는 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법을 제안한다. 성능평가 결과, 제안하는 기법의 패킷 손실 및 데이터 처리율은 전송되는 파일의 손실없이 전송이 완료된다. 향후 본 설계를 기반으로 시스템이 구현이 필요하다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권10호
• /
• pp.487-492
• /
• 2017

클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

• International Journal of Advanced Culture Technology
• /
• 제10권1호
• /
• pp.204-210
• /
• 2022

From the 1970s to the present, the number of new infectious diseases such as SARS, Ebola virus, and MERS has steadily increased. The new infectious disease, COVID-19, which began in Wuhan, Hubei Province, China, has pushed the world into a pandemic era. As a result, Countries imposed restrictions on entry to foreign countries due to concerns over the spread of COVID-19, which led to a decrease in the movement of tourists. Due to the restriction of travel, keywords such as "Corona blue" have soared and depression has increased. Therefore, this study aims to analyze the stress meaning network of the COVID-19 era to derive keywords and come up with a plan for a travel-related platform of the Post-COVID 19 era. This study conducted analysis of travel and stress caused by COVID-19 using TEXTOM, a big data analysis tool, and conducted semantic network analysis using UCINET6. We also conducted a CONCOR analysis to classify keywords for clustering of words with similarities. However, since we have collected travel and stress-oriented data from the start to the present, we need to increase the number of analysis data and analyze more data in the future.

• 한국정보통신학회논문지
• /
• 제21권11호
• /
• pp.2043-2051
• /
• 2017

최근 빅데이터 분야의 높아진 관심과 더불어 빅데이터의 처리를 통한 응용 분야에 대한 관심도 높아지고 있다. 개인의 감성을 파악할 수 있는 오피니언마이닝은 사용자 개인 맞춤 서비스 제공 분야에서 많이 이용되고 있는 빅데이터 처리 기법이다. 이를 바탕으로 본 논문에서는 사용자들의 장소에 대한 텍스트 형태의 리뷰를 오피니언마이닝 기법으로 처리하고 k-means 클러스터링 작업을 통해 사용자의 감성을 분석하였다. 클러스터링 작업으로 분류된 비슷한 범주의 감성을 가진 사용자들끼리 동일한 수치 값을 부여한다. 부여된 수치 값으로 협업 필터링 추천 시스템을 이용해 선호도를 예측하고 예측 값이 높은 장소 순으로 지도위에 마커와 함께 내용을 표시하여 사용자에게 추천내용을 보여줄 수 있는 방안을 제안하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권1호
• /
• pp.85-91
• /
• 2018

대부분의 은행은 고객 세분화를 위해 성별, 나이, 직업, 주소 등 인구통계정보만을 사용하고 있으나, 이는 고객의 다양한 금융행동 패턴을 반영하지 못하는 단점이 있다. 본 연구에서는 은행 내 다양한 빅데이터를 융합하여 문제점을 해결함과 동시에 향후 많은 은행에서 폭넓게 활용될 수 있는 고객 세분화 방법을 개발하는 것을 목표로 한다. 본 연구에서 제안한 블록을 만들어 이 블록을 클러스터링하는 상향식 방식의 세분화는 기법을 제안한다. 이 방식은 기존의 인구통계정보 뿐만 아니라 다양한 거래패턴, 채널접촉패턴에 기반을 둔 고객의 다양한 금융니즈를 정교하게 반영할 수 있다는 장점이 있다. 세분화를 통해 고객의 금융니즈를 보다 정교하게 반영한 적정 동료그룹을 찾아 이를 기반으로 상품추천, 금융니즈 등급 산출, 고객이탈 예측 등 다양한 마케팅 모델을 개발하여 실제 농협은행 마케팅에 활용할 것이다.

• 디지털콘텐츠학회 논문지
• /
• 제19권1호
• /
• pp.27-33
• /
• 2018

본 연구에서는 마케팅 분야 중 스포츠 경기장을 찾는 관람객의 빅 데이터를 분석하여 소비자에게 맞춤형 마케팅 서비스를 제공하는 연구를 진행한다. 이를 위해 본 연구에서는 K-평균 군집화 방법을 사용하여 유사 관람객 그룹을 도출하고자 하며, K-근접 이웃 방법을 사용하여 새로운 방문객의 관심 매장을 예측하고자 한다. 실험 결과를 통해 상기 두 가지 알고리즘을 사용하는 것은 유사 관람객 그룹을 도출하며 신규 관람객 입장 시 신규 관람객의 특성에 맞는 적합한 마케팅 서비스를 제공 할 수 있게 하였다.

• Genomics & Informatics
• /
• 제19권4호
• /
• pp.49.1-49.11
• /
• 2021

Nowadays, Genomic data constitutes one of the fastest growing datasets in the world. As of 2025, it is supposed to become the fourth largest source of Big Data, and thus mandating adequate high-performance computing (HPC) platform for processing. With the latest unprecedented and unpredictable mutations in severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the research community is in crucial need for ICT tools to process SARS-CoV-2 RNA data, e.g., by classifying it (i.e., clustering) and thus assisting in tracking virus mutations and predict future ones. In this paper, we are presenting an HPC-based SARS-CoV-2 RNAs clustering tool. We are adopting a data science approach, from data collection, through analysis, to visualization. In the analysis step, we present how our clustering approach leverages on HPC and the longest common subsequence (LCS) algorithm. The approach uses the Hadoop MapReduce programming paradigm and adapts the LCS algorithm in order to efficiently compute the length of the LCS for each pair of SARS-CoV-2 RNA sequences. The latter are extracted from the U.S. National Center for Biotechnology Information (NCBI) Virus repository. The computed LCS lengths are used to measure the dissimilarities between RNA sequences in order to work out existing clusters. In addition to that, we present a comparative study of the LCS algorithm performance based on variable workloads and different numbers of Hadoop worker nodes.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 춘계학술대회
• /
• pp.376-377
• /
• 2016

빅데이터 분석을 위한 분산 데이터 처리 기술인 하둡 프레임워크의 성능은 데이터를 저장하고 맵리듀스를 수행하는 분산 노드 각각의 성능 및 네트워크의 성능 등의 요소에 영향을 받는다. 본 논문에서는 기존 하둡에서의 분산 노드 관리 기법을 분석하고, 중소병원의 전산 시스템 환경을 고려하여 중소규모의 병원에서 하둡을 도입하기 위해 필요한 분산 노드 관리 기법을 제시한다.