• 한국빅데이터학회지
• /
• 제2권2호
• /
• pp.87-93
• /
• 2017

데이터 품질에 대한 연구는 오랜 기간 동안 수행되어 왔다. 하지만 이러한 데이터 품질관리 연구는 구조적 데이터를 대상으로 하였다. 최근에 디지털혁명 또는 4차산업혁명이 일어나면서 빅데이터에 대한 품질관리가 중요해 지고 있다. 본 논문에서는 기존 논문을 분석하여 빅데이터 품질 유형을 분류하고 비교 분석하였다. 요약하면, 빅데이터 품질 유형은 빅데이터 값, 빅데이터 구조, 빅데이터 품질 프로세스, 빅데이터 가치사슬 단계, 빅데이터 모형 성숙도 등으로 분류할 수 있다. 이러한 비교 연구를 바탕으로 본 논문에서는 새로운 기준을 제시하고자 한다.

• 정보처리학회논문지D
• /
• 제9D권2호
• /
• pp.251-258
• /
• 2002

대용량의 데이터들로부터 사용자가 인하는 데이터를 찾기 위하여 많은 데이터 마이닝 기술들이 연구되어 실제 응용프로그램에서 많이 적용되고 있다. 이러한 데이터 마이닝 기술들은 시계열 데이터를 이용하는 경우보다 트랜잭션 데이터를 이용하여 유용한 정보를 찾는 경우에 초점이 맞춰져 있다. 본 논문에서는 시계열 데이터를 트랜잭션 데이터로 변환하는 접근방법을 소개한다. 가상 트랜잭션은 서로 상대적으로 근접한 시간에 발생하는 이벤트의 집합이라고 정의하며, 가상 트랜잭션 생성기는 가상 트랜잭션을 생성시 시간윈도우와 이벤트 윈도우 방법을 사용한다. 본 논문의 접근 방법을 사용하여 기존의 트랜잭션 데이터를 이용하는 많은 데이터 마이닝 알고리즘들을 수정 없이 시계열 데이터에 적용하여 유용한 정보를 찾을 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
• /
• pp.96-98
• /
• 2000

본 논문에서는 상거래 환경에서 구매자와 비구매자들에 대한 데이터를 학습한 후, 잠재고객들 중에서 구매 확률이 높은 사람을 예측하는 문제에 효율적으로 접근하기 위해 능동적인 데이터 선택 기법을 이용한다. 실험 데이터는 ColL Challenge 2000에서 얻은 데이터로서, 구매자들의 정보보다 비구매자들의 정보가 더 많기 때문에 상당히 균형이 맞지 않는다. 따라서 모든 데이터를 한꺼번에 학습하는 경우에 성능이 좋지 않다. 본 논문에서는 이러한 불균형 분포를 갖는 실제적인 문제에 있어서 성능이 좋지 않다. 본 논문에서는 이러한 불균형 분포를 갖는 실제적인 문제에 있어서 RBF 기반의 신경망을 가지고 능동 학습을 함으로써 기존의 뱃치학습 보다 예측의 정확도를 향상시킬 수 있음을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.316-318
• /
• 2001

본 논문에서는 자기조직화 형상지도(Self-organizing Feature Maps)를 사용하여 움직이는 물체에 대해 움직임의 특성을 자동으로 분석하였다. Kohonen Network는 자기조직을 형성하는 unsupervised learning 알고리즘으로서, 이 논문에서는 생태계에서의 데이터를 Patternizing하고, Clustering 하는데 사용한다. 본 논문에서 Kohonen 신경망의 학습에 사용한 데이터는 CCD 카메라로 물고기의 움직임을 추적한 좌표 데이터이며, diazinon 0.1 ppm을 처리한 물고기 점 데이터와 처리하지 않은 점 데이터를 각각 낮.밤 약 10시간동안 수집하여, \circled1처리전 낮 데이터 \circled2처리전 밤 데이터 \circled3처리전 낮 데이터 \circled4처리후 밤 데이터 각각 4개의 group으로 분류한 후, Kohonen Network을 사용하여 물고기의 행동 차이를 분석하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
• /
• pp.208-210
• /
• 2004

최근 인터넷, 인트라넷과 같은 통신 기술 발전에 따라 거의 모든 시스템이 서로 연결되었고, 사용자들은 손쉽게 정보를 공유할 수 있게 되었다. 따라서 시스템 침입을 통한 데이터의 변형과 인증 받지 않은 접근과 같은 컴퓨터 범죄가 급속도로 증가하고 있다. 그러므로 이러한 컴퓨터 범죄를 막기 위한 침입 탐지 기술 개발은 매우 중요하다. 전통적인 침입 탐지 모델은 단지 네트워크 패킷 데이터만을 사용하고 있으며. 침입탐지 시스템의 성능을 높이기 위해 서로 다른 분류 알고리즘을 결합하는 방법을 사용해왔다. 그러나 이러한 모델은 일반적으로 성능향상에 있어서 제한적이다. 본 논문에서는 침입탐지 시스템의 성능을 개선하기 위해 네트워크 데이터와 시스템 콜 데이터를 융합하는 방법을 제안하였으며. 데이터 융합 모델로서 Multi-Layer Perceptron (MLP)를 사용하였다. 그리고 DARPA 에서 생성한 네트워크 데이터와 본 논문에서 가상으로 생성한 시스템 콜 데이터를 함께 결합하여 모델을 생성 한 뒤 실험을 수행하였다. 본 논문에서의 실험결과로. 단순히 네트워크 데이터만을 사용한 모델에 비해 시스템 콜 데이터를 함께 결합한 모델이 훨씬 더 놓은 인식률을 보인다는 것을 확인할 수 있다

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.343-344
• /
• 2023

과학기술 문헌을 활용한 계량정보분석에서 학과정보의 활용은 매유 유용하다. 본 논문에서는 한국과학기술인용색인데이터베이스에 등재된 국내 학술지 논문에 출현하는 대학기관 소속 저자의 학과정보를 추출하고 데이터 정제 및 학과유형 분류 처리를 통해 학과정보 데이터셋을 구축하였다. 학과정보 데이터셋을 학습데이터와 검증데이터로 이용하여 딥러닝 기반의 자동분류 모델을 구현하였으며, 모델 성능 평가 결과는 한글 학과정보 기준 98.6%와 영문 학과정보 기준 97.6%의 정확률로 측정되었다. 향후 과학기술 분야별 지적관계 분석 및 논문 주제분류 등에 학과정보 자동분류 처리기의 활용이 기대된다.

• 한국정보전자통신기술학회논문지
• /
• 제6권4호
• /
• pp.195-200
• /
• 2013

본 논문에서는 기업 이미지에 타격을 줄 수 있는 부정적인 SNS와 Web 데이터를 빠르게 분석하여 기업 마케팅 전략에 활용할 수 있는 SNS 및 Web 데이터 분석 시스템을 제안한다. 본 논문에서 제안하는 시스템은 SNS 및 Web Data를 수집하는 데이터 수집 모듈(Data Collection Module), 수집된 데이터를 저장하는 HBase 모듈(Hbase Module), 수집된 데이터의 의미 분석을 수행한 후 데이터의 의미를 평가 및 분류하는 데이터 분석 모듈(Data Analysis Module) 그리고 관리자에 의해 요청된 질의어에 따라 기업과 관련된 SNS와 Web데이터를 이용하여 최적화된 Map Reduce 과정을 수행하는 PSH 모듈(Priority Scheduling Hadoop Module)로 구성된다. 본 논문은 이런 모듈들을 통하여 SNS와 Web 데이터를 보다 효율적으로 관리하여 이 분석 결과를 기업 마케팅 전략에 활용할 수 있다.

• 한국컴퓨터산업학회논문지
• /
• 제5권1호
• /
• pp.19-28
• /
• 2004

기업의 비즈니스 프로세스를 관리하는 워크플로우 시스템에서 대용량의 비즈니스 업무를 처리하기 위한 워크플로우 시스템을 구성하고자 할 때 중요한 문제 중의 하나는 대량의 데이터 관리의 문제이다. 본 논문에서는 워크플로우 시스템에서 사용되는 데이터 종류들의 특성을 파악 및 분석하여 워크플로우 데이터 중 모델 데이터에 초점을 맞춘다. 논문의 연구를 통하여 워크플로우의 모델 데이터는 변경이 없고 워크플로우 시스템에 자주 참조되는 특성을 고려하여 모델 데이터 관리는 워크플로우 시스템에 높은 성능을 제공할 것으로 예측되어서 본 논문에서는 워크플로우 시스템을 위한 모델 데이터 관리를 위한 시스템을 설계 및 개발한다. 모델 데이터 관리 시스템은 버전 관리, 모델 데이터의 일관성, 동적 변경 등의 중요한 요소를 고려하여 설계 및 개발된다.

• 한국공간정보시스템학회 논문지
• /
• 제10권4호
• /
• pp.59-66
• /
• 2008

GeoSensor 네트워크란 지리공간상에서 발생하는 다양한 현상들을 모니터링하는 특정형태의 센서네트워크 인프라 및 관련 소프트웨어를 의미한다. 그리고 이러한 GeoSensor 네트워크는 데이터스트림과 공간 속성의 데이터를 가진 스트림, 또는 공간 릴레이션과의 조합으로 구현될 수 있다. 하지만, 최근까지 연구된 센서 네트워크 시스템은 공간 정보를 배제한 센서 데이터스트림에 대한 저장 및 검색 방안 연구에 치중되어 있다. 따라서 본 논문은 GeoSensor 네트워크에서 데이터스트림과 공간 데이터가 결합된 형태의 공간 데이터스트림의 정의 및 그들 간의 조인 전략들을 제안한다. 본 논문에서 정의하고 있는 공간 데이터스 트림에는 이동 객체 형태의 동적 공간 데이터스트림과 고정된 형태의 정적 공간 데이터스트림이 있다. 동적공간 데이터스트림은 GPS와 같이 동적으로 이동하는 센서에 의해 전송되는 데이터스트림을 말한다. 반면, 정적 공간 데이터스트림은 일반 센서 형태의 데이터스트림과 이러한 센서들의 위치 값을 가지고 있는 릴레이션과의 조인으로 만들어 진다. 본 논문은 동적 공간 데이터스트림과 정적 공간 데이터스트림의 조인 및 조인 비용을 추정하는 모델을 제안하고 있다. 또한, 실험을 통해 제안하는 비용 모델의 검증 및 조인 전략에 따른 조인 성능을 보이고 있다.

• 문화기술의 융합
• /
• 제10권1호
• /
• pp.443-451
• /
• 2024

본 연구는 데이터 스칼라십을 이해하기 위하여 데이터 논문으로 색인되는 저널의 지적 구조를 분석 및 시각화하고 데이터 리포지토리의 운영을 비교하였다. 동료 평가(peer review) 유형을 살펴보고, 공동 출현 분석(co-occurence analysis) 및 네트워크 분석(network analysis)을 실시하였다. WoS에 데이터 논문으로 색인되는 상위 10위 저널은 전통적인 유형과 데이터 논문 유형을 혼재해서 발간하고 있었다. DCI에 색인되는 데이터 리포지토리는 대부분 북미 및 유럽 국가에서 운영하고 있다. 국내의 데이터 리포지토리는 대부분 연구원에서 운영하고 있다. 본 연구의 결과는 데이터 저널, 데이터 리포지토리 등 데이터 스칼라십의 관행을 이해하는 데 도움이 되기를 바란다.