• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
• /
• pp.74-76
• /
• 2000

공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터에 대한 처리 비용 및 전용 비용으로 인한 서버 사이드의 병목 현상 및 질의 처리 속도의 저하라는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 미들웨어인 C-C Connector의 Method 및 프로토콜을 제안한다. 제안하는 C-C(Client To Client) Connector는 질의의 분석과 CIT(Client Information)의 검색을 통하여 인접한 클라이언트들의 캐쉬 데이터를 이용한 질의 처리의 가능 여부를 판단하며 인접 클라이언트와 요구 클라이언트 사이의 Connection을 형성함으로서 클라이언트-클라이언트의 질의 처리 및 데이터 전송 기능을 지원한다. 그리고 이러한 기능의 지원을 위한 서버, C-C Connector, 클라이언트 사이에서 수행되어지는 질의 처리의 프로토콜을 정의한다. 제안된 C-C Connector의 Method 및 프로토콜은 서버 사이드의 처리 비용을 현재 서버에 접속중인 클라이언트들에게 분배함으로서 서버 사이드의 병목현상과 질의 처리 시간의 지연이라는 문제점을 개선할 수 있으며 클라이언트 사이드에서의 반응 속도의 향상과 현재 연결된 시스템의 처리 성능을 최대한 활용할 수 있다는 장점을 갖는다.

• 디지털융복합연구
• /
• 제14권4호
• /
• pp.251-258
• /
• 2016

빅 데이터 처리는 데이터의 크기나 복잡도가 커서 기존의 전통적인 데이터 처리 기법으로는 다루기 힘든 데이터의 처리를 의미한다. 싱글보드 컴퓨터를 포함하는 스마트 기기의 보급은 데이터를 처리하는 방법에 많은 영향을 미치고 있으며 이 들을 활용하여 데이터를 처리하는 기법에 대한 연구가 진행되고 있다. 본 연구에서는 빅 데이터 처리에 필요한 분산처리 시스템을 데스크톱 기기 환경이 아니라 라즈베리파이를 활용하여 하둡 분산처리 환경을 구축하는 방안을 제시한다. 또한 제안하는 시스템의 다양한 테스트를 통한 성능 분석과 스케일링의 용이성을 통해 구축한 학습 환경 구성의 효율성을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.316-318
• /
• 2001

본 논문에서는 자기조직화 형상지도(Self-organizing Feature Maps)를 사용하여 움직이는 물체에 대해 움직임의 특성을 자동으로 분석하였다. Kohonen Network는 자기조직을 형성하는 unsupervised learning 알고리즘으로서, 이 논문에서는 생태계에서의 데이터를 Patternizing하고, Clustering 하는데 사용한다. 본 논문에서 Kohonen 신경망의 학습에 사용한 데이터는 CCD 카메라로 물고기의 움직임을 추적한 좌표 데이터이며, diazinon 0.1 ppm을 처리한 물고기 점 데이터와 처리하지 않은 점 데이터를 각각 낮.밤 약 10시간동안 수집하여, \circled1처리전 낮 데이터 \circled2처리전 밤 데이터 \circled3처리전 낮 데이터 \circled4처리후 밤 데이터 각각 4개의 group으로 분류한 후, Kohonen Network을 사용하여 물고기의 행동 차이를 분석하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.341-342
• /
• 2014

지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.932-933
• /
• 2015

최근 데이터의 양이 급격하게 증가하면서 빅데이터의 시대가 도래했다. 빅데이터는 형식이 없는 비정형 데이터이므로 기존의 정형 데이터 처리 방법으로는 분석 및 데이터 처리가 불가능해졌다. 또한, 범죄예방에 대한 관심이 증가하면서, 범죄 데이터 분석의 수요가 증가하고 있다. 본 연구에서는 비정형 범죄 데이터를 분석, 예측 등의 전산처리를 하기 위한 정규화 메트릭을 설정하는 방안을 제안하고자 한다.

• 한국콘텐츠학회논문지
• /
• 제16권2호
• /
• pp.163-173
• /
• 2016

최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권4호
• /
• pp.145-152
• /
• 2019

단일 센서기기로부터 수집된 데이터와는 다르게 대용량의 데이터는 입력데이터의 구성 및 크기가 가변적이고, 처리 완료시점을 예측할 수 없는 특징을 갖고 있다. 상황인지 시스템이 이러한 환경의 요구사항을 적용하게 되면 컨텍스트 표현방법과 처리모듈들이 개별로 구성되어 해당 입력자료에 대한 호출 및 처리루틴이 복잡하게 구현될 수 있는 문제점이 있다. 이러한 문제점을 해결하기 위해서 본 논문에서 제안하는 처리방법은 온톨로지 기반의 지식표현을 통해 컨텍스트를 표현하고, 대용량의 데이터 처리결과를 반환하는 모듈의 중복 실행을 방지하여 컨텍스트 정보를 제공하기 위한 동작순서를 함께 기술한다. 실험에서는 헬스케어 환경에서 발생하는 센싱데이터 중 대용량의 데이터 처리결과를 필요로 하는 서비스에 대해 기술하고, 기존의 센싱데이터를 바탕으로 서비스를 제공하는 처리과정과 함께 대용량의 데이터 처리결과를 컨텍스트 정보로 제공하는 과정을 보인다.

• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.73-83
• /
• 2019

4차 산업혁명의 기술 등장 이후 대규모 데이터 시대에서 새로운 가치 창출을 위한 데이터 정보 분석은 다양한 분야에서 시도되고 있다. 대용량 데이터를 빠르게 처리하는데 있어서 분산 데이터 처리는 이미 필수적이다. 하지만 아직 국방 분야에서 운용하고 있는 시뮬레이션들은 쌓여 있는 비정형 데이터를 활용할 수 있는 시스템이 미비하다. 이에 본 연구에서는 훈련간 발생하는 문제에 대응하기 위한 지휘결심에 가시화된 데이터를 제공하기 위해서 대대급 규모의 시뮬레이션 모델에 적용 가능한 분산 처리 플랫폼을 제안한다. 전략게임 데이터 50만개를 분석하는 과정으로, 데이터가 가지고 있는 여러 요인들 중 승리요인에 영향을 미치는 요소들을 분석할 수 있게 구현하였다. 결과적으로 상위 10%에 있는 팀들의 데이터를 분석하는 과정에서의 분산처리 사용한 결과를 측정 및 비교 하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(D)
• /
• pp.337-342
• /
• 2010

센서 네트워크에서 발생하는 데이터를 저장하고, 효율적으로 질의를 처리하는 기법에 대한 많은 연구가 이루어지고 있다. 대표적인 연구로 데이터 중심 저장 기법이 있다. 데이터 중심 저장 기법의 경우 질의를 효과적으로 처리하기 위해 수집한 데이터 값에 따라 저장 될 센서 노드를 지정하고, 질의 처리를 위해 질의에 해당하는 데이터를 저장하는 노드에서만 데이터를 수집한다. 하지만 노드의 결함이 발생하면 결함 노드에 저장 되어 있는 전체 데이터가 소실 됨에 따라 질의 결과 정확도가 저하 되는 문제점이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 데이터 중심 저장 기법에서 노드 결함에 따른 데이터 소실이 발생하여도 높은 정확도를 보이는 인-네트워크 질의 처리 기법을 제안한다. 데이터 소실이 발생 하였을 경우 선형 회귀 분석 기법을 이용하여 소실 된 영역에 해당하는 보정 모델을 생성하고, 이를 통해 가상의 데이터를 포함한 질의 결과를 반환한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존의 데이터 중심 저장 기법과 성능을 비교하였으며, 그 결과 평균 98% 이상의 질의 결과 정확도를 보였고, 질의 처리 시 기존 기법에 비교하여 약 80% 이상의 에너지 소모를 감소 시켰다.

• 정보처리학회논문지D
• /
• 제11D권7호
• /
• pp.1375-1384
• /
• 2004

스트림 데이터 처리는 여러 응용 분야에서 많은 관심을 가지고 활발한 연구가 수행되고 있다. 특히 모니터링, 센서 네트워크 등의 응용 분야에서 끊임없이 생성되는 대량의 스트림 데이터에 대한 효율적인 처리 요구가 높아지고 있다. 본 논문에서는 스트림 데이터에 대한 연속 질의처리 시스템 모델을 개발하고 성능을 평가한다. 스트림 데이터 모델로 웹상의 데이터 교환 표준으로 자리잡은 XML을 사용하였고 연속 질의는 XQuery에 시구간을 추가한 형태로 표현하였다. 제시된 시스템에서는 질의 처리의 성능 향상을 기하기 위해 질의 결과 값을 백그라운드 처리를 통해 생성하고 결과 값을 실체화하여 후속 질의의 결과 계산에 이용하는 기법을 제공한다. 성능 평가 실험을 통해서 XML 스트림 데이터 처리를 위한 제시한 시스템의 타당성을 보였다.