• 정보와 통신
• /
• 제29권11호
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

• 한국융합학회논문지
• /
• 제9권10호
• /
• pp.13-19
• /
• 2018

맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

• 문화기술의 융합
• /
• 제7권3호
• /
• pp.475-480
• /
• 2021

모바일 컴퓨팅과 클라우드 컴퓨팅 기술 그리고 소셜 네트워크 서비스의 급속한 발전과 더불어, 우리들은 시시각각 양산되고 있는 데이터의 홍수 속에서 살고 있으며, 이러한 대규모의 데이터는 매우 가치가 높은 중요한 정보를 품고 있다는 사실을 알게 되었다. 하지만 빅데이터는 잠재적인 유용한 가치와 치명적인 위험을 모두 가지고 있으며 오늘날 이러한 빅데이터로부터 유용한 정보를 효율적으로 추출해 내고 잠재된 정보를 효과적으로 활용하기 위한 연구와 응용이 활발하게 이루어지고 있는 상황이다. 여기서 빅데이터 컴퓨팅 과정 중 무엇보다도 중요한 것은 대용량 데이터로부터 유용하고 귀중한 정보를 효율적으로 추출해 낼 수 있는 적절한 데이터 분석기법을 찾아 적용하는 것이다. 본 연구에서는 이러한 빅데이터 컴퓨팅을 효율적으로 수행하여 원하는 유용한 정보를 추출할 수 있는 기존의 다양한 빅데이터 분석기법들을 조사하여, 그 특징과 장·단점 등을 비교 분석하고, 특별한 상황에서 빅데이터 분석기법을 이용하여 유용한 정보를 효율적으로 추출해 내고, 이들 잠재된 정보를 효과적으로 활용할 수 있도록 하는 방안을 제시하고자 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 춘계학술대회
• /
• pp.361-363
• /
• 2017

최근 소셜 미디어의 이용률이 폭발적으로 증가함에 따라, 방대한 데이터가 네트워크로 쏟아져 나오고 있다. 이들 데이터는 기존의 정형 데이터뿐만 아니라 이미지, 동영상 등의 비정형 데이터가 있으며, 이들을 포괄하여 빅데이터라고 불린다. 이러한 빅데이터는 오피니언 마이닝, 테스트 마이닝 등의 기술적인 분석 기법과 빅데이터 요약 및 효과적인 표현방법에 대한 시각화 기법에 대하여 활발한 연구가 이루어지고 있다. 이 논문은 인기 있는 사회연결망 서비스인 Twitter의 트윗을 수집하고, 빅데이터 분석 기법인 텍스트 마이닝을 활용하여 2017년 대선에 대하여 분석하였다. 또한 분석된 자료의 효과적인 전달을 위해 워드 클라우드 진행하였다. 이 논문을 위하여 인기 있는 SNS인 Twitter의 최근 7일간 트윗(tweet)을 수집하고 분석하였다.

• 한국정보전자통신기술학회논문지
• /
• 제12권2호
• /
• pp.127-134
• /
• 2019

IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2018년도 춘계학술대회
• /
• pp.144-146
• /
• 2018

준해상사고를 줄이기 위하여 준해양사고 등을 분석하여 사고 예방에 활용하였다. 하지만 준해양사고 건수가 많은 대신 주내용이 정성적이기 때문에 다양한 정량적 데이터로 분석하기에는 현실적 어려움이 있었다. 이러 장단점을 고려하여 준해양사고에 대해서 그동안 단순한 내용 검토 방식에서 통계적 분석과 이를 통한 객관적 결과 토출이 가능한 빅데이터 기법를 적용한 연구가 필요하다. 이를 위해 10,000여건의 준해양사고 보고서를 전처리 작업을 통해 통일된 양식으로 정리하였다. 이 데이터를 기반으로 1차로 텍스트마이닝 분석을 통해 정박 중 준해양사고 발생 원인에 대한 주요 키워드를 도출하였다. 주요 키워드에 대해 2차로 시계열 및 클러스터 분석을 통해 발생할 수 있는 준해양 사고 상황에 대한 경향 예측을 도출하였다. 이번 연구에서는 정성적 자료인 준해양사고 보고서를 빅데이터 기법을 활용하여 정량화된 데이터로 전환할 수 있고 이를 통해 통계적 분석이 가능함을 확인하였다. 또한 빅데이터 기법을 통해 차 후 발생할 수 있는 준해양사고 객관적인 경향을 파악함으로써 예방 대책에 대한 정보 제공이 가능함을 확인할 수 있었다.

• Journal of the Korean Data and Information Science Society
• /
• 제28권6호
• /
• pp.1301-1311
• /
• 2017

제조 빅데이터 시스템은 제조 전 공정에서 관련된 4M 데이터의 수집, 저장, 관리, 예측적 분석을 통해 선제적 제조 활동 개선이 가능한 의사결정을 지원하고 있다. 이러한 시스템에서 데이터의 효율적인 관리와 운영을 위해 데이터를 효과적으로 시각화하는 것이 무엇보다도 중요하다. 본 논문에서는 제조 빅데이터 시스템에서 데이터 수집, 분석 및 예측 결과를 효과적으로 보여 주기 위해 사용가능한 시각화 기법을 제시한다. 본 논문에서 제시된 시각화 기법을 통해 제조 현장에서 발생하는 문제를 보다 손쉽게 파악할 수 있었을 뿐만 아니라 이들 문제를 효과적으로 대응할 수 있어 매우 유용하게 사용될 수 있음을 확인하였다.

• 통합자연과학논문집
• /
• 제14권1호
• /
• pp.27-34
• /
• 2021

전 세계적으로 인공지능(AI)을 구현하려는 움직임이 많아지고 있다. AI구현에서는 많은 양의 데이터, 목적에 맞는 데이터의 분류 등 데이터의 중요성을 뺄 수 없다. 이러한 데이터를 생성하고 가공하는 기술에는 사물인터넷(IOT)과 빅데이터(Big-data) 분석이 있으며 4차 산업을 이끌어 가는 원동력이라 할 수 있다. 또한 이러한 기술은 국가와 개인 차원에서 많이 활용되고 있으며, 특히나 특정분야에 집결되는 데이터를 기준으로 빅데이터 분석에 활용함으로써 새로운 모델을 발견하고, 그 모델로 새로운 값을 추론하고 예측함으로써 미래비전을 제시하려는 시도가 많아지고 있는 추세이다. 데이터 분석을 통한 결론은 데이터가 가지고 있는 정보의 정확성에 따라 많은 변화를 가져올 수 있으며, 그 변화에 따라 잘못된 결과를 발생시킬 수도 있다. 이렇듯 데이터의 분석은 데이터가 가지는 정보 또는 분석 목적에 맞는 데이터 분류가 매우 중요하다는 것을 알 수 있다. 또한 빅데이터 분석결과 통계량의 신뢰성과 정교함을 얻기 위해서는 각 변수의 의미와 변수들 간의 상관관계, 다중공선성 등을 고려하여 분석해야 한다. 즉, 빅데이터 분석에 앞서 분석목적에 맞도록 데이터의 분류가 잘 이루어지도록 해야 한다. 이에 본 고찰에서는 AI기술을 구현하는 머신러닝(machine learning, ML) 기법에 속하는 분류분석(classification analysis, CA) 중 의사결정트리(decision tree, DT)기법, 랜덤포레스트(random forest, RF)기법, 선형분류분석(linear discriminant analysis, LDA), 이차선형분류분석(quadratic discriminant analysis, QDA)을 이용하여 데이터를 분류한 후 데이터의 분류정도를 평가함으로써 데이터의 분류 분석률 향상을 위한 방안을 모색하려 한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.267-268
• /
• 2022

최근, 빅데이터 분석은 기계학습의 발전에 따른 다양한 기법들을 이용할 수 있다. 현실에서 수집된 빅데이터는 단어 간의 관계성에 대한 의미적 분석을 바탕으로 같거나 유사한 용어에 대한 자동화된 정제기법이 부족하다. 빅데이터는 보통 문장의 형태로 구성되어 있고, 이에 대한 형태소 분석이나 문장의 이해가 필요하다. 이에 자연어를 분석하기 위한 기법인 NLP는 단어의 관계성과 문장을 이해할 수 있다. 본 논문에서는 빅데이터를 시계열 접근법인 RNN의 단점을 보완한 기법인 트랜스포머와 리포머의 장단점에 대해 연구한다.

• 디지털융복합연구
• /
• 제19권3호
• /
• pp.211-216
• /
• 2021

분산 클라우드 환경에서는 다양한 이기종 장치의 정보들이 꾸준하게 증가하고 있다. 이 같은 이유는 고속의 네트워크의 속도와 대용량의 멀티미디어 데이터가 사용되고 있기 때문이다. 그러나, 이기종의 장치에서 송·수신되는 빅데이터의 정보 오류를 최소화하기 위한 방법은 여전히 연구가 진행되고 있다. 본 논문에서는 클라우드 환경에서 송·수신되는 정보들에 의해 발생되는 네트워크의 대역폭과 데이터 오류 최소화를 위한 딥러닝 기반의 비대칭적 저장 관리기법을 제안한다. 제안 기법은 각각의 디바이스에서 생성되는 빅 데이터정보를 비대칭적으로 해시 처리한 후 로드 밸런스를 최적화하기 위해서 딥러닝 기술을 적용하고 있다. 제안 기법은 각 디바이스에서 수집된 빅 데이터의 오류를 허용하는 동시에 빅 데이터의 연계 정보를 n개의 클러스터 그룹으로 그룹핑함으로써 빅 데이터의 연결성을 확보한 것이 특징이다. 특히, 제안 기법은 빅 데이터간의 유사 값을 시드로 추출한 손실 함수를 사용하였기 때문에 비대칭적으로 빅 데이터를 저장 관리 할때의 정보 오류를 최소화하였다.