• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권10호
• /
• pp.477-482
• /
• 2016

기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.

• 한국의류산업학회지
• /
• 제24권5호
• /
• pp.593-604
• /
• 2022

The purpose of this study is to analyze the flow of change in perception of metaverse before and after COVID-19 through big data analysis. This research method used Textom to collect all data, including metaverse for two years before COVID-19 (2018.1.1~2019.11.30) and after COVID-19 outbreak (2020.1.11~2021.12.31), and the collection channels were selected by Naver and Google. The collected data were text mining, and word frequency, TF-IDF, word cloud, network analysis, and emotional analysis were conducted. As a result of the analysis, first, hotels, weddings, and glades were commonly extracted as social issues related to metaverse before and after COVID-19, and keywords such as robots and launches were derived, so the frequency of keywords related to hotels and weddings was high. Second, the association of the pre-COVID-19 metaverse keywords was platform-oriented, content-oriented, economic-oriented, and online promotion-oriented, and post-COVID-19 clusters were event-oriented, ontact sales-oriented, stock-oriented, and new businesses. Third, positive keywords such as likes, interest, and joy before COVID-19 were high, and positive keywords such as likes, joy, and interest after COVID-19. In conclusion, through this study, it was found that metaverse has firmly established itself as a new platform business model that can be used in various fields such as tourism, travel, festivals, and education using smart technology and metaverse.

• 한국빅데이터학회지
• /
• 제1권2호
• /
• pp.9-19
• /
• 2016

ICT 융합에 대한 관심이 높아진 가운데 독일의 Industry 4.0을 시작으로 제조업과 ICT 융합에 대한 연구가 활발하게 진행되고 있다. 이를 통해 전통적인 제조업의 제조단가를 낮추고 극적인 품질향상을 기대할 수 있게 되었다. 최근 정부의 제조업 3.0 전략 등에 힘입어 국내에서도 제조업에 대한 고도화가 진행되고 있으며, 이러한 추세에 발맞추어 제조업 운영에서 발생하는 빅데이터에 대한 주문맞춤형 분석 플랫폼을 개발하고 이를 통해 제조 현장의 경쟁력을 높이고자 한다. 주문맞춤형 분석 플랫폼은 확장성을 고려하여 스프링 프레임워크를 기반으로 웹에서 실행되도록 설계되었으며, 제조업 현장에서 발생하는 다량의 데이터를 빠르게 처리하기 위하여 스파크와 하둡 파일 시스템을 이용한다. 실시간으로 스트리밍 된 데이터를 프로세스 마이닝 기반 알고리즘을 통해 처리하고 공장의 현황을 분석하여 제조업 현장의 문제를 파악하고 신속한 의사결정을 지원할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제17권6호
• /
• pp.671-680
• /
• 2014

Recently, with the remarkable increase of social network services, it is necessary to extract interesting information from lots of data about various individual opinions and preferences on SNS(Social Network Service). The sentiment information can be applied to various fields of society such as politics, public opinions, economics, personal services and entertainments. To extract sentiment information, it is necessary to use processing techniques that store a large amount of SNS data, extract meaningful data from them, and search the sentiment information. This paper proposes an efficient method to extract sentiment information from various unstructured big data on social networks using HDFS(Hadoop Distributed File System) platform and MapReduce functions. In experiments, the proposed method collects and stacks data steadily as the number of data is increased. When the proposed functions are applied to sentiment analysis, the system keeps load balancing and the analysis results are very close to the results of manual work.

• Journal of Platform Technology
• /
• 제10권1호
• /
• pp.29-34
• /
• 2022

21세기 들어 발생하는 Covid 19 팬더믹과 같은 새로운 질병의 발현과 바쁜 현대인의 일상에 따른 건강 이상신호가 발생하는 일이 많아지고 있다. 이에 따라 헬스케어 관리 및 데이터를 기반으로 한 건강관리의 중요성이 부각되고 있으며, 특히 환자 개인의 헬스케어 데이터 기반의 개인건강 관리 데이터에 대한 관심이 급증하고 있다. 본 연구에서는 개인 건강 관리의 어려운 문제를 해결하기 위한 자가 건강진단 및 해결을 위한 IT를 접목한 개인건강 헬스케어 플랫폼 개발과 인체에서 발생하는 생체신호를 측정하여 플랫폼으로 전달하는 앱 개발을 통하여 개인 맞춤형 건강관리 시스템을 구축하였다. 이를 통해 현대인의 건강관리 뿐만 아니라, 발달장애인 및 의사표현이 어려운 취약계층의 심리정서 모니터링을 통한 심리정서 케어 지원 니즈를 해결하고자 한다. 또한 개인의 건강 및 생활환경 데이터 전반을 통합하여 개인에게 최적화된 의료 및 건강관리 서비스를 개발하는데 목표를 두고 진행하였다.

• 전자통신동향분석
• /
• 제35권7호
• /
• pp.3-12
• /
• 2020

In this paper, we introduce ETRI AI Strategy #1, "Proactively Securing AI Core Technologies." The first goal of this strategy is to innovate artificial intelligence (AI) service technology to overcome the current limitations of AI technologies. Even though we saw a big jump in AI technology development recently due to the rise of deep learning (DL), DL still has technical limitations and problems. This paper introduces the four major parts of the advanced AI technologies that ETRI will secure to overcome the problems of DL and harmonize AI with the human world: post DL technology, human-AI collaboration technology, intelligence for autonomous things, and big data platform technology.

• 벤처창업연구
• /
• 제17권1호
• /
• pp.157-175
• /
• 2022

디지털 경제로의 전환을 위해 사회 전 분야에 걸쳐 패러다임의 대전환이 이루어지고 있다. 현재 시점에서 농업도 4차산업혁명의 핵심자원인 빅데이터를 활용하여 혁신 성장을 이루고자 글로벌 농산업계는 다양한 움직임이 일어나고 있다. 국내도 정부 차원으로 빅데이터 활용 촉진을 위해 다양한 시도를 시행하고 있으나, 빅데이터 활용 핵심 주체인 농산업계의 움직임은 아직 미흡한 실정이다. 이에 본 연구에서는 농업 관련 기업 종사자를 대상으로 빅데이터 활용 시 얻을 수 있는 경제적 혜택과 실용적 혜택을 조절변수로 하여 통합기술수용이론에 근거한 성과기대, 노력 기대, 사회적 영향, 촉진조건과 혁신성향이 빅데이터 수용 의도에 미치는 영향을 분석하였다. 농업 관련 기업 종사자를 대상으로 수집한 설문지 333부를 실증분석에 사용하였다. SPSS v22.0과 Process macro v3.4를 사용한 분석결과는 첫째, 노력 기대, 사회적 영향, 촉진조건 및 혁신성향은 빅데이터 수용 의도에 정(+)의 방향으로 유의한 영향을 미치는 것으로 나타났고, 성과기대가 수용 의도에 미치는 영향은 유의하지 않은 것으로 나타났다. 수용 의도에 사회적 영향이 가장 크게 영향을 미치고 혁신성향이 가장 작게 영향을 미치는 것으로 나타났다. 노력 기대와 수용 의도 간의 경제적 혜택과 실용적 혜택의 조절 효과, 사회적 영향과 수용 의도 간의 실용적 혜택의 조절 효과, 촉진조건과 수용 의도 간의 경제적 혜택과 실용적 혜택의 조절 효과는 유의한 것으로 나타났다. 반면에 경제적 혜택과 실용적 혜택은 성과기대와 혁신성향이 수용 의도에 미치는 영향력의 크기를 조절하지 않는 것으로 나타났다. 이러한 결과를 통해 다음과 같은 시사점을 제시하였다. 첫째, 기업의 빅데이터 활용 촉진을 위해 정부는 기업 맞춤형 정책 수립을 준비할 필요가 있다. 맞춤형 지원을 통해 기업 구성원들이 빅데이터 활용에 대한 올바른 이해와 공감대를 형성해야 유의미한 성과를 만들어 낼 수 있기 때문이다. 둘째, 농업 데이터 특화된 플랫폼 구축, 표준화 방식 기반으로 데이터 연계, 데이터 접근에 대한 단일화 창구 지원을 마련해야 한다. 이러한 플랫폼 구축은 기업 간 주체적인 협력 관계를 형성하여 산업을 고도화시킬 수 있을 것이다. 마지막으로 본 연구의 한계점과 후속 과제를 제시하였다.

• 한국항행학회논문지
• /
• 제18권4호
• /
• pp.401-408
• /
• 2014

하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

• 한국정보통신학회논문지
• /
• 제22권4호
• /
• pp.575-580
• /
• 2018

본 논문에서는 병원에서 환자의 대기시간을 실시간으로 모니터링하기 위한 오픈소스 기반의 시스템을 제안한다. 환자의 위치 데이터를 실시간으로 분석, 처리하기 위한 고성능 스트림 처리 시스템을 비용 효율적으로 구축하기 위해서는 오픈소스 프로젝트를 활용하는 것이 필요하다. 빅데이터를 처리하기 위한 오픈 소스 시스템으로 다양한 하둡 서브프로젝트들로 구성된 하둡 에코시스템이 있다. 본 논문에서는 먼저 시스템 요구사항을 정의하고 하둡 에코시스템에서 이를 만족시키기 위한 몇 가지 오픈소스 프로젝트들을 선정한다. 그리고, 선정된 아파치 스파크, 아파치 카프카 등을 이용한 시스템 구조 설계 및 상세 모듈 설계를 제안한다. 제안된 시스템은 기존 시스템과의 연계 및 오픈소스 프로젝트를 통해 구축비용을 절감할 수 있으며, 또한 분산 스트림 처리를 통해 고성능과 안정성을 확보할 수 있다.

• 인터넷정보학회논문지
• /
• 제15권6호
• /
• pp.107-115
• /
• 2014

최근 소셜 미디어 사용의 증가, 산업간 융합의 확대, 다양한 스마트 기기의 보급을 통한 인터넷의 이용이 증가하면서 수많은 데이터를 발생시키고 있다. 이들 데이터들은 크기가 매우 크고, 형식이 다양하며, 순환속도가 매우 빨라 기존의 데이터 처리기술만으로는 관리와 분석이 어려운 실정이다. 즉, 수십 테라에 이르는 데이터의 폭증 및 데이터의 다양화에 따라 빠르게 분석하는 기술이 미흡하며, 이러한 문제점들을 해결하기 위한 새로운 기술적 방안이 절실히 요구되고 있다. 이러한 빅데이터의 처리기술에 대한 많은 연구가 최근 활성화 되고 있으며, 본 연구에서는 이러한 관점에서 빅데이터 플랫폼의 효과적인 인덱싱 엔진의 설계 및 구현에 관하여 기술한다. 즉, 기존의 데이터 처리기술의 범위를 초과하는 대규모의 데이터 집합을 효율적으로 관리하고, 인덱싱을 통한 검색속도의 향상으로 데이터 분석 시 소요되는 시간 단축을 연구목표로 한다. 본 연구의 실험을 위해서는 대규모 SNMP(Simple Network Management Prtocool) 로그 데이터를 사용하였으며, 효율적 데이터의 인덱싱을 통한 빠른 검색으로 데이터 분석시의 시간을 최대한 단축하고자 하였다. 또한 분석된 데이터의 표현의 가시화를 통하여 사용자의 데이터 분석에도 도움이 될 것으로 기대한다.