• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 춘계학술대회
• /
• pp.800-802
• /
• 2016

최근 국토 정보를 다루는 지적측량분야의 수익성은 악화되고 있다. 수익구조를 강화하기 위해서는 지적측량 외의 사업분야에 진출해야할 필요가 존재한다. 현재의 국토 정보를 효과적으로 다루기 위해서는 공간정보 플랫폼 설계가 필수적이다. 이러한 배경으로 본 연구에서는 빅데이터 기반 공간정보 플랫폼을 제안한다.

• 한국컴퓨터정보학회논문지
• /
• 제25권8호
• /
• pp.65-72
• /
• 2020

금융, 통신 등의 응용 분야에서 빅데이터는 광범위하게 활용되고 있으며, 빅데이터 분석 시장은 해마다 크게 성장하고 있다. 이에 반해 소상공인들의 빅데이터 활용 실적은 저조하며, 이는 기존 시스템이 소상공인들의 여건을 충분히 반영하지 못하는 동시에 서비스 이용 가격 역시 높다는 점에 기인한다. 이를 해결하기 위한 노력의 일환으로, 본 논문에서는 소상공인에 특화된 빅데이터 분석 서비스를 제공하는 새로운 플랫폼을 개발, 제안한다. 먼저 소셜 빅데이터 분석과 관련한 기존 연구들을 비교하고, 소상공인의 마케팅을 돕기 위해 필요한 서비스 지표들을 추출한다. 다음으로 도출된 지표들을 구현한 프로토타입 시스템을 소개하고, 구현을 통해 얻어진 시스템 완성에 필요한 기술적인 이슈들을 논의한다.

• International Journal of Computer Science & Network Security
• /
• 제22권2호
• /
• pp.290-296
• /
• 2022

Big Data is a data analysis technology empowered by late advances in innovations and engineering. In any case, big data involves a colossal responsibility of equipment and handling assets, making reception expenses of big data innovation restrictive to little and medium estimated organizations. Cloud computing offers the guarantee of big data execution to little and medium measured organizations. Big Data preparing is performed through a programming worldview known as MapReduce. Normally, execution of the MapReduce worldview requires organized joined stockpiling and equal preparing. The computing needs of MapReduce writing computer programs are frequently past what little and medium measured business can submit. Cloud computing is on-request network admittance to computing assets, given by an external element. Normal arrangement models for cloud computing incorporate platform as a service (PaaS), software as a service (SaaS), framework as a service (IaaS), and equipment as a service (HaaS).

• 한국융합학회논문지
• /
• 제12권7호
• /
• pp.45-51
• /
• 2021

급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형/비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다. 그러나 매년 급속히 증가하는 빅데이터를 활용하여 실무 환경에서 적용 가능한 표준 플랫폼으로 빅데이터를 수집하여 적재한 후, 정재한 빅데이터를 관계형 데이터베이스에 저장하고 처리하는 하둡 에코시스템 활용의 참조 사례들은 거의 없었다. 따라서 본 연구에서는 스프링 프레임워크 환경에서 3대의 가상 머신 서버를 통하여 하둡 2.0을 기반으로 쇼셜 네트워크 서비스에서 키워드로 검색한 비정형 데이터를 수집한 후, 수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고, 적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여 정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다. 향후에는 데이터 심화 분석을 위한 하이브나 머하웃을 이용하여 머신 러닝을 이용한 클러스터링과 분류 및 분석 작업 연구가 지속되어야 할 것이다.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.97-108
• /
• 2020

국내 전력산업이 스마트 그리드화 되면서 이로 인해 발생하는 빅데이터를 활용하여 수요관리, 시설물관리, 대고객서비스 등을 위한 빅데이터 플랫폼들이 도입되고 있는 추세이다. 그러나 빅데이터 프로젝트의 속성상 실제로 빅데이터 플랫폼의 활용이 업무 프로세스 상에서 정착되기 위해서는 많은 시간과 업데이트가 필요하다. 따라서 기존에 알려져 있거나 이론적인 평가 방법으로는 초기 빅데이터 플랫폼의 성과를 평가하기는 적절하지 않다. 본 논문에서는 빅데이터의 규모, 다양성, 속도에 따른 정보의 완전성/충분성, 정보의 신뢰성/정확성, 정보의 적합성/관련성, 정보의 상세성/구체성, 정보의 비교가능성, 정보의 불편성, 정보의 적시성 등 특정 정보의 7 가지 품질 측면에서 전력산업에서 초기 빅데이터 플랫폼의 성과를 평가하는 방법론을 제시한다.

• International journal of advanced smart convergence
• /
• 제8권2호
• /
• pp.102-108
• /
• 2019

Big data was associated with three key concepts, volume, variety, and velocity. Securities and investment services produce and store a large data of text/numbers. They have also the most data per company on the average in the US. Gartner found that the demand for big data in finance was 25%, which was the highest. Therefore securities and investment companies produce the largest data such as text/numbers, and have the highest demand. And insurance companies and credit card companies are using big data more actively than banking companies in Korea. Researches on the use of big data in securities and investment companies have been found to be insignificant. We surveyed 22 major securities and investment companies in Korea for activating big data. We can see they actively use AI for investment recommend. As for big data of securities and investment companies, we studied open API. Of the major 22 securities and investment companies, only six securities and investment companies are offering open APIs. The user OS is 100% Windows, and the language used is mainly VB, C#, MFC, and Excel provided by Windows. There is a difficulty in real-time analysis and decision making since developers cannot receive data directly using Hadoop, the big data platform. Development manuals are mainly provided on the Web, and only three companies provide as files. The development documentation for the file format is more convenient than web type. In order to activate big data in the securities and investment fields, we found that they should support Linux, and Java, Python, easy-to-view development manuals, videos such as YouTube.

• 정보화연구
• /
• 제11권4호
• /
• pp.449-462
• /
• 2014

빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본 연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는 비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을 위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권2호
• /
• pp.475-486
• /
• 2015

Mining the microarray data accumulated in the public data repositories can save experimental cost and time and provide valuable biomedical information. Big data analysis pooling multiple data sets increases statistical power, improves the reliability of the results, and reduces the specific bias of the individual study. However, integrating several data sets from different studies is needed to deal with many problems. In this study, I limited the focus to the cross platform classification that the platform of a testing sample is different from the platform of a training set, and suggested a simple classification method based on rank. This method is compared with the diagonal linear discriminant analysis, k nearest neighbor method and support vector machine using the cross platform real example data sets of two cancers.

• 디지털콘텐츠학회 논문지
• /
• 제18권8호
• /
• pp.1593-1601
• /
• 2017

빅데이터 플랫폼에서, 연관 룰 마이닝 응용프로그램은 여러 가치를 창출할 수 있다. 예를 들어, 농업 빅데이터 플랫폼에서 농가 소득을 높일 수 있는 농작물들을 농업인들에게 추천할 수 있다. 이 연관 룰 마이닝의 주요 절차는 빈발 아이템셋 마이닝으로, 이는 동시에 나타나는 아이템의 셋을 찾는 작업이다. Apriori를 비롯한 이전 연구에서는 대규모의 가능한 아이템 셋에 의한 메모리 오버로드의 이유로 만족할 만한 성능을 보일 수 없었다. 이를 개선하고자, 아이템 셋을 작은 크기로 분할하여 순차적으로 계산하도록 하는 SON 알고리즘이 제안되었다. 하지만, 단일 머신에서 SON 알고리즘을 돌릴 경우 많은 시간이 소요된다. 이 논문에서는 하둡기반의 빅데이터 플랫폼에서 SON 알고리즘 병렬처리 방식을 이용한 연관룰 탐색 기법을 소개한다. 연관 룰 마이닝을 위한 전처리, SON 알고리즘 기반 빈발 아이템셋 마이닝, 그리고 연관룰 검출 절차를 Hadoop기반의 빅데이터 플랫폼에 구현하였다. 실제 데이터를 활용한 실험을 통해 제안된 연관 룰 마이닝 기법은 Brute Force 기법의 성능을 압도하는 것을 확인하였다.

• 한국융합학회논문지
• /
• 제7권5호
• /
• pp.1-6
• /
• 2016

최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.