• 디지털융복합연구
• /
• 제14권11호
• /
• pp.267-273
• /
• 2016

모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

• 한국인터넷방송통신학회논문지
• /
• 제20권2호
• /
• pp.13-20
• /
• 2020

빅 데이터 관련 주요 논제 중의 하나는 방대한 시간 기반 또는 원격 측정 데이터의 가용성에 관한 문제이다. 현재 저비용 획득 및 저장 장치의 등장은 더 세밀한 분석에 사용될 상세한 시간 데이터를 얻을 수 있어서 배후 시스템에 대해 여러 가지 지식을 갖거나 미래의 이벤트를 더 정확히 예측할 수 있다. 특히, 스마트 미터가 설치된 수많은 가정 및 기업 등을 대상으로 전기 사용에 관한 고객 맞춤형 계약을 정의하는 것은 다른 무엇보다도 중요한 문제이다. 수많은 스마트 미터 데이터를 바탕으로 공통적인 전력 소비 형태를 몇 가지 그룹으로 구분할 필요가 있다. 이에 본 연구에서는 스마트 미터 측정 관련 공개 데이터와 자바 기반 공개 소스인 KNIME 플랫폼을 사용하여 스마트 미터 관련 빅 데이터 변환과 클러스터링을 나타낸다. 빅 데이터 구성 요소는 공개 소스는 아니지만, 시험판으로 사용할 수 있다. 스마트 미터 빅 데이터를 가져오고, 정리하고, 변환한 후 전력 사용량 행위와 관련된 각 미터 ID의 해석과 클러스터링에 적합한 DTW 접근 방식을 통해 전력 사용 행위에 관한 스마트 계약을 정의할 수 있다.

• KEPCO Journal on Electric Power and Energy
• /
• 제7권1호
• /
• pp.73-77
• /
• 2021

As the big data analysis technologies has been developed worldwide, the importance of asset management for electric power facilities based data analysis is increasing. It is essential to secure quality of data that will determine the performance of the RISK evaluation algorithm for asset management. To improve reliability of asset management, asset data must be preprocessed. In particular, the process of cleaning dirty data is required, and it is also urgent to develop an algorithm to reduce time and improve accuracy for data treatment. In this paper, the result of the development of an automatic cleaning algorithm specialized in overhead transmission asset data is presented. A data cleaning algorithm was developed to enable data clean by analyzing quality and overall pattern of raw data.

• 한국문헌정보학회지
• /
• 제55권4호
• /
• pp.89-114
• /
• 2021

본 연구는 학계와 현장의 도서관 빅데이터 관련 움직임을 살펴보고 이를 토대로 도서관 빅데이터 플랫폼인 도서관 정보나루의 장서/대출데이터를 대상으로 기초 분석을 수행하였다. 이를 위해 도서관과 빅데이터에 관한 선행연구와 활용사례를 참고하여 연도별 장서증가량, 주제별 장서구성비, 미대출 장서구성비, 주제별 장서회전율, 그리고 주제별 이용계수의 5가지 분석지표를 선정하였다. 분석에 사용된 도서관 데이터는 부산지역 33개 공공도서관의 장서/대출데이터 6,722,603건이다. 주요한 분석 결과는 다음과 같다. 첫째, 33개 공공도서관 간 장서수보다 대출수의 격차가 큰 것으로 나타났다. 둘째, 연간 장서증가량도 뚜렷한 하락세를 보였다. 셋째, 소장 장서의 주제별 구성과 미대출 장서의 주제별 구성에 있어서 각 도서관들이 비슷한 양상을 나타냈다. 넷째, 이용자들의 대출은 주제별, 도서관별로 매우 상이한 것으로 나타났다. 다섯째, 대부분의 도서관에서 자연과학 분야 장서회전율과 이용계수가 가장 높게 나타났다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.541-542
• /
• 2017

본 논문에서는 복잡하고 다양한 클라우드 환경을 통합하여 간편하게 운영할 수 있는 통합관리 솔류션을 개발하고자 한다. 이는 빅데이터 기반의 정형로그데이터와 비정형로그데이터를 수집하고 분석하여 실시간으로 통합 모니터링이 가능하여 사용자와 관리자가 편리하게 문제를 해결할 수 있다는 장점을 가지고 있다. Hypervisor 로그패턴 분석 기술을 통해 기존의 복잡하고 다양한 클라우드 환경을 좀 더 효율적으로 운용 관리할 수 있는 솔루션이라 하겠다.

• 한국철도학회:학술대회논문집
• /
• 한국철도학회 2007년도 춘계학술대회 논문집
• /
• pp.893-898
• /
• 2007

At present, one of the big characteristics in electric power market in korea is unique seller but in the near future competitions are expected in the market. so additional service for the electric power are expected. Also with development of IT technology, remote inspection for power usage are possible so as consumption pattern analysis. KORAIL is one of the biggest consumer in electric power market so it is necessary to investigate power consumption pattern. This paper presents electric load consumption pattern for representative substation like urban subway, high-speed train, industrial line and simulation program for electric power rate definition program based on billing system database. Base on the substation annual power usage DB data, the characteristic of the substation power consumption are investigated and effective electrical billing system are compared each other. Through this program it is verified that we can save more then several hundred million won for a year.

• 전기학회논문지
• /
• 제60권12호
• /
• pp.2215-2220
• /
• 2011

The accurate short-term load forecasting is essential for the efficient power system operation and the system marginal price decision of the electricity market. So far, errors of load forecasting for Chuseok Holiday are very big compared with forecasting errors for the other special days. In order to improve the accuracy of load forecasting for Chuseok Holiday, selection of input data, the daily normalized load patterns and load forecasting model are investigated. The efficient data selection and daily normalized load pattern based on fuzzy linear regression model is proposed. The proposed load forecasting method for Chuseok Holiday is tested in recent 5 years from 2006 to 2010, and improved the accuracy of the load forecasting compared with the former research.

• 정보화정책
• /
• 제24권3호
• /
• pp.42-66
• /
• 2017

본 연구는 우리나라를 대표하는 개방 데이터인 조달청의 빅데이터를 활용하여, 최근 사회과학 연구에서 활발하게 사용되는 사회관계망 분석을 통해 정부의 특정 정책(소프트웨어 대기업 참여 상한제) 전후의 산업 네트워크 구조를 비교 분석함으로써 소프트웨어 시장의 생태계 변화를 조망하고 공공데이터 개방의 시사점을 살펴보는 것을 목적으로 한다. 2013년에서 2015년까지 3년에 걸쳐 공공 소프트웨어 시장의 정보화 사업에 대한 발주 및 수주 계약 데이터를 분석해 본 결과, 첫째 공공 소프트웨어 시장에서 Power Law현상이 관찰되고 있으며, 이 현상은 규제 등의 외부적 충격과 상관없이 지속되고 있음을 알 수 있었다. 둘째, 이 시장에서 Power Law현상은 지속되고 있었지만 생태계의 구성은 년도별로 유의미한 차이를 보임도 확인하였다. 이러한 결과를 바탕으로, 공공 소프트웨어 시장의 생태계 구성 및 변화에 대한 시사점을 도출하고, 근본적으로 이러한 분석을 가능케 하는 공공 빅 데이터 개방의 장점에 대해 논의하였다.

• 한국빅데이터학회지
• /
• 제5권2호
• /
• pp.85-95
• /
• 2020

본 연구에서는 통신 데이터를 이용하여 기종점통행량 등 교통 모빌리티를 분석하는 방법론을 제안하였다. 모바일 기지국 위치정보 기반의 통신 데이터를 이용하여 개인의 통행사슬(Trip Chain) DB를 구축하고 일별 통행 패턴을 추출하여 통행 특성을 분석하였다. 분석의 신뢰성 제고를 위해서 기지국의 영향권을 맵 매칭하고, 통신 데이터가 가지는 Ping pong Handover 문제를 보정하는 로직을 개발하였으며, 기지국 영향권 내에서 Pass By와 Stay를 구분하는 분석기준을 제안하였다. 개발된 분석 방법을 활용하여 전국 지역 간 통행, 도시 및 지방 지역의 통행 발생과 분포를 추정하고 기존의 전통적인 분석방법론과 비교 검증하였다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.23-30
• /
• 2015

빅 데이터가 이슈화됨에 따라 데이터 분석의 결과를 기반으로 동작하는 많은 응용들이연구되고 왔고, 대표적인 응용들은 전자상거래 시스템의 상품 추천 서비스, 검색 엔진에서의 검색 서비스, 소셜 네트워크 서비스에서의 친구 추천 서비스 등이 있다. 본 논문은 기존의 데이터 마이닝 기법 중 데이터 집합에서 나타나는 유사한 패턴들을 마이닝하는 빈발 패턴 트리와 컴퓨터 과학의 이론에 기초한 결정트리를 결합하여 결정 빈발 트리 알고리즘을 제안한다. 이는 기존의 빈발 패턴 트리 알고리즘은 패튼 트리에서 패턴 생성에 대한 정확성은 보장되나 소셜 데이터처럼 다양한 패턴이 나타는 데이터에 대해서는 많은 수의 패턴들을 생성시켜 분석에 대한 어려움이 있어, 서브트리들과의 수렴 여부를 판단하는 모델로 변형시켜 문제를 개선한다. 또한 맵리듀스로 모델링하여 분산처리를 통한 고속 처리 알고리즘을 제시한다.