• 한국정보통신학회논문지
• /
• 제21권9호
• /
• pp.1731-1737
• /
• 2017

K-최근접 이웃 연결(KNN 연결) 알고리즘은 기계학습에서 매우 효과적인 방법으로, 작은 데이터군에 대해서 널리 사용되어 왔다. 데이터의 수가 증가함에 따라, 단일 컴퓨터에서는 메모리와 수행시간의 제약으로 실제적인 응용프로그램에서는 실행하기에 적합하지 못하였다. 최근에는 대규모 데이터 처리를 위해서, 많은 수의 컴퓨터로 이루어진 클러스터에서 실행될 수 있는 맵리듀스 (MapReduce)로 알려진 알고리즘이 널리 사용되고 있다. 하둡은 맵리듀스 알고리즘을 구현한 프레임워크이지만 스파크라고 하는 새로운 프레임워크에 의하여 그 성능이 월등히 개선되었다. 본 논문에서는, 스파크에 기반하여 구현된 KNN 연결 알고리즘을 제안하였으며, 이는 인메모리(In-Memory) 연산 기능의 장점으로 하둡보다 빠르고 보다 효율적일 것으로 기대한다. 실험을 통하여, 수행시간에 영향을 주는 요소들에 관하여 조사하였으며, 제안한 접근 방식의 우수성과 효율성을 확인하였다.

• 한국정보통신학회논문지
• /
• 제19권9호
• /
• pp.2029-2036
• /
• 2015

하둡 MR(MapReduce)는 매퍼(Mapper)의 출력을 리듀서(Reducer)의 입력으로 전달하기 위해 파티션 함수(Partition Function)을 사용한다. 파티션 함수는 키에서 해쉬 값을 계산한 후 리듀서 개수로 나머지 연산을 수행하여 대상 리듀서를 결정한다. 기존 파티션 함수는 키의 편중도에 민감하여 잡이 균등하게 배분될 수 없었다. 잡이 균등하게 배분되지 못하면 특정 리듀서들의 처리 수행 시간이 길어져 전체 분산 처리 수행 성능에 영향을 주게 된다. 이에 본 논문은 VPT(Virtual Partition Table)을 제안하고 편중도가 심한 데이터에 VPT을 적용하여 실험을 수행 하였다. 적용된 VPT는 기존 파티션 함수와 대비하여 평균 3초 정도 성능향상이 발생하였으며, 데이터 처리량이 증가할수록 성능 향상 폭이 증가할 것으로 예상된다.

• 한국컴퓨터정보학회논문지
• /
• 제24권10호
• /
• pp.65-70
• /
• 2019

최근 선박자동식별장치의 도입으로, 육상에서 선박위치, 침로, 속력, 선박종류 등 선박 항적데이터 수집이 가능해 졌다. 본 연구는 맵리듀스 알고리즘을 분산처리 환경에 적용하여 선박 항적데이터를 효율적으로 처리하는 방법을 제안한다. 제안하는 방법은 데이터 전처리 단계, 맵핑 단계, 리듀싱 단계로 나뉘어져 있다. 데이터 전처리 단계는 선박의 동적 및 정적 데이터를 통합하고, 비관심지역의 선박정보는 필터링한다. 맵핑 단계는 선박 위치를 지오해시 코드로 변환하여 맵리듀스의 키 데이터로 할당하고, 선박의 ID는 값 데이터로 분리한다. 리듀싱 단계에서는 키 데이터가 같은 키-값 쌍 데이터를 추출하여 해당 그리드에서 선박의 수를 계산하여 시각화 한다. 제안한 방법은 항적데이터 분석에 있어서 기존 프로그램 성능에 비해 1~4배 성능 개선이 되었다.

• 전기학회논문지P
• /
• 제67권4호
• /
• pp.183-190
• /
• 2018

Predicting accurate electricity prices is an important task in the electricity trading market. To address the electricity price forecasting problem, various approaches have been proposed so far and it is known that linear regression-based approaches are the best. However, the use of such linear regression-based methods is limited due to low accuracy and performance. In traditional linear regression methods, it is not practical to find a nonlinear regression model that explains the training data well. If the training data is complex (i.e., small-sized individual data and large-sized features), it is difficult to find the polynomial function with n terms as the model that fits to the training data. On the other hand, as a linear regression model approximating a nonlinear regression model is used, the accuracy of the model drops considerably because it does not accurately reflect the characteristics of the training data. To cope with this problem, we propose a new electricity price forecasting method that divides the entire dataset to multiple split datasets and find the best linear regression models, each of which is the optimal model in each dataset. Meanwhile, to improve the performance of the proposed method, we modify the proposed localized linear regression method in the map and reduce way that is a framework for parallel processing data stored in a Hadoop distributed file system. Our experimental results show that the proposed model outperforms the existing linear regression model. Specifically, the accuracy of the proposed method is improved by 45% and the performance is faster 5 times than the existing linear regression-based model.

• 한국컴퓨터정보학회논문지
• /
• 제25권12호
• /
• pp.165-172
• /
• 2020

웹에서 접근하는 정보의 폭발적인 증가에 따라 사용자의 다음 웹 페이지 사용을 예측하는 문제의 중요성이 증가되었다. 사용자의 다음 웹 페이지 접근을 예측하는 방법 중 하나가 딥 러닝 기법이다. 웹 페이지 예측 절차는 데이터 전처리 과정을 통해 웹 로그 정보들을 분석하고 딥 러닝 기법을 이용하여 분석된 웹 로그 결과를 가지고 사용자가 접근할 다음 웹 페이지를 예측한다. 본 논문에서는 웹 페이지 예측을 위한 효율적인 웹 로그 전처리 작업과 분석을 위해 딥 러닝 기법을 사용하는 웹 페이지 예측 프레임워크를 제안한다. 대용량 웹 로그 정보의 전처리 작업 속도를 높이기 위하여 Hadoop 기반 맵/리듀스(MapReduce) 프로그래밍 모델을 사용한다. 또한 웹 로그 정보의 전처리 결과를 이용한 학습과 예측을 위한 딥 러닝 기반 웹 예측 시스템을 제안한다. 실험을 통해 논문에서 제안한 방법이 기존의 방법과 비교하여 성능 개선이 있다는 사실을 보였고 아울러 다음 페이지 예측의 정확성을 보였다.

• 한국정보통신학회논문지
• /
• 제26권4호
• /
• pp.487-494
• /
• 2022

최근 데이터를 활용한 분석에 대한 수요와 함께 분석 데이터인 지식 그래프의 크기는 점차 증가하여, 웹에서 수집한 데이터를 지식 그래프로 추출하였을 때 약 820억개의 엣지(Edge)를 가지는 수준까지 도달하였다. 많은 지식 그래프들은 웹 자원에 대한 메타데이터를 표현하기 위한 W3C 표준인 RDF(Resource Description Framework) 형식으로 표현되며, RDF 특성으로 인해 기존의 RDF 저장소들은 대량 RDF 데이터를 압축하고 저장할 때 처리 시간의 오버헤드가 발생하는 문제점을 가진다. 본 논문은 이러한 문제점을 개선하기 위해, 맵리듀스를 사용하여 대량 RDF 데이터를 정수 ID로 압축 변환하고, 수직 분할하여 저장하는 방법을 제안한다. 본 논문에서 제안한 방법은 RDF-3X와 비교하였을 때 최대 25.2배, H2RDF+와 비교하였을 때 최대 3.7배까지의 높은 성능 향상을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.236-239
• /
• 2021

AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

• 한국소음진동공학회논문집
• /
• 제23권2호
• /
• pp.99-104
• /
• 2013

Assessment of noise exposed population is to check the environmental noise level and social influence in order to reduce the risks such as annoyance and disturbance that are generated by environmental noise. Also, this method suggests the preferential noise abatement policy and action plan by accurately finding the area that the noise causes harmful effect to human health. Recently, a noise map, which can predict noise in comprehensive areas, is used for the assessment of noise exposed population, breaking from the methods using existing measures. In particular, countermeasure for the noise can be considered more effectively by using assessment methods of noise exposed population for specific noise levels, areas, and building types which are the main input factors in noise maps. In this study, assessment methods of noise exposed population by using 2 dimensional noise map are compared with those by 3 dimensional noise map.

• 한국음향학회지
• /
• 제13권6호
• /
• pp.83-90
• /
• 1994

본 논문에서는 코호넨(Kohonen)의 SOFM (Self-Organizing Feature Map) 알고리즘의 단점을 해결하기 위한 새로운 학습 알고리즘 ASOFM(Adaptive Self-Organized Feature Map)을 제안한다. 코호넨의 학습 알고리즘은 초기화된 연결 벡터에 대하여 극소점에 빠지는 경우도 있다. 그러나 제안된 알고리즘에서는 학습과정중에 네트워크의 상태를 평가할 수 있는 목적함수(object function)을 사용하였고, 이 함수의 출력에 따라 학습의 각 시점에서 적응적으로 학습률의 재조정이 가능하였다. 이 결과, 네트워크의 상태가 최소점에 수렴함이 보증 되고 학습률의 적응성에 의해 임의의 학습패턴에 대한 학습의 일반화 능력이 보장되었다. 또한 제안된 알고리즘은 코호넨의 알고리즘보다 약 $70\%$이상의 학습시간을 단축한다.

• 대한공간정보학회지
• /
• 제24권2호
• /
• pp.37-46
• /
• 2016

The difference between definition time of GPS (Global Positioning System) position data and actual display time of car positions on a map could reduce the accuracy of car positions displayed in PND (Portable Navigation Device)-type CNS (Car Navigation System). Due to the time difference, the position of the car displayed on the map is not its current position, so an improved method to fix these problems is required. It is expected that a method that uses predicted future positionsto compensate for the delay caused by processing and display of the received GPS signals could mitigate these problems. Therefore, in this study an analysis was conducted to correct late processing problems of map positions by mapmatching using a Kalman filter with only GPS position data and a RRF (Road Reduction Filter) technique in a light-weight CNS. The effects on routing services are examined by analyzing differences that are decomposed into along and across the road elements relative to the direction of advancing car. The results indicate that it is possible to improve the positional accuracy in the along-the-road direction of a light-weight CNS device that uses only GPS position data, by applying a Kalman filter and RRF.