• 제목/요약/키워드: Distributed Clustering

검색결과 226건 처리시간 0.028초

빅데이터 수집 처리를 위한 분산 하둡 풀스택 플랫폼의 설계 (Design of Distributed Hadoop Full Stack Platform for Big Data Collection and Processing)

  • 이명호
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.45-51
    • /
    • 2021
  • 급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형/비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다. 그러나 매년 급속히 증가하는 빅데이터를 활용하여 실무 환경에서 적용 가능한 표준 플랫폼으로 빅데이터를 수집하여 적재한 후, 정재한 빅데이터를 관계형 데이터베이스에 저장하고 처리하는 하둡 에코시스템 활용의 참조 사례들은 거의 없었다. 따라서 본 연구에서는 스프링 프레임워크 환경에서 3대의 가상 머신 서버를 통하여 하둡 2.0을 기반으로 쇼셜 네트워크 서비스에서 키워드로 검색한 비정형 데이터를 수집한 후, 수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고, 적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여 정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다. 향후에는 데이터 심화 분석을 위한 하이브나 머하웃을 이용하여 머신 러닝을 이용한 클러스터링과 분류 및 분석 작업 연구가 지속되어야 할 것이다.

P-3C 해상초계기용 전술컴퓨터의 효율적 운영을 위한 ARINC-429 연동 방법 (The Proposal Method of ARINC-429 Linkage for Efficient Operation of Tactical Stations in P-3C Maritime Patrol Aircraft)

  • 김병국;차용훈
    • 한국항행학회논문지
    • /
    • 제27권2호
    • /
    • pp.167-172
    • /
    • 2023
  • 대한민국 해군이 운영하는 P-3C 해상초계기에는 전술데이터 수집을 위한 다양한 센서 장치(LRUs, line replace units)들이 탑재 되어 있다. 센서 장치의 특성에 따라 IEEE 802.3, MIL-STD-1553A/B, ARINC-429 등 각기 다른 다양한 통신 프로토콜로 운영된다. 그리고 수집된 전술데이터는 임무조작사들을 위한 전술컴퓨터(tactical station)에서 처리가 되며, 이 전술컴퓨터는 기가비트 이더넷을 주축으로 한 클러스터링 네트워크를 구성하고 분산처리방식으로 운영이 된다. 센서 장치와의 원활한 통신을 위해 특정 전술 컴퓨터는 센서 장치를 위한 주변 장치(예: ARINC-429 interface card)를 별도로 탑재한다. 문제는 이 특정 장치의 주변장치 제어와 통신 중계에 따른 전체 분산처리의 성능을 떨어트리는 단점이 발생하며, 심지어 해당 전술컴퓨터의 동작 정지는 관련 센서 장치와 통신을 두절시키는 문제를 갖는다. 본 논문에서는 이를 해결하기 위해 별도의 중계기를 탑재하는 방법을 제안하며, 이 중계기의 동작 결과를 통해 제안 적용의 타당성을 입증한다.

추천시스템의 효과적 도입을 위한 소셜네트워크 분석 (Social Network Analysis for the Effective Adoption of Recommender Systems)

  • 박종학;조윤호
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.305-316
    • /
    • 2011
  • 협업필터링은 다양한 분야에서 널리 활용되고 있지만 협업필터링의 추천 성능은 적용하는 기업의 비즈니스 형태나 발생하는 거래 데이터의 특성에 따라 다르게 나타나고 있다. 기업에서 협업필터링 추천시스템을 구축하려면 상당한 시간과 비용이 소요되기 때문에 구축된 추천시스템의 성과가 높지 않다면 기업 자원의 낭비를 초래할 뿐만 아니라 부정확한 추천서비스를 받는 고객들의 불만을 살 수 있다. 따라서 추천시스템 도입을 검토할 때 기업이 갖고 있는 데이터의 특성을 파악하고 이를 통해 추천시스템을 도입하는 것이 타당한지 사전에 예측할 수 있다면 불필요한 도입으로 인한 경제적 손실과 고객 만족도 저하를 막을 수 있을 것이다. 기존 연구에서는 협업필터링 추천 성과에 희박성, 우연성, 커버리지 등이 영향을 미칠 수 있다고 설명하고 있지만 이러한 요인들이 어떻게 얼마나 추천 성과에 영향을 미치는지, 요인들 간에 어떠한 상관관계가 있는지는 현재까지 구체적으로 밝혀진 바가 없다. 본 연구에서는 구매 트랜잭션으로부터 생성된 소셜네트워크로부터 밀도, 군집화계수, 집중도 등의 구조적 지표를 측정한 후 이들이 추천성과에 어떻게 영향을 미치는지 통계적 분석을 통해 실증적으로 규명한다. 이를 통해 협업필터링 추천시스템에 대한 도입 여부를 결정하고자 할 때 유용하게 사용될 수 있는 지침을 제공하고자 한다.

WAVELET-BASED FOREST AREAS CLASSIFICATION BY USING HIGH RESOLUTION IMAGERY

  • Yoon Bo-Yeol;Kim Choen
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2005년도 Proceedings of ISRS 2005
    • /
    • pp.698-701
    • /
    • 2005
  • This paper examines that is extracted certain information in forest areas within high resolution imagery based on wavelet transformation. First of all, study areas are selected one more species distributed spots refer to forest type map. Next, study area is cut 256 x 256 pixels size because of image processing problem in large volume data. Prior to wavelet transformation, five texture parameters (contrast, dissimilarity, entropy, homogeneity, Angular Second Moment (ASM≫ calculated by using Gray Level Co-occurrence Matrix (GLCM). Five texture images are set that shifting window size is 3x3, distance .is 1 pixel, and angle is 45 degrees used. Wavelet function is selected Daubechies 4 wavelet basis functions. Result is summarized 3 points; First, Wavelet transformation images derived from contrast, dissimilarity (texture parameters) have on effect on edge elements detection and will have probability used forest road detection. Second, Wavelet fusion images derived from texture parameters and original image can apply to forest area classification because of clustering in Homogeneous forest type structure. Third, for grading evaluation in forest fire damaged area, if data fusion of established classification method, GLCM texture extraction concept and wavelet transformation technique effectively applied forest areas (also other areas), will obtain high accuracy result.

  • PDF

Novel Architecture of Self-organized Mobile Wireless Sensor Networks

  • Rizvi, Syed;Karpinski, Kelsey;Razaque, Abdul
    • Journal of Computing Science and Engineering
    • /
    • 제9권4호
    • /
    • pp.163-176
    • /
    • 2015
  • Self-organization of distributed wireless sensor nodes is a critical issue in wireless sensor networks (WSNs), since each sensor node has limited energy, bandwidth, and scalability. These issues prevent sensor nodes from actively collaborating with the other types of sensor nodes deployed in a typical heterogeneous and somewhat hostile environment. The automated self-organization of a WSN becomes more challenging as the number of sensor nodes increases in the network. In this paper, we propose a dynamic self-organized architecture that combines tree topology with a drawn-grid algorithm to automate the self-organization process for WSNs. In order to make our proposed architecture scalable, we assume that all participating active sensor nodes are unaware of their primary locations. In particular, this paper presents two algorithms called active-tree and drawn-grid. The proposed active-tree algorithm uses a tree topology to assign node IDs and define different roles to each participating sensor node. On the other hand, the drawn-grid algorithm divides the sensor nodes into cells with respect to the radio coverage area and the specific roles assigned by the active-tree algorithm. Thus, both proposed algorithms collaborate with each other to automate the self-organizing process for WSNs. The numerical and simulation results demonstrate that the proposed dynamic architecture performs much better than a static architecture in terms of the self-organization of wireless sensor nodes and energy consumption.

Distinct Regional and Cellular Localization of Hyperpolarization-activated Cyclic Nucleotide-gated Channel 1 in Cerebellar Cortex of Rat

  • Kwon, Young-Joon;Kim, Tae-Sung
    • Journal of Korean Neurosurgical Society
    • /
    • 제42권3호
    • /
    • pp.205-210
    • /
    • 2007
  • Objective : Hyperpolarization-activated cyclic nucleotide-gated (HCN) channels mediate the hyperpolarization-activated currents (Ih) that participate in regulating neuronal membrane potential and contribute critically to pacemaker activity, promoting synchronization of neuronal networks. However, distinct regional and cellular localization of HCN channels in the brain have not been precisely defined. Aim of this study was to verify the precise cellular location of HCN1 channels in rat cerebellum to better understand the physiological role these channels play in synaptic transmission between CNS neurons. Methods : HCN1 expression in rat brain was analyzed using immunohistochemistry and electron-microscopic observations. Postsynaptic density-95 (PSD-95), otherwise known as locating and clustering protein, was also examined to clarify its role in the subcellular location of HCN1 channels. In addition, to presume the binding of HCN1 channels with PSD-95, putative binding motifs in these channels were investigated using software-searching method. Results : HCN1 channels were locally distributed at the presynaptic terminal of basket cell and exactly corresponded with the location of PSD-95. Moreover, nine putative SH3 domain of PSD-95 binding motifs were discovered in HCN1 channels from motif analysis. Conclusion : Distinct localization of HCN1 channels in rat cerebellum is possible, especially when analyzed in conjunction with the SH3 domain of PSD-95. Considering that HCN1 channels contribute to spontaneous rhythmic action potentials, it is suggested that HCN1 channels located at the presynaptic terminal of neurons may play an important role in synaptic plasticity.

분산 클러스터링을 이용한 네트워크 동영상 스트리밍 (Dynamic Streaming Network using Distributed Clustering)

  • 박동재;성재득;이동수;노영주;최진구;한익주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (D)
    • /
    • pp.413-416
    • /
    • 2007
  • 날이 갈수록 네트워크와 클라이언트 컴퓨터의 성능이 계속 진보되고 있다. 고성능 클라이언트의 증가함에 따라 실시간으로 고품질의 동영상 서비스를 대중적으로 요구되고 있고, 서비스 제공자는 그에 맞는 고비용의 하드웨어 장비를 구축해야 하는 어려움에 직면하고 있다. 하나의 서버에 수백, 수천 개의 클라이언트를 수용할 수 있도록 설계를 하는 경우에, 그 비용은 늘어나고, 시간과 노력 또한 많이 들게 된다. 그럼에도 불구하고, 클라이언트의 수요가 늘어남에 따라 서버의 부담은 급격히 늘어나게 되어, 서비스의 양과 질이 제한을 받게 된다. 우리는 이러한 제한을 극복하고, 서비스 제공자의 부담을 줄이고자 분산 클러스터링이라는 개념을 사용하였다. 이 방법으로 우리는 서버의 부담을 클라이언트에 나누어주어, 서비스를 받고 있는 각 클라이언트도 서버의 기능을 가지게 하였다. 클라이언트가 다른 클라이언트에게 스트리밍 서비스를 가능하도록 한 것이다. 클라이언트에게 서버의 기능이 주어져, 스트리밍 서버의 부담은 클라이언트 수에 영향을 받지 않게 된다. 그로 인해 서버의 비용 및 장비 면에서 이익이 기대되는 연구를 수행하였다.

  • PDF

SAN 환경에서 클러스터 기반의 멀티채널 알고리즘 (Cluster-Based Multi-Channel Algorithm in SAN Environments)

  • 공준익;이성로
    • 한국통신학회논문지
    • /
    • 제40권5호
    • /
    • pp.964-973
    • /
    • 2015
  • 선박 네트워크는 다양한 장치들을 네트워크로 연결하여 선박 상태를 실시간 모니터링 하고, 유지보수 비용을 최소화할 수 있다. 특히, 선박 네트워크에서 저비용, 저파워, 다기능의 센서 노드를 활용한 무선 센서 네트워크의 연구는 많은 장점이 있다. 본 논문에서는 선박 내의 무선 센서 네트워크 환경에서 에너지 효율을 고려한 클러스터 기반의 멀티채널 알고리즘을 제안한다. 제안하는 알고리즘은 분산적이고, 동적인 채널 할당 알고리즘을 이용해 클러스터 단위로 채널을 할당하기 때문에 클러스터 간의 간섭을 회피하고 처리율 및 에너지 효율의 향상의 결과를 보인다.

Delay-Constrained Energy-Efficient Cluster-based Multi-Hop Routing in Wireless Sensor Networks

  • Huynh, Trong-Thua;Dinh-Duc, Anh-Vu;Tran, Cong-Hung
    • Journal of Communications and Networks
    • /
    • 제18권4호
    • /
    • pp.580-588
    • /
    • 2016
  • Energy efficiency is the main objective in the design of a wireless sensor network (WSN). In many applications, sensing data must be transmitted from sources to a sink in a timely manner. This paper describes an investigation of the trade-off between two objectives in WSN design: minimizing energy consumption and minimizing end-to-end delay. We first propose a new distributed clustering approach to determining the best clusterhead for each cluster by considering both energy consumption and end-to-end delay requirements. Next, we propose a new energy-cost function and a new end-to-end delay function for use in an inter-cluster routing algorithm. We present a multi-hop routing algorithm for use in disseminating sensing data from clusterheads to a sink at the minimum energy cost subject to an end-to-end delay constraint. The results of a simulation are consistent with our theoretical analysis results and show that our proposed performs much better than similar protocols in terms of energy consumption and end-to-end delay.

무선 센서 네트워크환경에서 헤드 경험정보를 이용한 에너지 효율적인 클러스터 헤드 선정 알고리즘 (An Energy Efficient Cluster-head Selection Algorithm Using Head Experience Information in Wireless Sensor Networks)

  • 김형주;김성철
    • 한국정보통신학회논문지
    • /
    • 제13권3호
    • /
    • pp.608-614
    • /
    • 2009
  • 무선 센서 네트워크에서는 노드들이 제한적인 에너지를 가지고 있기 때문에 효율적인 에너지 사용이 요구된다. 클러스터링 방식은 클러스터를 형성하고 클러스터 멤버 노드들이 전송한 데이터를 클러스터 헤드가 병합하여 싱크 노드로 전송하는 방식을 사용한다. 본 논문에서는 무선 센서 네트워크 환경에서 클러스터 헤드를 효율적인 선정하는 알고리즘을 제안한다. 제안하는 알고리즘은 노드 자신의 과거 헤드 경험의 세분화와 전송할 데이터의 존재 여부, 전송할 데이터를 보유하고 있는 이웃 노드들의 정보를 이용하여 헤드를 선정 함으로 네트워크 전체의 수명을 증가시킨다. 시뮬레이션을 통하여 기존의 방식인 LEACH, HEED 알고리즘에 비해 밸런싱 있는 에너지를 소모하고, 더 나은 네트워크 수명을 보장함을 보였다.