• Title/Summary/Keyword: 네트워크 데이터

Search Result 8,367, Processing Time 0.05 seconds

Development of Clustering Algorithm based on Massive Network Compression (대용량 네트워크 압축 기반 클러스터링 알고리즘 개발)

  • Seo, Dongmin;Yu, Seok Jong;Lee, Min-Ho
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2016.05a
    • /
    • pp.53-54
    • /
    • 2016
  • 빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

  • PDF

Effective Feature Selection Model for Network Data Modeling (네트워크 데이터 모델링을 위한 효과적인 성분 선택)

  • Kim, Ho-In;Cho, Jae-Ik;Lee, In-Yong;Moon, Jong-Sub
    • Journal of Broadcast Engineering
    • /
    • v.13 no.1
    • /
    • pp.92-98
    • /
    • 2008
  • Network data modeling is a essential research for the evaluation for intrusion detection systems performance, network modeling and methods for analyzing network data. In network data modeling, real data from the network must be analyzed and the modeled data must be efficiently composed to reflect a sufficient amount of the original data. In this parer the useful elements of real network data were quantified from packets captured from a huge network. Futhermore, a statistical analysis method was used to find the most effective element for efficiently classifying the modeled data.

Development of Web Crawler and Network Analysis Technology for Occurrence and Prediction of Flooding (수난 발생 및 규모 예측을 위한 웹 크롤러 및 네트워크 분석기술 개발)

  • Seo, Dongmin;Kim, Hoyong;Lee, Jeongha;Hwang, Seokhwan
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.5-6
    • /
    • 2019
  • 빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 데이터의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서, 최근 웹 데이터는 재난대응 미디어로써 매우 중요한 역할을 하고 있다. 또한, 빅데이터 분석에 활용되는 원천 데이터는 네트워크 형태이며, 최근 소셜 네트워크 분석을 통한 효과적인 상품 광고, 핵심 유전자 발굴, 신약 재창출 등 다양한 영역에서 네트워크 분석 기술이 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하면서 네트워크 분석 기술의 중요성이 부각되고 있다. 본 논문에서는 웹에서 제공하는 뉴스와 SNS 데이터를 이용해 수난 발생 및 규모 예측을 지원하는 웹 크롤러 및 네트워크 분석기술을 제안한다.

  • PDF

Privacy Preserving Data Mining of Sequential Patterns for Network Traffic Data (사이트의 접속 정보 유출이 없는 네트워크 트래픽 데이터에 대한 순차 패턴 마이닝)

  • Kim, Seung-Woo;Park, Sang-Hyun;Won, Jung-Im
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.19-22
    • /
    • 2005
  • 본 논문에서는 대용량 네트워크 트래픽 데이터를 대상으로 사이트의 프라이버시를 보호하면서 마이닝 결과의 정확성, 실용성 등을 보장할 수 있는 효율적인 순차 패턴 마이닝 기법을 제안한다. 네트워크가 발달함에 따라 네트워크 트래픽 데이터에 대한 마이닝은 네트워크를 통한 통신의 패턴을 찾아내고, 이를 사용하여 침입 탐지, 인터넷 웜의 탐지 등으로 유용하게 쓰이게 되었다. 그러나 네트워크 트래픽 데이터는 네트워크 사용자 개개인의 인터넷 접속 형태, IP 주소 등의 정보를 포함하는 데이터로 네트워크 사용자의 프라이버시를 해칠 수 있다는 문제점이 존재한다. 따라서 이들 네트워크 트래픽 데이터를 대상으로 하는 마이닝 기법에서는 프라이버시 보호를 위하여 각 사이트에 저장되어 있는 네트워크 트래픽 데이터를 공개하지 않으면서도, 의미있는 패턴을 찾을 수 있어야 한다. 본 논문에서는 프라이버시 보호를 위하여 N-저장소 서버 모델을 제안한다. 제안된 모델에서는 데이터를 분할하여 암호화한 후, 이를 복호화할 수 없는 서버에서 집계하는 방식을 사용하여 실제 데이터가 저장되어 있는 각 사이트의 출처 정보를 감추는 방식을 사용한다. 또한, 효율적인 빈번 패턴 생성을 위하여 빈번 항목에 대한 인덱스 구조를 제안하고, 이를 기반으로 한 순차 패턴 마이닝 기법을 보인다.

  • PDF

New Database Table Design Program of Real Time Network for High Speed Train (한국형 고속 전철의 실시간 네트워크를 위한 새로운 데이터 테이블 설계 프로그램)

  • Cho, Chang-Hee;Park, Min-Kook;Kwon, Soon-Man;Kim, Yong-Ju;Kim, Sung-Shin
    • Proceedings of the KIEE Conference
    • /
    • 2003.07b
    • /
    • pp.1338-1340
    • /
    • 2003
  • 현재의 공장 자동화, 국방, 항공, 철도, 금융 등을 포함하는 실시간 시스템은 여러 개의 컴퓨터가 다수의 장소에서 서로의 데이터 교환을 통한 협동 작업으로 여러 가지 기능 및 업무를 수행한다. 이는 마치 멀티프로세서를 가진 컴퓨터같이 생각할 수 있으며 이와같은 시스템에 있어서 업무 수행의 효율은 각 프로세서의 계산 능력에 비례함과 동시에 각 노드간의 데이터 전송 능력에 비례한다고 할 수 있다. 이와 같은 실시간 시스템이 올바르게 동작하기 위해서는 한정된 시간 내에 일정한 양의 데이터의 전달을 확정적으로 보장해 줄 수 있는 네트워크를 필요로 하는데 이를 실시간 네트워크(Real time network)라고 한다. 현대의 분산제어 시스템에 있어서 확정적인 시간 내의 데이터 전달은 전체 제어 시스템의 응동 특성에 중요한 요인이 된다. 본 논문은 한국형 고속 전철의 시제차(Prototype train)에 적용된 국제 표준 실시간 네트워크인 열차 통신 네트워크(Train Communication Network)에 관련한 내용이다. 실시간 네트워크는 실시간성을 보장하기 위해서 상호 교환될 데이터가 필요에 따라(온라인 상에서) 변경되는 것이 아니라 오프라인 디자인의 결과로 미리 결정되어진다. 즉 통신장치 사이에 전달되는 네트워크 데이터는 미리 설계된 네트워크 테이블을 기초로 정해진 시간에, 정해진 데이터가, 정해진 방식으로 전달되어 진다. 본 논문에서는 실시간 네트워크의 오프라인 설계를 하기 위한 도구로서 개발되어진 네트워크 데이터 테이블 작성 프로그램에 대해서 설명한다.

  • PDF

Data Processing Mechanism For Supporting Distributed Environment In Heterogeneous Sensor Networks (이 기종 센서 네트워크에서 분산 환경 지원을 위한 데이터 처리 메커니즘)

  • Nam, Choon-Sung;Ku, Yong-Ki;Shin, Dong-Ryeol
    • Proceedings of the KAIS Fall Conference
    • /
    • 2009.12a
    • /
    • pp.470-473
    • /
    • 2009
  • 환경정보를 감시하기 위한 각 센서 네트워크들은 사용목적에 따라 다양한 센서를 이용하여 자가 구성적인 네트워크를 형성한다. 이전의 센서 네트워크 응용 프로그램 개발 방법은 센싱 데이터에 대한 단일화된 형식을 가지지 않았기 때문에, 온도, 습도, 조도 등의 센싱 데이터 단위나 형식이 다양하게 표현되었으므로 센서 네트워크 응용 프로그램을 개발하는데 어려움이 있다. 이러한 이유로 각 응용 프로그램에 종속적인 데이터는 다른 센서 네트워크와의 공유도 용이하지 못하다. 이에 센서 노드로부터 수집된 다양한 원데이터(raw-data)를 원활하게 교환 할 수 있는 데이터 처리 중심의 미들웨어 개발이 필요하다. 이에 우리는 센서 노드로부터 측정한 데이터 및 요구사항을 단일화 하기 위한 표현으로 XML로 작성하고, 웹을 통해 센서 데이터를 활용할 수 있는 데이터 처리 중심의 센서 네트워크 미들웨어를 제안한다.

  • PDF

Design and Implementation of Audio Data In/Out Control Functions based on MOST150 Network (MOST150 네트워크 환경에서 Audio 데이터 입출력 제어 기능의 설계 및 구현)

  • Cheon, Seung-Hwan;Kwok, Gil-Bong;Jang, Si-Woong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2012.05a
    • /
    • pp.314-317
    • /
    • 2012
  • 최근 차량의 멀티미디어 장치들이 증가하면서 이 장치들을 광 네트워크로 연결하여 멀티미디어 데이터를 송 수신해서 사용할 수 있는 MOST(Media Oriented Systems Transport) 네트워크를 적용한 차량들이 늘어나고 있다. MOST 네트워크는 최근 자동차 멀티미디어 시스템에 넓게 사용되고 있는 통신 시스템으로서, 동기 및 비동기 데이터를 동시에 전송할 수 있고, 최근에는 150Mbps를 전송할 수 있는 MOST150 네트워크를 이용한 연구가 활발히 진행되고 있다. 본 논문에서는 MOST150 네트워크에서 Audio 데이터 입출력을 제어하기 위한 알고리즘을 설계 및 구현하였다. Audio 데이터를 제어하는 방식은 ADC(Analog to Digital Converter)를 통해 Audio 데이터가 들어오면 IOC(IO Companion)를 통해 INIC으로 Audio데이터를 전달한다. INIC은 MOST150 네트워크로 데이터를 전송하고 그렇게 보내진 Audio 데이터를 MOST150 네트워크 내부의 다른 장치에서 INIC을 통해 데이터를 수신하여 DAC(Digital to Analog Converter)를 통해 Audio 장치에서 소리가 나는 것을 테스트하여 정상적으로 동작함을 확인하였다.

  • PDF

A Design of Decentralized Social Network for Data Web Search (데이터 웹 검색을 위한 분산형 소셜네트워크 설계)

  • Sim, In-Soo;Lee, Hong-Chul
    • Proceedings of the KAIS Fall Conference
    • /
    • 2010.11a
    • /
    • pp.398-401
    • /
    • 2010
  • 오늘날 개방형 플랫폼과 정보공유공간인 소셜네트워크 서비스(Social Network)의 사용이 증가하면서 관련 웹사이트와 어플리케이션이 많이 생겨났다. 기존의 시스템은 소셜네트워크 사이트가 개인 데이터의 소유권을 가지고 있어서 정보 보호에 문제가 있고, 웹 사이트 간 정보공유가 제한되었다. 그래서 소셜네트워크의 데이터를 개인이 원하는 다른 관리 영역에서 소유할 수 있고 서로 다른 소셜네트워크에서도 자유로이 정보를 공유할 수 있는 분산형 소셜네트워크에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 시맨틱 웹 기술을 이용하여 이종 소셜네트워크 서비스, 다른 관리 영역의 데이터, 사용자들과의 관계, 데이터의 연관성들을 구조화 시키고, 데이터 웹 검색의 사용성을 높이는 데이터 웹 검색기반 분산형 소셜네트워크를 설계 하였다.

  • PDF

무선 센서 네트워크에서 효율적인 데이터 전달을 위한 라우팅 기법

  • Lee, Nam-Gyu;Lee, Hae-Yeong;Jo, Dae-Ho
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2007.11a
    • /
    • pp.430-433
    • /
    • 2007
  • 무선 센서 네트워크는 감지, 연산 그리고 무선 통신 능력을 갖는 수많은 작은 센서 노드들로 구성된다. 센서 네트워크에는 전장 감시, 침입자 추적, 그리고 고속 도로 감시 등과 같은 많은 응용분야가 있다. 이러한 분야에서는 사용자의 관심 대상이 되는 지역에서 발생 하는 사건들을 감시하기 위하여, 제한적인 에너지 자원과 연산 능력을 가진 세서 노드들로부터 감지된 데이터를 수집한다. 그러므로 센서 네트워크 응용분야에서의 데이터 수집과 전달, 센서 노드의 효율적인 에너지 소모는 매우 중요하며, 이를 위하여 센서 네트워크를 위한 라우팅, 전력관리, 그리고 데이터 보급 프로토콜들의 설계에서는 이러한 제약 사항들이 반드시 고려되어야 한다. 본 논문에서는 무선 센서 네트워크에서 효율적인 데이터 전달을 위한 라우팅 방법을 제안한다. 제안된 방법은 센서 노드의 트래픽 량, 잔여 에너지 량, 그리고 베이스 스테이션가지의 최단경로를 고려하여 데이터 전송 경로를 결정하여, 센서 네트워크에서의 에너지 효율적이면서도 안정적인 감지 데이터 전송을 가능하게 한다.

  • PDF

Implementation of Multicast Data Forwarding for Tree-Based Ad Hoc Multicast Routing Protocol (트리 기반 애드혹 멀티캐스트 라우팅 프로토콜을 위한 멀티캐스트 데이터 포워딩의 구현)

  • 김영민;안상현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10c
    • /
    • pp.28-30
    • /
    • 2004
  • 이동 애드혹 환경에서의 멀티캐스트 라우팅 테이블을 이용하여 패킷을 전달하기 위해서는 멀티캐스트 데이터 포워딩이 지원되어야 한다. 무선 환경에서의 멀티캐스트 데이터 포워딩은 유선 환경에서의 멀티캐스트 데이터 포워딩과는 차이기 있다. 유선 환경에서 노드의 네트워크 인터페이스는 다른 노드의 네트워크 인터페이스와 1대1로 연결되고, 네트워크 인터페이스로 들어온 패킷이 다른 노드로 전달되어야 한다면 해당되는 다른 네트워크 인터페이스를 통해 전달된다. 그러나 이동 애드혹 환경에서 대부분의 노드는 하나의 네트워크 인터페이스를 가지며 패킷 진입 인터페이스와 진출 인터페이스가 같고 노드의 무선 네트워크 인터페이스는 이웃 노드의 네트워크 인터페이스들과 1대다의 관계를 갖는다. 이동 애드혹 환경에서 멀티캐스트 데이터 포워딩시에 이러한 특성을 고려하지 않을 경우 패킷 중복현상과 라우팅 루프 문제 등이 유발될 수 있다. 본 연구에서 제안하고 구현한 멀티캐스트 데이터 포워딩 기법은 리눅스 환경에서 넷필터[1]와 중복을 방지하기 위한 별도의 테이블을 사용하여 트리 기반 멀티캐스트 라우팅 프로토콜에 의해 결정된 경로를 이용한 효율적인 멀티캐스트 데이터 포워딩을 지원한다.

  • PDF