• 제목/요약/키워드: 데이터분석모듈

검색결과 735건 처리시간 0.034초

국제우주정거장 데이터 인터페이스 시뮬레이터 구현 및 검증 (Implementation and Verification of Data Interface Simulator for ISS)

  • 서석배;김종우;이주희;임현수;최기혁;최해진
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 I
    • /
    • pp.282-285
    • /
    • 2003
  • 본 논문에서는 국제우주정거장 (International Space Station; ISS) 개발을 위한 필수 요건인 데이터 인터페이스 기술을 습득하고자, 국제우주정거장에 부착되는 탑재모듈 (Payload)과 인터페이스를 위한 요구사항을 분석/설계하였으며, 이를 검증하기 위한 시뮬레이터의 개발결과를 소개한다. 국제우주정거장과 탑재모듈간의 데이터 인터페이스를 정의하고 구현함으로써, 추후 여러 가지 탑재모듈 개발 시 표준 데이터 인터페이스에 대한 기술을 확보할 수 있으며, 탑재모듈의 특성이나 국제우주정거장의 구체적인 기능에 대한 추가 연구를 통해 탑재모듈 개발 ETB (Electrical Test Bed) 로서의 기능도 수행할 수 있을 것으로 기대된다.

  • PDF

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

시공간 데이터를 위한 클러스터링 기법의 성능 비교

  • 강주영;이봉재;송재주;신진호;용환승
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.49-51
    • /
    • 2004
  • 최근 GPS시스템, 감시 시스템, 기상 관측 시스템과 같은 다양한 응용 시스템으로부터 수집된 시공간 속성을 가진 데이터를 분석하고자 하는 시공간 데이터 마이닝에 대한 관심이 더욱 높아지고 있다. 기존의 시공간 데이터 마이닝에 대한 연구는 문자.숫자 데이터를 기반의 마이닝 기법을 그대로 적용하고 있기 때문에 데이터의 시공간 속성을 충분히 고려한 분석으로는 한계가 많은 것이 사실이다. 본 논문에서는 패턴 인식과 클러스터링 능력이 뛰어나다고 알려진 SOM을 기반으로 시공간 클러스터링 모듈을 개발하고, 개발된 모듈의 성능과 클러스터링 정확성에 대하여 K-means, 응집 계층 알고리즘(Average Linkage, Ward)과 비교함으로써 시공간 데이터 마이닝을 위한 각 알고리즘들의 성능을 분석하였다 또한 입력 데이터의 특성과 클러스터링 결과를 더욱 정확하게 나타내어 가시적인 분석을 도울 수 있도록 시공간 데이터 클러스터링을 위한 가시화 모듈을 개발하였다.

  • PDF

GIS 기반 가뭄분석을 위한 가뭄인벤토리 지도서비스 모듈 개발 (Development of drought inventory map service module for GIS based drought analysis)

  • 이상민;신용현;양동민
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2021년도 학술발표회
    • /
    • pp.484-484
    • /
    • 2021
  • 본 연구를 통해 개발된 웹기반 가뭄아틀라스에 탑재되는 가뭄인벤토리 지도서비스 모듈은 GIS기반 가뭄상황관리를 위해 일정 수준의 가공이 필요한 다양한 GIS 가뭄분석정보를 제공하여 가뭄 대응 업무 담당자가 공간에 기반한 가뭄분석 업무에 사용함을 주목적으로 해당 서비스 모듈을 개발하였다. 본 연구를 통해 개발된 지도서비스 모듈은 JAVA 언어로 개발되었으며, 오픈소스 기반의 Geosever와 Openlayer를 적용하여 167개 시군을 대상으로 가뭄 관련 분석지도를 제공하는 서비스 모듈이다. 지도 레이어별 가시화를 통한 중첩분석이 가능하며, 사용자 필요 시 해당 분석지도를 다운로드 받을 수 있도록 개발을 진행하였다. 상세 제공 정보로는 가뭄 분석을 위한 면적정보와 통계정보로 이원화하여 서비스를 제공하며, 개별 가뭄인벤토리 지도는 지역별 차트정보와 속성DB 테이블을 같이 지도화면에 표출한다. 주요기능으로는 가뭄인벤토리 지도서비스 창을 활성화하여 사용자가 필요한 가뭄인벤토리 지도를 체크하면 가뭄아틀라스 지도화면에 가시화된다. 체크된 가뭄인벤토리 지도는 테이블정보 표출과 자료 다운로드 기능을 제공한다. 해당 서비스 모듈의 관리 및 사용 방법으로는 가뭄인벤토리 지도데이터를 GIS 데이터셋화하여 Geoserver에 로딩하며, 로딩된 지도데이터는 WMS(web tilemap service) 포맷으로 변환한 뒤, 각각의 분석지도가 가지고 있는 속성DB정보를 고려해 지도 스타일을 적용하였다. 웹 브라우저 표출방법으로는 Openlayer 기반으로 GeoWebCache를 생성해 가뭄인벤토리 지도를 웹기반 가뭄아틀라스 상에 표출한다.

  • PDF

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

객체지향형 기술정보관리시스템 설계 및 개발 (The Development of the Object-Oriented Technical Document Management System (OOTDMS))

  • 오태훈;김선호;박정선
    • 산업공학
    • /
    • 제11권2호
    • /
    • pp.49-64
    • /
    • 1998
  • 최근 제품데이타관리 시스템 내에서 관리되는 데이터들은 보다 복잡한 구조와 다양한 형태를 가지게 되었으며, 이들 데이터들을 효율적으로 관리하기 위한 새로운 기법으로 객체지향기법이 대두되었다. 객체지향 기법 및 기술은 시스템의 생산성과 재사용성을 향상시키고 보다 실세계에 근접한 개념으로 프로그램의 설계와 구현을 가능하게 하였다. 본 연구에서는 객체지향적 패러다임을 이용하여 기술정보관리 시스템 내에서 제품개발의 전반에 걸쳐 생성되는 도면무서, 부품 및 BOM 등의 데이터 관리 요소들을 객체지향으로 분석 및 설계하였으며, 프로토타입을 개발하였다. 객체지향 분석 및 설계를 위해서는 Rumbaugh의 OMT(Object Modeling Technique) 방법을 이용하였으며, 개발된 프로토타입은 크게 도면 및 부품관리 모듈과 BOM모듈로 구분된다. 부품 및 도면관리모듈은 PowerBuilder로, BOM모듈은 Visual C++로 개발되어 서로 독립적으로 수행되도록 구성하였으며, 이들간에 데이터교환이 가능하게 하였다. 또한, 구현된 객체지향 BOM관리모듈은 BOM구조복사 및 관계형 데이터베이스와 연결, OPTION관리 등의 기능을 포함하고 있다.

  • PDF

소프트 컴퓨팅에 의한 인간행위 분류에 관한 연구 (Study for Human Behavior Classification using Soft-Computing Method)

  • 정태민;최우경;김성주;김용민;하상형;전홍태
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2007년도 춘계학술대회 학술발표 논문집 제17권 제1호
    • /
    • pp.257-260
    • /
    • 2007
  • 인간의 행위에는 외부환경으로부터 감각정보가 입력되어 반응되는 무의식적인 행동과 뇌에 의한 추론과 인지에 의한 행동으로 분류할 수 있다. 동일한 환경 조건하에서의 인간 행위분류의 통해 활용 적합한 응용프로그램을 개발하여 적용하여 본다. 본 논문에서는 인간의 몸에 부착하여 움직임을 데이터로 분석할 수 있도록 행동인식 시스템을 개발하였다. 인간행동의 인식패턴을 분류하기 위해 Soft-Computing Algorithm을 행위 추출센서에 적용시킨 단독 시스템을 개발하여 센서모듈로부터 인간의 행동 패턴을 분류할 수 있도록 한다. 이러한 센서모듈은 3축 각속도 및 가속도 센서를 부착시킨 모듈로 Micro-Processor를 사용하여 모듈을 구성하였으며, 구축된 모듈은 인간의 몸에 착용하여 인간의 움직임을 디지털 데이터로 변환된다. 변환된 데이터를 무선통신을 통해 워크스테이션에 전달되어 인간행위에 대한 패턴분류 알고리즘 처리가 가능하며, 추출된 데이터를 기반으로 인간의 행동분석과 교정이 이루어 질 수 있도록 한다. 본 논문에서의 최종 시나리오는 운전자의 행동패턴을 이용한 행동 감지 및 서비스 시스템을 구성하는 데에 목적을 둔다.

  • PDF

데이터베이스 기반의 저궤도 관측위성용 텔레메트리 데이터 처리 방안에 대한 연구 (A Study on Telemetry Data Processing based on Database Tables for LEO Satellites)

  • 이재승;신현규;천이진;윤정오
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.72-74
    • /
    • 2012
  • 위성의 상태를 모니터링하고 임무수행 준비 및 결과를 분석하기 위해 위성에서는 주기적으로 텔레메트리 프레임을 생성하여 지상으로 전송한다. 텔레메트리 프레임을 통해 많은 데이터가 전송될수록 정확한 위성의 상태 분석이 가능하고 위성 운용을 용이하게 할 수 있다. 그러나 위성에서 지상으로 전송할 수 있는 텔레메트리의 전송속도는 하드웨어의 성능에 따라 제한되며, 특히 저궤도 위성의 경우에는 지상과 교신이 가능한 시간이 짧다는 제약으로 인해 한정된 시간 안에 정해진 전송속도로 보낼 수 있는 데이터의 양에는 한계가 있다. 이러한 제약조건 하에서 최대한 많은 정보를 효율적으로 전송할 수 있도록 위성의 텔레메트리를 생성할 때 비트 정보들을 모아 하나의 바이트로 묶어서 텔레메트리 크기를 최소화하는 방법을 이용한다. 위성비행소프트웨어는 태스크 스케쥴링, 열제어, 전력제어, 자세제어, 원격명령처리, 원격측정데이터 처리 등의 기능별로 모듈화 되어있다. 각 모듈마다 텔레메트리로 전송되는 데이터들이 존재하고 비트 정보들을 모으는 기능도 해당하는 모듈에서 각각 담당한다. 따라서 각 모듈들이 독립적이지 못하고 텔레메트리 처리를 담당하는 모듈과 다른 모듈들 간의 커플링(coupling)이 존재하게 되어 하나의 텔레메트리 데이터 변경이 여러 모듈에 영향을 미치게 된다. 본 논문에서는 모듈들 간의 커플링을 최소화하고 텔레메트리의 변경사항이 위성비행소프트웨어 코드 자체에는 영향을 주지 않도록 하기위한 데이터베이스 테이블을 이용한 텔레메트리 처리 방안에 대하여 설명한다.

클라우드와 데이터 마이닝을 이용한 차량 분석 시스템 설계 (A design of a Vehicle Analysis System using cloud and data mining)

  • 정이나;손수락;김경덕;이병관
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.238-241
    • /
    • 2019
  • 본 논문에서는 차량에서 측정되는 모든 센서 데이터를 클라우드에 저장하고, 저장된 데이터를 분류 모델을 이용해 분석한 다음, 분석이 완료된 데이터를 실시간으로 운전자의 디스플레이에 제공하는 "클라우드와 데이터 마이닝을 이용한 차량 분석 시스템"을 설계한다. 제안하는 정보 분석을 위한 클라우드 서버는 차량에서 측정하는 센서 데이터를 클라우드 서버의 테이블에 저장하고 전달받은 데이터를 분석 모듈로 전달하는 센서 데이터 통신 모듈과 분류를 위해 전달받은 데이터를 학습 알고리즘을 이용해 분류한 분류 모델을 이용서 목적에 맞게 분석, 분류하고 운전자에게 실시간으로 정보를 제공하는 센서 데이터 분류 모듈로 구성된다. 제안된 정보 분석을 위한 클라우드 서버는 차량에서 수집되는 수많은 센서 데이터를 클라우드 서버에 저장하기 때문에 차량에 데이터가 과부하 되지 않고 데이터 분류를 위한 연산을 차량이 아닌 클라우드 서버에서 진행하기 때문에 데이터를 빠르고 효율적으로 관리할 수 있다. 또한, 운전자가 원하는 정보들을 디스플레이에 시각화하여 사람들의 자율주행차량에 대한 안정성을 증가시킬 수 있다.

  • PDF

레이저 무선전력전송 시스템의 MPPT 제어를 위한 배터리 충전 컨버터 개발 (Development of Battery Charging Converter for MPPT Control of Laser Wireless Power Transmission System)

  • 이성준;임남규;최원선;이용탁
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2020년도 전력전자학술대회
    • /
    • pp.334-335
    • /
    • 2020
  • 본 논문에서는 레이저 광원을 적용한 무선전력전송 시스템에 적용되는 PV 모듈의 출력 특성을 분석하고, PV 모듈로부터 최대 전력을 발생시키면서 배터리를 충전시킬 수 있는 컨버터 개발 결과를 제시한다. 먼저, 특정 파장에서 최대전력이 발생되도록 개발된 PV 수신모듈에 레이저 빔을 조사하였고, 레이저에 공급되는 전력 크기에 따른 PV 모듈의 전압-전류의 특성 데이터를 확보하였다. 전압/전류 특성 데이터로부터 PV 수신모듈의 소신호 저항을 분석하였고, 이를 컨버터 회로모델에 적용함으로써 제어기 설계를 위한 시스템의 전달함수를 유도하였다. 이로부터 레이저 일사량에 따른 전류원/전압원 전영역에서 PV 모듈의 입력전압을 안정적으로 제어할 수 있는 제어기를 설계함으로써 레이저 수신용 PV 모듈이 최대 전력을 발생시킬 수 있도록 하였다. 본 논문에서 제안된 방법은 MCU 제어기반 25W급 배터리 충전용 부스트 컨버터의 프로토타입 제품을 통해 실험 검증되었다.

  • PDF