• 제목/요약/키워드: 전송 성능

검색결과 7,256건 처리시간 0.032초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

HBR-Tree를 이용한 실시간 모바일 GIS의 개발 (Development of a Real-Time Mobile GIS using the HBR-Tree)

  • 이기영;윤재관;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제6권1호
    • /
    • pp.73-85
    • /
    • 2004
  • 최근 들어 무선 인터넷이 발전하고, PDA, HPC의 보급이 늘어남에 따라 GIS(Geographic Information System)와 관련된 연구 및 개발이 점차적으로 위치 기반 서비스(LBS: Location Based Service)를 제공하기 위한 실시간 모바일 GIS로 변화해 가고 있다. LBS를 효과적으로 제공하기 위해서는 이동 객체의 동적인 상황을 효과적으로 처리할 수 있는 실시간 GIS 플랫폼과 위치 데이타의 특성을 반영한 위치 인덱스가 필요하다. 위치 데이타는 이전의 GIS에서 사용되는 것과 동일한 데이타 타입(예, 점)이 사용되지만 위치 데이타의 관리는 이전 GIS와는 다른 처리 방식을 사용해야 한다. 이를 위하여 본 논문에서는 대용량의 위치 데이타를 효율적으로 처리할 수 있는 HBR-tree를 이용한 실시간 모바일 GIS의 개발에 대하여 연구하였다. 본 연구에서 개발된 실시간 모바일 GIS는 HBR-tree와 실시간 GIS 플랫폼으로 구성되어 있다. HBR-tree는 R-tree와 공간 해쉬가 결합된 위치 인덱스이다. 그러므로, 위치 데이타가 빈번하게 변경되더라도 갱신 연산은 HBR-tree의 동일한 해쉬 테이블에서 일어나기 때문에 다른 트리 기반 인덱스에 비하여 갱신 연산이 적으며, 검색 연산은 R-tree의 검색 메커니즘을 이용하기 때문에 공간 데이타를 신속하게 검색할 수 있다. 본 논문에서 실시간 GIS 플랫폼은 주기억장치 데이타베이스 시스템의 기능이 확장된 실시간 GIS 엔진, 공간 및 비공간 데이타를 서버와 클라이언트로 전송하기 위한 미들웨어, 그리고 모바일 장치에서 동작하는 모바일 클라이언트로 구성되어 있다. 특히, 본 논문에서는 실험적 방법을 사용하여 HBR-tree와 실시간 GIS 엔진의 성능 평가 결과에 대해서도 기술하였다. 확보하며 이루어져야 가능하다. 여러 지자체를 중심으로 수행된 지자체 GIS 감리와 컨설팅의 경험을 통해 도출된 문제점들을 일반화시켜 정리하였으며, 이를 통해 지자체 GIS사업의 추진 및 운영모델을 제시하였다. 표시할 수 있음으로서 의사결정에 보다 많은 도움을 줄 수 있을 것이다. 비트율의 증가와 화질 열화는 각각 최대 1.32%와 최대 0.11dB로 무시할 수 있을 정도로 작음을 확인 하였다.을 알 수 있었다. 현지관측에 비해 막대한 비용과 시간을 절약할 수 있는 위성영상해석방법을 이용한 방법은 해양수질파악이 가능할 것으로 판단되며, GIS를 이용하여 다양하고 복잡한 자료를 데이터베이스화함으로써 가시화하고, 이를 기초로 공간분석을 실시함으로써 환경요소별 공간분포에 대한 파악을 통해 수치모형실험을 이용한 각종 환경영향의 평가 및 예측을 위한 기초자료로 이용이 가능할 것으로 사료된다.염총량관리 기본계획 시 구축된 모형 매개변수를 바탕으로 분석을 수행하였다. 일차오차분석을 이용하여 수리매개변수와 수질매개변수의 수질항목별 상대적 기여도를 파악해 본 결과, 수리매개변수는 DO, BOD, 유기질소, 유기인 모든 항목에 일정 정도의 상대적 기여도를 가지고 있는 것을 알 수 있었다. 이로부터 수질 모형의 적용 시 수리 매개변수 또한 수질 매개변수의 추정 시와 같이 보다 세심한 주의를 기울여 추정할 필요가 있을 것으로 판단된다.변화와 기흉 발생과의 인과관계를 확인하고 좀 더 구체화하기 위한 연구가 필요할 것이다.게 이루어질 수 있을 것으로 기대된다.는 초과수익률이 상승하지만, 이후로는 감소하므로, 반전거래전략을 활용하는 경우 주식투자기간은 24개월이하의 중단기가 적합함을 발견하였다. 이상의 행태적 측면과 투자성과측면의 실증결과를 통하여 한국주식시장에 있어서 시장수익률을 평균적으로 초과할 수

  • PDF

LTE 기반 V2V 환경에서 새로운 채널 추정 기법 (Novel LTE based Channel Estimation Scheme for V2V Environment)

  • 추명훈;문상미;권순호;이지혜;배사라;김한종;김철성;김대진;황인태
    • 전자공학회논문지
    • /
    • 제54권3호
    • /
    • pp.3-9
    • /
    • 2017
  • 최근 3GPP에서는 급증하는 차량 사고에 대처하고, 교통 효율, 텔레매틱스와 인포테인먼트를 제공하기 위해 LTE(Long Term Evolution) 기반 차량 통신에 대한 연구가 활발히 진행되고 있다. 차량 통신은 안전과 밀접한 관련이 있기 때문에, 신뢰성 있는 통신을 필요로 한다. 하지만 차량의 속도는 매우 빠르기 때문에 기존 사용자의 이동성과는 달리 무선 채널이 시간에 따라 빠르게 변하게 되어 전송 품질 저하 등 많은 문제가 발생하게 된다. 본 논문에서는 LTE 기반 V2V(Vehicle-to-Vehicle) 환경에서 채널 추정 기법을 제안한다. 기존 기법인 LS(Least Square) 채널 추정은 송 수신단이 알고 있는 파일럿 심볼을 이용해 얻어지며, DDCE(Decision Directed Channel Estimation)는 데이터 심볼을 이용해 채널 추정을 하고, CDP(Constructed Data Pilot) 기법은 인접한 두 데이터 심볼 사이에서 상관이 큰 특성을 이용하며, 그리고 STA(Spectral Temporal Averaging) 기법은 주파수와 시간 영역에서 채널을 평균을 취한다. 또한 Smoothing 기법은 데이터 결정 오류에 의한 최대치를 줄여준다. 제안기법인 HRCE(Hybrid Reliable Channel Estimation)는 기존의 Smoothing 기법에 LMMSE(Linear Minimum Mean Square Error)를 적용함으로써 더 정확한 채널 추정이 이루어져 신뢰성 있는 데이터 검출을 가능하게 한다. 모의실험 결과, 제안한 기법이 NMSE(Normalized Mean Square Error)와 BER(Bit Error Rate) 측면에서 전체적으로 성능이 향상 된 것을 볼 수 있다.

장애물 인식 지능을 갖춘 자율 이동로봇의 구현 (Implementation of a Self Controlled Mobile Robot with Intelligence to Recognize Obstacles)

  • 류한성;최중경
    • 대한전자공학회논문지SP
    • /
    • 제40권5호
    • /
    • pp.312-321
    • /
    • 2003
  • 본 논문은 장애물을 인식하고 회피하면서 목적지까지 자율적으로 이동할 수 있는 로봇을 구현한 논문이다. 우리는 본 논문에서 영상처리보드의 구현이라는 하드웨어적인 부분과 자율 이동로봇을 위한 영상궤환 제어라는 소프트웨어의 두 가지 결과를 나타내었다. 첫 번째 부분에서, 영상처리를 수행하는 제어보드로부터 명령을 받는 로봇을 나타내었다. 우리는 오랫동안 CCD카메라를 탑재한 자율 이동로봇에 대하여 연구해왔다. 로봇의 구성은 DSP칩을 탑재한 영상보드와 스텝모터 그리고 CCD카메라로 구성된다. 시스템 구성은 이동로봇의 영상처리 보드에서 영상을 획득하고 영상처리 알고리즘을 수행하고 로봇의 이동경로를 계산한다. 이동로봇에 탑재된 CCD카메라에서 획득한 영상 정보는 매 샘플링 시간마다 캡쳐한다. 화면에서 장애물의 유무를 판별한 후 좌 혹은 우로 회전하여 장애물을 회피하고 이동한 거리를 Feedback하는 시스템을 구현하여 초기에 지정한 목표지점가지 로봇이 갈 수 있도록 간략한 경로를 계획하여 절대좌표를 추적해 나가는 알고리즘을 구현한다. 이러한 영상을 획득하고 알고리즘을 처리하는 영상처리 보드의 구성은 DSP (TMS320VC33), ADV611, SAA7111, ADV7176A, CPLD(EPM7256ATC144), SRAM 메모리로 구성되어 있다. 두 번째 부분에서는 장애물을 인식하고 회피하기 위하여 두 가지의 영상궤환 제어 알고리즘을 나타낸다. 첫 번째 알고리즘은 필터링, 경계검출 NOR변환, 경계치 설정 등의 영상 전처리 과정을 거친 영상을 분할하는 기법이다. 여기에서는 Labeling과 Segmentation을 통한 pixel의 밀도 계산이 도입된다. 두 번째 알고리즘은 위와 같이 전처리된 영상에 웨이브렛 변환을 이용하여 수직방향(y축 성분)으로 히스토그램 분포를 20 Pixel 간격으로 스캔한다. 파형 변화에 의하여 장애물이 있는 부분의 히스토그램 분포는 거의 변동이 없이 나타난다. 이러한 특성을 분석하여 장애물이 있는 곳을 찾아내고 이것을 회피하기 위한 알고리즘을 세웠다. 본 논문은 로봇에 장착된 한 개의 CCD 카메라를 이용하여 장애물을 회피하면서 초기에 설정해둔 목적지가지 도달하기 위한 알고리즘을 제안하였으며, 영상처리 보드를 설계 및 제작하였다. 영상처리 보드는 일반적인 보드보다 빠른 속도(30frame/sec)와 해상도를 지원하며 압축 알고리즘을 탑재하고 있어서 영상을 전송하는 데에 있어서도 탁월한 성능을 보인다.

애드-혹 네트워크에서의 확장성 있는 다중점 대 다중점 라우팅 프로토콜 ((A Scalable Multipoint-to-Multipoint Routing Protocol in Ad-Hoc Networks))

  • 강현정;이미정
    • 한국정보과학회논문지:정보통신
    • /
    • 제30권3호
    • /
    • pp.329-342
    • /
    • 2003
  • 기존의 애드-혹 네트워크를 위한 멀티캐스트 프로토콜들에서는 송신원 수가 많은 경우의 프로토콜 효율성을 고려하지 않아, 송신원 수가 많아지는 경우 프로토콜 오버헤드가 지나치게 커지거나, 데이타 전달율이 저하되는 결과를 가져올 수 있다. 이에 본 논문에서는 멀티캐스트 그룹의 송신원 수에 대한 확장성을 고려한 애드-혹 네트워크를 위한 멀티캐스트 라우팅 프로토콜을 제안한다. 제안하는 프로토콜은 송신원 중 일정 비율을 코어 송신원으로 선택하고, 선출된 코어 송신원을 루트로 하여 각 코어 송신원으로부터 멀티캐스트 그룹의 모든 수신원에 이르는 코어 송신원별 트리를 구성한다. 이렇게 구성된 코어 송신원별 트리의 합집합으로 데이타 전달 메쉬를 형성하고, 일반 송신원들은 가장 가까운 곳에 위치한 코어 송신원을 선택하여 해당 코어 송신원을 통해 데이타 패킷을 전송하게 된다 제안하는 프로토콜이 효율적으로 동작하기 위해서는 적절한 수의 코어 송신원을 선출하는 것이 중요하다. 너무 많은 수의 코어 송신원을 선출하게 되면, 데이타 전달 경로를 유지하기 위해 코어 송신원이 주기적으로 플러딩하는 제어 메시지 오버헤드나 불필요한 중복 데이타 패킷 오버헤드가 과다하게 된다. 반면에 너무 적은 수의 코어 송신원은 호스트의 이동성에 대해서 안정적인 경로를 제공하지 못하고 전달 트리 상에 과부하가 발생할 수 있어 데이타 전달율을 저하시키는 결과를 가져온다. 제안하는 프로토콜은 코어 송신원이 주기적으로 플러딩하는 제어 메시지를 통해 데이타 전달 메쉬를 최적으로 재구성하고, 주기적인 최적 재구성 기간 사이에는 지속적인 메쉬의 연결 유지를 위해 국부적 메쉬 재구성을 수행한다. 시뮬레이션을 통하여 기존에 제안된 프로토콜들과 성능을 비교한 결과, 제안하는 프로토콜이 멀티캐스트 그룹의 송신원 수가 많은 경우에 데이터 전달율 및 오버헤드 측면에서 보다 효율적인 멀티캐스트 통신을 제공함을 알 수 있었다.화에 따른 이방성 에너지를 계산하였으며, 150 K에서 124.01 erg/$cm^3$로 최대값을 갖음을 알 수 있었다.다.었다.었다.다.었다.시료는 황산염 환원반응을 거쳐 $10{\textperthousand}$이상의 높은 ${\delta}^{34}S$ 값을 보이고, $7{\textperthousand}$ 내외의 ${\delta}^{34}S$ 값을 보이는 지하수는 황철석과 대기기원 외에도 인위적 오염에 의한 황 성분의 유입 가능성을 배제할 수 없다.해지는 것을 방지 할 수 있었다. 5. 주관적 감각으로 온냉감, 습윤감, 쾌적감, 피로감을 측정하였는데 유공안전모 착용시가 무공안전모 착용시보다 더 낮은 주관적 감각 수치를 나타내어 착용감이 더 좋았음을 알 수 있었다. 또한 근력측정에서 무공안전모 착용시가 유공안전모 착용시 보다 평가 수치 가 낮게 나타나 더 피로한 것을 알수 있다. 이상의 결과에서 통기를 목적으로 구멍을 뚫어놓은 유공작업안전모가 심부온, 피부온, 혈압, 심박수, 발한량, 모자내 기후 등의 인체생리반응을 고려해 볼 때 더 바람직한 작업 안전모 형태라는 것을 알 수 있었다. 종래의 작업과 관련한 피복연구에서 작업복, 장갑, 신발에 대하여는 생리학적 연구가 이루어졌으나, 안전모에 관한 연구에서는 생리학적인 부분을 고려하지 않고 단지 안전 보호측면에서의 연구가 이루어졌을 뿐이었다. 따라서 서열환경하에서 머리부분의 쾌적성을 고려한 다양한 작업 안전모에 대한 계속적인 연구와 개발이 이루어진다면 물리적 측면에서 작업 안전을 만족시킬 뿐만 아니라 생리적 측면에서 체열 평형을 도모하여 작업 능률의 향상을 가져올 것이다.나타났다(p<0.01). 남성들은 여성에 비해 소주를, 여성들은 남성에 비해 맥주를 즐겨 마셨으며 (p<0.001), 21~30세에서는 소주보다 맥주를,

포크 형태의 개방형 스터브 및 SIR 구조를 이용한 이중대역 대역통과 여파기의 설계 (Design of a Dual Band-pass Filter Using Fork-type Open Stubs and SIR Structure)

  • 이태현
    • 한국ITS학회 논문지
    • /
    • 제22권1호
    • /
    • pp.252-264
    • /
    • 2023
  • 본 논문은 λg/2 개방형 SIR 구조와 전송선로와 대칭 및 비대칭 개방형 스터브를 가진 포크-형태의 구조를 일체화한 이중대역 대역통과 여파가 설계에 대해 제안을 한다. 이중대역 효과를 얻기 위해, 제안된 여파기는 SIR 구조를 이용했고, SIR 구조의 임피던스 비율을 조절한다. 그러므로 여파기의 고조파는 임피던스 비율의 조절을 통해 위치가 이동하게 되며 이는 이중대역 효과를 얻을 수 있다. 이중대역 특성을 얻기 위해 SIR 구조를 반으로 나눈 상태에서 SIR 구조 사이에 개방형 스터브를 삽입하여 이중대역 효과를 얻는다. 또한 포크 형태의 구조에서 개방형 대칭 스터브의 길이를 조절함으로써 두 번째 주파수 응답을 얻는다. 포크 형태에서 비대칭 개방형 스터브는 길이의 조절을 통해 최적의 대역폭을 얻는다. 그러므로 제안된 대역통과 여파기의 첫 번째 중심 주파수는 5.896 GHz이며 대역폭은 13.6 % 이다. 이때, 측정 결과는 0.13 dB 및 33.6 dB이다. 두 번째 중심 주파수는 5.906 GHz이며 대역폭은 13.6 % 이다. 이때, 측정 결과는 0.15 dB 및 19.8 dB이다. 그 이유는 임피던스 비율(Δ)이 1보다 높으면 고조파의 위치는 낮은 주파수 대역으로 이동하게 된다. 그러나 임피던스 비율(Δ)이 1보 낮아지게 된다면 고조파의 위치는 높은 주파수 대역으로 이동하게 될 것이다. 이러한 특징을 이용하여 설계된 여파기의 기능은 측정 결과에서 얻을 수 있다. 제안한 대역통과 여파기는 입출력의 결합구조와 비아 홀이 없기 때문에 결합손실과 비아 에너지 집중 손실이 없다. 그러므로 성능이 우수하여 시스템 집적화가 가능하며 교통통신 시스템에서 활용되는 DSRC (dedicated short-range communication) 시스템 응용이 가능할 것으로 기대된다.