• 제목/요약/키워드: 연산

검색결과 8,532건 처리시간 0.028초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

재배시기 이동에 의한 수도의 생태변이에 관한 연구 -I. 재배시기 이동에 의한 수도의 실용제형질의 변이- (Studies on the ecological variations of rice plant under the different seasonal cultures -I. Variations of the various agronomic characteristics of rice plant under the different seasonal cultures-)

  • 최현옥
    • 한국작물학회지
    • /
    • 제3권
    • /
    • pp.1-40
    • /
    • 1965
  • 본실험은 우리 나라 중부지방에 있어서의 수도의 재배 시기를 이동함에 따르는 실용제형질의 변화를 구명하기 위하여1958~'60년의 3개년에 걸쳐 농업시험장(현 작물시험장) 답작과(수원)에서 시행한 실험으로서 공시품종은 조만성, 초형 등 생태적특성을 달리하는 연산.수원 8002.오조.팔달 및 조광의 5품종을 공시하였으며, 파종기는 3월 2일 ~7월 10일까지를 10일 간격으로 14회에 걸쳐 파종하였고, 또 각 파종기마다 각각 못자리 일수를 30일, 40일, 50일, 60일, 70일 및 8일묘로 하여 이앙하여 실험하였다. 그 결과를 요약하면 다음과 같다. 1. 출수기 : 1) 파종기가 지연됨에 따라서 출수기도 거의 일직선으로 지연되나, 그 정도는 조생종에서 크고 만생종은 작으며, 또 못자리 일수가 길어짐에 따라서 커진다. 2) 출수까지의 일수는 각 품종 모두 파종기의 지연에 따라서 거의 일직선으로 단축하나, 품종에 따라 그 정도의 차이가 있어서 조생종은 단축일수가 작고 만생종이 크다. 그리고 동일품종 내에서도 못자리 일수가 길어짐에 따라 단축일수는 작아졌다. 또 최단축일수에 도달하는 시기도 조생종은 빠르나 만생종은 늦어진다. 또 못자리 일수가 긴 구에서 그 시기는 빨라진다. 품종 및 못자리 일수에 따라 차이가 있으나 어느 시기 이후의 파종기가 되면 단축을 나타내지 않게 되고, 다시 파종기가 늦어지면 한냉한 기후의 영향을 받아 출수일수는 오히려 연장된다. 3) 파종기(X)와 출수까지의 일수(Y)와의 회귀직선식 Y=a+bX의 계수 b(출수일수단축율)와 평균일수일수와는 고도의 상관이 인정되며, 평균출수일수가 클수록, 즉 만생종일수록 파종기의 지연에 의한 출수촉진일수가 컸었다. 4) 어느 품종의 파종기가 동일역일이면 못자리 일수가 극단으로 길지 않은 범위 내에서는(파종기의 지연에 따라서 출수까지의 일수가 직선적으로 단축되는 범위내에서의) 출수일수의 년차간의 변이는 크지 않으므로 목적하는 품종에 대한 수회의 파종기에 걸쳐 출수기의 변동을 조사하여 실험식(파종기와 출수까지의 일수와의 회귀직선식)을 구해 두면 임의의 재배시기에 있어서의 출수기를 추정할 수 있다. 5) 파종기가 3월하순~6월중순, 못자리 일수가 30~50일의 범위에서는 보통기재배에 있어서의 품종의 출수기의 조만을 가지고 그 전후에 해당하는 파종기에 있어서의 각각의 품종에 대한 출수기를 추정할 수 있다. 2. 성숙기 : 6) 출수기가 지연됨에 따라서 성숙한계 출수기의 범위 내에서는 성숙기도 거의 일직선으로 지연된다. 그 정도는 품종 및 못자리 일수의 장단에 의한 차이가 크다. 평균온도의 영향을 받는 범위 내에서는 출수기(X)가 지연됨에 따라서 성숙기간 중의 평균온도(Y)는 그것에 따라서 저하하며 품종간에 차이가 있으나, 전체적으로 보아 양자의 관계를 8월 1일부터 9월 13일까지의 범위에서는 Y=25.53-0.182X의 회귀직선식으로 나타낼 수 있다. 7) 품종의 조만생에 의한 성숙기간에 있어서의 평균온도의 차이가 심하며, 조생종은 최고 28$^{\circ}C$의 고온에서 경과하나 만생종은 22$^{\circ}C$에 불과하다. 8) 성숙기간중의 평균온도(X)와 성숙일수와의 관계는 극히 높은 상관이 인정되며, 양자의 관계를 Y=82.30-1.55X의 회귀직선식으로 표시할 수 있었다. 성숙기간중의 평균기온이 18~28$^{\circ}C$의 범위 내에서는 온도가 1$^{\circ}C$ 상승함에 따라서 성숙일수는 1.55일 단축되는 결과가 되며, 품종별로는 관산이 2.24일로서 단축정도가 컸고, 수원 8002가 0.78일로서 가장 적었다. 따라서 수원지방에 있어서는 평균온도가 18~28$^{\circ}C$의 범위에서는 온도가 상승함에 따라 성숙속도가 빨라진다고 할 수 있다. 9) 각 파종기별로 본 출수까지의 일수(X)에 대한 성숙기간중의 적산온도(Y)와의 관계는 거의 완전한 정의 상관관계가 있고, 성숙기간중의 적산온도는 어느 범위 내에 있어서의 파종기의 이동에 의한 차이는 비교적 작다. 3. 간장 및 수장 : 10) 품종간의 차이는 있으나 비교적 조파가 된 구간에는 간장에 큰 변화는 없으나 계속 파종기가 지연되어 만파가 되면 공시품종 모두 간장의 감소가 뚜렷해졌다. 또 간장의 감소정도는 약묘에서 완만할 뿐만 아니라, 5월 21일~6월 10일 파종과 같이 비교적 만파를 하더라도 별로 감소되지는 않으나, 80일묘와 같은 노숙묘인 때는 보통기재배에서도 급격히 감소한다. 11) 수장의 변화도 간장과 동일한 경향을 보이나 파종기의 지연에 의한 수장의 변화는 30~40일묘에서는 거의 인정되지 않았고, 못자리 일수가 길어지면 수장의 감소가 뚜렷해진다. 4. 수수 : 12) 파종기가 지연됨에 따라서 일정한 시기까지 계속수수는 감소하다가 어느 시기 이후가 되면 새로이 고차분얼의 다량발생으로 수수가 증가한다. 그 시기는 못자리 일수에 따라 차이가 있으며, 30~40 일묘는 5월 31일~6월 10일 파종기인 만파에서 수수가 최대로 감소하며, 70~80일묘의 경우 4월 11일~4월 21일의 파종기에서 이미 수수가 최대로 감소한다. 5. 지경수 : 13) 지경수는 파종기가 지연됨에 따라서 어느 일정한 시기까지는 변화가 없으나, 그 시기가 지나면 수당지경수의 감소가 현저하다. 14) 지경수가 감소되기 시작하는 시기도 30~40 일묘에서는 5월 3일 이후의 파종기가 되나, 80일묘의 경우 5월 31일 파종에서 이미 감소될 뿐만아니라, 5월 31일 파종이 되면 지경수가 3~4개에 불과하였다. 6. 비중과 천입중 : 15) 파종기의 이동에 따라 비중은 서서히 증가하나 어느 시기를 넘으면 급격히 증가하며, 이를 2개의 상이한 회귀직선으로 표시할 수 있다. 16) 이 양직선이 교차되는 지점을 성숙가능한계기로 보면 이 시기는 못자리 일수와 밀접한 관계가 있어서 30~40일묘는 6월 10일 반중기에 해당하나, 70~80일묘에서는 5월 1일로서 못자리 일수가 길어짐에 따라 성숙한계기는 당겨진다. 17) 천입중은 보통기재배에서 가장 무겁고 극조기재배를 하거나 만기재배에서 천입중은 저하한다. 7. 고중 및 완전정조중 : 18) 품종의 조만에 큰 영향없이 III~IV 파종기까지의 조기재배 하에서는 못자리 일수의 장단에 의한 고중의 큰 변이는 없으나, 파종기가 계속 이동하여 보통기재배가 되면 못자리 일수가 길어짐에 따라 차차 고종이 감소되어 오다가 만파가 되자 그 감소정도가 급격해졌다. 19) 파종기(X)와 정조수량(Y)과의 관계는 품종ㆍ못자리 일수를 종합하여 직선에 가까운 포물선으로 나타낼 수 있었다(Y=77.28-7.44X$_1$-1.001X$_2$). 따라서 조파시에는 정조수량의 변이가 작으나 어느 시기보다 파종기가 늦어짐에 따라서 정조수량은 감소하며, 그 정도는 만파인 경우에 심하고, 또 못자리 일수가 길어짐에 따라 더욱 현저하다. 20) 출수일수(X)에 대한 정조수량(Y)의 관계는 품종ㆍ못자리 일수를 구별하지 않고 보아다 회귀직선식으로써 나타낼 수 있었으나, 출수일수가 60~110일 정도까지는 조생종이 수량이 많고 만생종은 만기재배에 해당하므로 정조중의 감소가 심하였고, 출수일수가 140일 정도 이상이 되면 정조중이 거의 증가하지 않은 경향이 뚜렷하였다.

  • PDF