• Title/Summary/Keyword: 모듈형 관리기

Search Result 61, Processing Time 0.031 seconds

Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment (클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현)

  • Kim, Myoungjin;Han, Seungho;Cui, Yun;Lee, Hanku
    • Journal of Internet Computing and Services
    • /
    • v.14 no.6
    • /
    • pp.71-84
    • /
    • 2013
  • Log data, which record the multitude of information created when operating computer systems, are utilized in many processes, from carrying out computer system inspection and process optimization to providing customized user optimization. In this paper, we propose a MongoDB-based unstructured log processing system in a cloud environment for processing the massive amount of log data of banks. Most of the log data generated during banking operations come from handling a client's business. Therefore, in order to gather, store, categorize, and analyze the log data generated while processing the client's business, a separate log data processing system needs to be established. However, the realization of flexible storage expansion functions for processing a massive amount of unstructured log data and executing a considerable number of functions to categorize and analyze the stored unstructured log data is difficult in existing computer environments. Thus, in this study, we use cloud computing technology to realize a cloud-based log data processing system for processing unstructured log data that are difficult to process using the existing computing infrastructure's analysis tools and management system. The proposed system uses the IaaS (Infrastructure as a Service) cloud environment to provide a flexible expansion of computing resources and includes the ability to flexibly expand resources such as storage space and memory under conditions such as extended storage or rapid increase in log data. Moreover, to overcome the processing limits of the existing analysis tool when a real-time analysis of the aggregated unstructured log data is required, the proposed system includes a Hadoop-based analysis module for quick and reliable parallel-distributed processing of the massive amount of log data. Furthermore, because the HDFS (Hadoop Distributed File System) stores data by generating copies of the block units of the aggregated log data, the proposed system offers automatic restore functions for the system to continually operate after it recovers from a malfunction. Finally, by establishing a distributed database using the NoSQL-based Mongo DB, the proposed system provides methods of effectively processing unstructured log data. Relational databases such as the MySQL databases have complex schemas that are inappropriate for processing unstructured log data. Further, strict schemas like those of relational databases cannot expand nodes in the case wherein the stored data are distributed to various nodes when the amount of data rapidly increases. NoSQL does not provide the complex computations that relational databases may provide but can easily expand the database through node dispersion when the amount of data increases rapidly; it is a non-relational database with an appropriate structure for processing unstructured data. The data models of the NoSQL are usually classified as Key-Value, column-oriented, and document-oriented types. Of these, the representative document-oriented data model, MongoDB, which has a free schema structure, is used in the proposed system. MongoDB is introduced to the proposed system because it makes it easy to process unstructured log data through a flexible schema structure, facilitates flexible node expansion when the amount of data is rapidly increasing, and provides an Auto-Sharding function that automatically expands storage. The proposed system is composed of a log collector module, a log graph generator module, a MongoDB module, a Hadoop-based analysis module, and a MySQL module. When the log data generated over the entire client business process of each bank are sent to the cloud server, the log collector module collects and classifies data according to the type of log data and distributes it to the MongoDB module and the MySQL module. The log graph generator module generates the results of the log analysis of the MongoDB module, Hadoop-based analysis module, and the MySQL module per analysis time and type of the aggregated log data, and provides them to the user through a web interface. Log data that require a real-time log data analysis are stored in the MySQL module and provided real-time by the log graph generator module. The aggregated log data per unit time are stored in the MongoDB module and plotted in a graph according to the user's various analysis conditions. The aggregated log data in the MongoDB module are parallel-distributed and processed by the Hadoop-based analysis module. A comparative evaluation is carried out against a log data processing system that uses only MySQL for inserting log data and estimating query performance; this evaluation proves the proposed system's superiority. Moreover, an optimal chunk size is confirmed through the log data insert performance evaluation of MongoDB for various chunk sizes.

Design and Implementation of a TV-Anytime System for Personalized service supporting the Web Service (웹 서비스를 지원하는 TV-Anytime 개인화 서비스 시스템의 설계 및 구현)

  • Jong-Seol Lee;Seok-Pil Lee;Sa-Im Sin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.788-791
    • /
    • 2008
  • 본 논문에서는 TV-Anytime Forum에서 정의된 양방향 환경에서의 사용자 정보에 기반한 맞춤형 콘텐츠 및 광고 서비스를 설계 및 구현한다. 구현된 시스템은 TV-Anytime Forum 표준을 만족하며, 콘텐츠의 로케이션 리졸빙, 멀티미디어 콘텐츠의 추천 등을 지원한다. 이를 위하여 메타데이터 저장 모듈, 개인화 TV 에이전트, 사용자 콘텐츠 사용정보 생성기 등을 구현했으며, 클라이언트 단말에서는 SOAP 오퍼레이션을 통해 콘텐츠 정보를 수집한다. 클라이언트에서는 사용자 정보를 생성 및 관리하며 이를 바탕으로 사용자에게 적합한 콘텐츠 및 광고 정보를 추천한다.

Development of ICT based Quantity Monitoring Technology (ICT기반 수량 모니터링 기술 개발)

  • Jun Ho Kang;Ki Cheol Kim;Hyeon Yong Jeong;Jong Gun Kim;Min Hwan Shin
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.470-470
    • /
    • 2023
  • 하천 및 저수지의 수량자료 수집을 위해 부자식 또는 레이더식 수위계 등의 계측기를 이용하여 수위의 변화를 측정한다. 그러나, 수량 모니터링을 위해 설치되는 계측기와 유지관리를 위한 인력소모 비용의 이유로 일부 지역에서만 제한적으로 수행되고 있어 정확한 수문 해석에 한계가 있다. 이에 본 연구에서는 저가의 센싱장비와 라즈베리파이를 활용한 ICT 기술을 수량 모니터링분야에 적용하여 수위 모니터링 기술을 개발하고자 한다. 라즈베리파이(Raspberry Pi 3 B Model)는 오픈소스 기반의 초소형 컴퓨터로 여러 센서를 연결하여 다양한 수문 인자(토양수분, 온도, 수위 등)들을 측정할 수 있으며, 통신 모듈이 기본 내장되어 있어 통신망 구축을 통해 측정데이터를 데이터베이스에 저장할 수 있다. 수위센서(eTape)와 초음파센서를 연결하여 실제 하천 유량 모니터링에 활용되고 있는 부자식 수위계 장비와 비교 분석을 통해 활용 가능성을 검증하고자 하였다. 검증방법은 인공강우실험을 위해 설치된 플륨관에 수위센서(eTape)와 초음파센서를 부착하여 기존 운영중인 부자식 수위계와 비교하였다. 부자식 수위계의 측정결과와 두 센서의 상관관계를 분석한 결과 결정계수(R2)가 0.94 이상으로 나타났다. 분석결과와 같이 기존 고가의 수위 관측장비들을 대체하여 저가의 센서 기반 모니터링 장비들의 실용화가 가능할 것이라 판단된다. 향후 연구에서는 다양한 센서(수위, 초음파, 카메라 등)를 이용하여 농업용수 물수지 분석에 활용할 계획이다. 농업용수는 수자원 총량 중 차지하는 비율이 높음에도 불구하고 정량적 데이터가 부족한 실정이며, 지역별 공급 특성이 다양하여 이를 계량화하기 위해서는 다수의 계측기가 필요하다. 따라서, 본 연구에서 개발중인 센서를 활용하여 물순환 과정의 정량적인 계측을 통해 농업용수의 효율적인 관리 및 농업용수의 하천기여도 평가 자료로 활용될 수 있을 것으로 판단된다.

  • PDF

Design and Implementation of An Automatic Telemetering/Rate Notification System Using CDMA Mobile Communication Modules (CDMA 이동통신모듈을 이용한 원격자동검침 및 요금통보 시스템의 설계 및 구현)

  • Kang, Chang-Soon;Kim, Soo-Jeong;Ko, Eun-Young
    • Journal of Korea Multimedia Society
    • /
    • v.11 no.7
    • /
    • pp.977-985
    • /
    • 2008
  • This paper is concerned with automatic telemetering system which reads the consumed quantity of electricity, gas, and piped water. The existing metering method such that a meterman visits households and directly reads meters can cause several problems, including violation of privacy and the possibility of criminal accident, as well the inefficiency in viewpoint of system operation and rate notification. In this paper, we propose a new automatic telemetering and rate notification system, in which the system reads several meters at remote locations and notifies the rates to the customer's cellular phone with short message service(SMS). The proposed system has been developed by using CDMA mobile communication modules and personal computers. This system can operate only with cellular communication network even without wired-internet facilities. In particular, the developed system can provide home security and convenience as well as cost reduction, and thus be applied to intelligent home networks.

  • PDF

The Development of Window Operating EMTP Package Using Matlab (매트랩을 사용한 윈도우 구동형 EMTP 패키지의 개발)

  • 이재용
    • Journal of the Korean Institute of Telematics and Electronics T
    • /
    • v.36T no.3
    • /
    • pp.79-84
    • /
    • 1999
  • The existing EMTP(Electromagnetic Transients Program) is writted by FORTRAN-77, has a closed architecture and uses a large number of code lines to satisfy requirements ranging from low level data manipulation to the actual solution mathematics which eventually become diluted and almost impossible to visualize. Thus has a difficulty in the development and maintenenace of its program module. This paper proposes a new design idea suitable (or a re-development of EMTP using the MATLAB and VISUAL-C++, which presents the development of the new EMTP package is operated in the window environment. The package has the GUI(Graphic User Interface) ability, and the MATLAB computation engine for an analysis of a transient state in an electric circuit.

  • PDF

마이크로볼로미터 센서용 진공패키지 조립공정 특성평가

  • Park, Chang-Mo;Han, Myeong-Su;Sin, Gwang-Su;Go, Hang-Ju;Kim, Seon-Hun;Gi, Hyeon-Cheol;Kim, Hyo-Jin
    • Proceedings of the Korean Vacuum Society Conference
    • /
    • 2010.02a
    • /
    • pp.252-252
    • /
    • 2010
  • 적외선 센서는 빛의 유무에 관계없이 주 야간 전방의 물체에서 발산하는 미약한 적외선(열선)을 감지하여 영상으로 재현하는 열상시스템은 자동차 야간 운전자 보조용 나이트 비젼, 핵심 시설의 감시 관리, 군수 등의 분야에 적용되어지고 있는 최첨단, 고부가가치를 지니고 있는 기술이다. 양자형은 센서 특성은 좋으나 냉각기(작동온도: $-196^{\circ}C$) 및 고진공 패키지인 dewar를 사용하는 반면에, 열형은 대부분 상온에서 동작되는 온도안정화를 위한 전자냉각모듈만을 구비하면 되므로 저가형으로 제작이 가능한 비냉각형 적외선 센서이다. 본 연구에서는 적외선 센서용 진공패키지 조립공정 및 패키지된 센서의 측정기술을 개발하였다. 금속 메탈패키지를 제작하였으며, 금속 진공패키지는 소자냉각용 TE Cooler와 장수명 진공유지를 위한 getter, 그리고 센서칩, 온도센서를. 장착하여 칩을 조립하였다. Cap ass'y와 base envelop의 솔더링 공정을 수행하였으며, 진공패키지의 진공유지를 위해 TMP를 이용하여 진공을 유지하고, 약 5일동안 패키지 bake-out을 수행하였다. 진공압력은 $10^{-7}\;torr$ 이하를 유지하였으며, getter를 활성화시키고, pinch-off 공정으로 조립 ass'y를 완성하였다. 진공 패키지의 기밀성은 He leak tester를 이용하여 측정하였으며, ${\sim}10^{-9}\;std.cm^3/sec$로 기밀성을 유지하였다. TE cooler를 작동한 온도안정성은 0.05 K 이하였다. 볼로미터 센서의 반응도는 $10^2\;V/W$ 이상을 나타내었으며, 탐지도는 $2{\times}10^8cm-Hz^{1/2}/W$를 나타내었다. 본 연구를 통하여 얻어진 결과는 향후 2차원 열영상용 어레이 검출기 및 웨이퍼수준의 패키징 공정에 유용하게 응용될 것으로 판단된다.

  • PDF

A Repository Utilization System to optimize maintenance of IIoT-based main point Utilities (IIoT 기반한 핵심유틸리티의 유지보수 최적화를 위한 공동 활용 시스템)

  • Lee, Byung-Ok;Lee, Kun-Woo;Kim, Young-Gon
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.21 no.5
    • /
    • pp.89-94
    • /
    • 2021
  • Recently, manufacturing companies are introducing many intelligent production processes that apply IIoT/ICT to improve competitiveness, and a system that maintains availability, improves productivity, and optimizes management costs is needed as a preventive measure using environmental data generated from air ejectors. Therefore, in this study, a dedicated control board was developed and LoRa communication module was applied to remotely control it to collect and manage information about compressors from cloud servers and to ensure that all operators and administrators utilize common data in real time. This dramatically reduced M/S steps, increased system operational availability, and reduced local server operational burden. It dramatically reduced maintenance latency by sharing system failure conditions and dramatically improved cost and space problems by providing real-time status detection through wired and mobile utilization by maintenance personnel.

Design and Implementation of a Multi-level VOD Server System (복합 다단계 주문형 비디오 서버의 설계 및 구현)

  • Suh, Duk-Rok;Gang, Dae-Hyeok;Kim, Su-Jeong;Lee, Won-Seok;Lee, Jeong-Su
    • The Transactions of the Korea Information Processing Society
    • /
    • v.4 no.3
    • /
    • pp.685-697
    • /
    • 1997
  • A Viedo-on-Demand(VOD) service is a multimedia service that is realized by the rapid advance of computer and data communication techmologies. Basically, a VOD system is composed of a server and a number fo clients.The server stores and manages a large amount of digital moving picture data. Each slient sends an on-line requwet to the server and receives data for real-time displying. Many researches are performed on a VOD server using hard disks for the permanent video fata storage. However, a hard disk is less reliable and requires more storage cost than a massive storage device. Due to these resasons, a multi-level VOD system is proposed for using teh jukeboxes of optical disks as the permanent video storage,device. In this paper, we prpose the necessary software modules and protocols between the server and its clients for the implementation of the multi-level VOD server.

  • PDF

Design of Automatic Database Schema Generator Based on XML Schema (XML 스키마 기반의 데이터베이스 스키마 생성기 설계)

  • Lim, Jong-Seon;Kim, Kyung-Soo
    • Convergence Security Journal
    • /
    • v.7 no.3
    • /
    • pp.79-86
    • /
    • 2007
  • B2B e-business is an economic transaction formed between companies through various networks including internet. At present, e-business between companies partly applies information distribution between companies, but many enterprises expect that a corporate basic system will be gradually changed into XML basis if web service is earnestly materialized, so they are competing with each other in developing XML DBMS. Existing XML DBMS studies used XML DTD in order to represent the structure of XML document. Such XML DTD defines the expression of a simple type, so there are many difficulties in defining the structure of XML document. To cope with this, in this paper, the author will develop database schema generator utilizing relational database generally used in storing contents of data, on the basis of XML schema selected as a standard of W3C. Also, to store XML data, the author proposed the automatic conversion method of relational database schema that used XML schema.

  • PDF

A Study on Linking K-DRUM and MODFLOW (강우유출모형(K-DRUM)과 지하수유동모형(MODFLOW) 연계에 대한 연구)

  • Park, Gu Young;Hur, Young Teck;Park, Jin Hyeog;Jang, Su Hyung;Kim, Byung Woo
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.311-316
    • /
    • 2017
  • 기후변화는 물 관리 측면에서 많은 변화를 일으키는 것으로 보고되고 있다. 주로 강우의 패턴을 변화시키며, 가용수자원의 지역적 편중을 심화시킨다. 기후변화에 적응하며 안정적이고 균등한 용수확보를 위해서는 홍수와 가뭄을 고려한 연속적인 물 순환 해석기술이 필요하다. 강우유출분석은 강우사상에 대한 수문순환과정을 통해 유출량을 산출하는 것으로, 주로 직접유출과 중간유출이 이에 해당된다. 강우발생 이후 무강우기간에 대해서는 기저시간 이후에 발생되는 유출량의 정량적 산출이 필요하다. 기저유출은 강우 발생 시점에 급격히 발생하기보다는 선행강우에 따른 유역 내 지하수위 분포와 대수층의 특성, 하천수위에 따라 다양한 패턴으로 나타나기 때문에 지하수대의 수리학적 성분들을 반영할 수 있어야 한다. 이를 위해서는 강우유출모의 시 지표유출량 산정과 지하수유동해석을 통한 기저유출량 산정이 동시에 이루어져야 한다. 최근 국내외에서는 다양한 형태의 수문모형과 MODFLOW를 연계한 장기유출분석에 대한 연구가 활발하게 진행되고 있다. 본 연구에서 활용한 K-DRUM(K-water Distribution Runoff Model)은 K-water에서 자체 개발한 물리적 기반의 분포형 강우유출모형으로 강우유출, 유사, 기초수질항목에 대한 3차원 분석이 가능하다. 본 모형의 A층(표층)은 지표유출을 고려한 운동파법이 적용되었고, B층과 C층(중간층), D층(지하수층)은 선형저류법이 적용되었다. MODFLOW(A Modular Three-Dimensional Finite-Difference Ground Water Flow Model)는 1980년대 USGS(United State Geolog ical Survey)에서 개발된 가장 범용적으로 사용되는 지하수유동모형이며, 모듈화 된 구조를 갖고 있어 다양한 패키지 중 필요로 하는 기능을 독립적으로 모의할 수 있는 장점이 있다. 본 연구에서는 향후 기후변화에 따른 강우의 불확실성에 대비한 유역의 장기 물순환 해석을 위해 강우유출모형인 K-DRUM과 지하수유동모형인 MODFLOW를 연계하고자한다. 연계방법은 K-DRUM에서 계산된 D층으로 침루되는 양을 MODFLOW의 함양량으로 적용하고, MODFLOW에서 산출된 기저유량을 K-DRUM의 하천유출에 적용하는 것이다. 본 연구의 성과를 갈수기 유출해석에 적용하면 정확성을 크게 향상시킬 수 있을 것으로 판단된다.

  • PDF