• 제목/요약/키워드: SQL server

검색결과 210건 처리시간 0.033초

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

Design and Implementation of Digital Jikin using Smartphone Application

  • Hong, Daewon;Kang, Miju;Chun, Junchul
    • 인터넷정보학회논문지
    • /
    • 제18권5호
    • /
    • pp.87-94
    • /
    • 2017
  • Due to the recent advances of IT industry, many companies and institutions have been used electronic documents rather than original paper copies. However, the characteristic of electronic document allows it to be readily damaged from proscribed copying, counterfeit, and falsification. These can cause the serious security problems for electronic documents. Conventional security methods for digital documents involve adding a separated image or marker, but these methods can reduce the readability of document. Therefore, we proposed a digital Jikin (Korean traditional stamp) which is normally used to identify the source or author of a document in asia. The proposed digital Jikin can preserve the readability of electronic document while protecting the document from proscribed copying, counterfeit, or falsification using image processing approach. In this paper, a digital Jikin application is designed and implemented under android platform and it converts the critical information of document onto the digital Jikin. The proposed digital Jikin contains important information in the boundary of Jikin not only about the author of documents or source, but also keywords, number of images, and many more. Therefore, the authenticity of document or whether the document has been altered or not by other person can be evaluated by the server. The proposed digital Jikin can be sent to a server through the wireless networks and can be stored using PHP and MySQL. We believe that the proposed method can offer the better and simple solution for strengthening the security of electronic document.

NutriSyn(식품어휘지능망): 웹 기반 식품.음식 유의어 지식 구축 및 검색 서비스 구현 (NutriSyn: Knowledge Based Synonym Retrieval Service for Food and Dishes on the Web)

  • 홍순명;조지예;박유정;김민찬;김곤
    • 대한영양사협회학술지
    • /
    • 제15권3호
    • /
    • pp.286-297
    • /
    • 2009
  • Studies based on food analysis or food databases use the national standard food database. Although Internet information services are increasing gradually, users are only able to get definitive and profitable information using standard food terms. Until now, it has been uncommon to find food retrieval services that include users' regional or historical characteristics. Thus, this study introduces a prototype for Food and Dish Synonym Retrieval (NutriSyn) that includes synonyms and related words. The environments which NutriSyn was implemented were Linux for the server operating system, the Microsoft Windows series for the users' operating system and Apache for a web server. The development languages used are PHP, JavaScript and HTLM with a MySQL database. Users can access NutriSyn using Internet browsers. The main menu items are (1) Food Synonym DB, (2) Dish Synonym DB, (3) Food Information DB, (4) Dish Information DB, and (5) Food and Menu Synonym Retrieval. This system is expected to be a useful tool for food experts and interdisciplinary research.

  • PDF

Development of new on-line statistical program for the Korean Society for Radiation Oncology

  • Song, Si Yeol;Ahn, Seung Do;Chung, Weon Kuu;Shin, Kyung Hwan;Choi, Eun Kyung;Cho, Kwan Ho
    • Radiation Oncology Journal
    • /
    • 제33권2호
    • /
    • pp.142-148
    • /
    • 2015
  • Purpose: To develop new on-line statistical program for the Korean Society for Radiation Oncology (KOSRO) to collect and extract medical data in radiation oncology more efficiently. Materials and Methods: The statistical program is a web-based program. The directory was placed in a sub-folder of the homepage of KOSRO and its web address is http://www.kosro.or.kr/asda. The operating systems server is Linux and the webserver is the Apache HTTP server. For database (DB) server, MySQL is adopted and dedicated scripting language is the PHP. Each ID and password are controlled independently and all screen pages for data input or analysis are made to be friendly to users. Scroll-down menu is actively used for the convenience of user and the consistence of data analysis. Results: Year of data is one of top categories and main topics include human resource, equipment, clinical statistics, specialized treatment and research achievement. Each topic or category has several subcategorized topics. Real-time on-line report of analysis is produced immediately after entering each data and the administrator is able to monitor status of data input of each hospital. Backup of data as spread sheets can be accessed by the administrator and be used for academic works by any members of the KOSRO. Conclusion: The new on-line statistical program was developed to collect data from nationwide departments of radiation oncology. Intuitive screen and consistent input structure are expected to promote entering data of member hospitals and annual statistics should be a cornerstone of advance in radiation oncology.

OLAP시스템에서 희박 데이터의 패턴 분류 및 성능 평가 (Korea Electric Power Research Institute, Ewha Womans University)

  • 강주영;이봉재;송재주;신진호;용환승
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.178-180
    • /
    • 2004
  • OLAP(On-Line Analytical Processing)은 데이터 웨어하우스 내의 방대한 양의 데이터에 대해 사용자와의 상호 작용이 가능하도록 질의에 대하여 빠른 응답성능을 보장해야 한다. 이를 위해 OLAP 시스템은 데이터에 대한 다량의 다차원 집계 연산을 수행해야 하기 때문에, 일반적으로 사전 연산 결과를 저장하여 직접적인 집계 연산을 줄임으로써 응답 성능을 놓이는 방법을 사용하고 있다 OLAP 다차원 데이터의 희박성은 이러한 사전 연산 시 데이터 폭발 현상을 일으켜 도리어 성능을 저하시키는 요인으로 작용할 수 있다. 본 논문에서는 데이터의 희박성과 성능 문제에 대해 고찰하고 OLAP 응용에서 발생할 수 있는 다차원 데이터의 희박성 패턴에 대해 정의하였다. 또한 정의된 패턴에 따라 희박 데이터를 생성하는 데이터 생성기를 구현하고 이를 이용하여 생성된 데이터를 기반으로 MS SQL Server Analysis Services와 Pilot DSS의 두 OLAP 제품의 성능을 평가하고 결과를 비교하였다.

  • PDF

Prototyping of Community Mapping for Enabling Response to Urban Flood

  • Koo, Jee Hee;Jeon, Min Cheol;Kim, Sun Woong
    • 한국측량학회지
    • /
    • 제35권1호
    • /
    • pp.63-71
    • /
    • 2017
  • Recently, there has been growing interest in public participation GIS (Geographic Information System) technology that enables spontaneous public response to increasingly frequent flood and drought events. Accordingly, social and economic demands are increasing on portal services that are designed to help cope with natural hazards such as earthquakes. By focusing on a specific hazard, urban flood, this study designed a prototype of a disaster response portal and its service system. The community map developed in this study is focused on prevention and mitigation of the urban flood damage by analyzing the vulnerable areas, and providing effective means to inspect the roads and sewer systems. By considering the compatibility with VGI (Volunteered Geographic Information) portals, the study created a system environment by employing universally used open-source software programs such as Apache Tomcat, GeoServer, GeoNetwork, and PostgreSQL/PostGIS.

학사 행정의 표준화를 위한 성적관리 시스템의 개발 (Development of The School Score Management System For Standard School-Affairs)

  • 고병수;김기복;김영숙;인치호
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
    • /
    • pp.1637-1640
    • /
    • 2003
  • 본 성적관리 시스템의 설계는 학생과 학부모가 쉽게 사용할 수 있는 환경구성, 간편한 조작 기능, 성적 관련 상담을 위한 상담실, 성적 활용을 위한 성적 검색, 성적 및 재학증명서 신청 및 출력할 수 있도록 구성하였으며 전체 구조는 로그인을 제공하여 관리자 화면과 학생/학부모 화면으로 분류되고 공지사항, 성적입력 및 변경, 성적검색, 성적통계, 성적 및 재학증명서 출력과 성적관련 상담실과 자료실 등으로 설계하였다. 웹 상에서의 정보제공 및 성적 관리의 표준화를 위하여 XML을 사용하였고, 성적관리의 편리성 및 자료의 활용성을 높이기 위하여 관계형 데이터베이스인 MS-SQL SERVER 2000을 사용하였다. 본 시스템을 현장에 적용시켜 본 결과 학생측면에서는 성적 정보의 획득으로 인한 학부모·교사와의 상담 증가 및 성적 증가와 교사에 대한 신뢰감이 증가하였으며 학부모측면에서는 자녀 교사와 상담, 자녀에 대한 관심도, 학교와 선생님에 대한 신뢰감이 증가하였고, 교사측면에서는 학생·학부모와 상담, 성적자료의 활용성 증가 및 업무가 경감되었다.

  • PDF

생산공정의 DB 구축을 통한 지식정보모델링 시스템 개발 (Development of Knowledge Information Modeling System using DB construction of manufacturing process)

  • 반창우;이현수;장동영
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 2005년도 춘계학술대회 논문집
    • /
    • pp.191-194
    • /
    • 2005
  • Over the past decade, changes in product development processes and increased consumer demands have dramatically influenced engineering working practices and targets. The information technology revolution has made its appearance concurrent to this relentless escalation in product engineering requirement. It has offered hopes for improved productivity despite these increasing demands. The wide availability of personal computing power, virtually inexhaustible sources of information and an abundance of computerized engineering tools have created great expectations. Knowledge information modeling system and database were developed using ASP and Microsoft SQL 2000 Server to share the DB that can be utilized to process on the web.

  • PDF

CPC (Collaborative Product Commerce) 개념의 설계 지원 시스템 개발 (Development of Design Supporting System considering CPC concept)

  • 반창우;장동영
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
    • /
    • pp.39-43
    • /
    • 2004
  • A research shows that a new category of software, Collaborative Product Commerce (CPC), is now emerging, allowing discrete manufacturers to once again distinguish themselves on their products and innovations. CPC permits discrete manufacturers to significantly improve the core processes around the management functions associated with the complete product life cycle that are the basis of their existence. As a way to develop computing tools of CPC to support a design process of product, a web-based design supporting system was constructed in the paper. The system consists of C-Product system and Net Meeting Communication system to improve communications between designers and persons for verification of design. The product data files of C-Product system were designed by Pro/Engineer and converted to 3D Viewer format for being used in the web browser. Also, Net Meeting Communication system and Database were developed using ASP and Microsoft SQL 2000 Server to share diverse files that can be utilized to design on the web in real time.

  • PDF

SGML을 활용한 PDM에서의 설계변경문서관리 (The Engineering Change Document Management using SGML in PDM)

  • 김준오;김선호
    • 산업공학
    • /
    • 제10권2호
    • /
    • pp.79-90
    • /
    • 1997
  • Documents in a traditional PDM(Product Data Management) system have been managed in a form of scanned document files or electronic documents developed by specific tools. Though each tool manages documents with its own systematical methods, it has drawbacks in data search, data integration and interchange, etc. For this reason, in this research we propose an efficient document management system for PDM by using the SGML(Standard Generalized Markup Language), one of CALS and ISO standards for document interchanges. Among documents to be managed in PDM, the engineering change notification (ECN) is taken into account. The DTD (Document Type Definition) has been constucted based on the logical analysis of the documents format, In addition, based on the DTD, DB classes have been designed by object-oriented paradigms and a prototype for document input/output and search has been developed using UniSQL ORDBMS (Object-Relational DBMS) and PowerBuilder under the client/server environment.

  • PDF