• 제목/요약/키워드: Log file

검색결과 159건 처리시간 0.025초

MLOps workflow language and platform for time series data anomaly detection

  • Sohn, Jung-Mo;Kim, Su-Min
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권11호
    • /
    • pp.19-27
    • /
    • 2022
  • 본 연구에서는 시계열 데이터 이상 탐지 수행을 위한 MLOps(Machine Learning Operations) 워크플로를 기술하고 관리할 수 있는 언어와 플랫폼을 제안한다. 시계열 데이터는 IoT 센서, 시스템 성능 지표, 사용자 접속량 등 많은 분야에서 수집되고 있다. 또한, 시스템 모니터링 및 이상 탐지 등 많은 응용 분야에 활용 중이다. 시계열 데이터의 예측 및 이상 탐지를 수행하기 위해서는 분석된 모델을 빠르고 유연하게 운영 환경에 적용할 수 있는 MLOps 플랫폼이 필요하다. 이에, 최근 데이터 분석에 많이 활용되고 있는 Python 기반의 AMML(AI/ML Modeling Language)을 개발하여 손쉽게 MLOps 워크플로를 구성하고 실행할 수 있도록 제안한다. 제안하는 AI MLOps 플랫폼은 AMML을 이용하여 다양한 데이터 소스(R-DB, NoSql DB, Log File 등)에서 시계열 데이터를 추출, 전처리 및 예측을 수행할 수 있다. AMML의 적용 가능성을 검증하기 위해, 변압기 오일 온도 예측 딥러닝 모델을 생성하는 워크플로를 AMML로 구성하고 학습이 정상적으로 수행됨을 확인하였다.

Shadow 파일 조작을 통한 리눅스 Sudoer의 위장공격에 대한 연구 (A Study on Impersonation Attack of Linux Sudoers Through Shadow File Manipulation)

  • 김상훈;조태남
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권7호
    • /
    • pp.149-156
    • /
    • 2020
  • 모든 운영체제는 효율적인 관리를 위해 특권을 부여받은 관리자 계정이 존재한다. 위험하거나 민감한 작업이나 리소스는 일반 사용자에게는 접근이 허용되지 않아야 하며 오직 관리자에게만 허용되어야 한다. 이러한 특권의 한 가지 예는 사용자가 패스워드 분실하였을 때 초기화하는 권한이다. 본 논문에서는 리눅스 우분투의 관리자 그룹인 sudoer 그룹의 특권을 분석하고 관리자 그룹의 관리체계를 분석하였다. sudoer가 특권을 이용하여 다른 sudoer를 포함한 다른 사용자의 패스워드를 변경하고 로그를 수정함으로써 위장할 수 있는 위험성을 보이고, 이를 해결하기 위한 방안으로서 shadow 파일의 조작을 금지하는 방안을 제안하였다. 또한 제안한 방법을 구현하였으며 우수한 성능으로 실용화 가능성을 확인하였다.

데이터베이스 파일의 삭제를 위한 미처리 연산의 효율적 수행 기법 (An Efficient Scheme of Performing Pending Actions for the Removal of Datavase Files)

  • 박준현;박영철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권3호
    • /
    • pp.494-511
    • /
    • 2001
  • 본 논문은 데이터베이스 관리시스템이 데이터베이스를 저장할 디스크 공간을 직접 관리하는 환경에서 데이터베이스 파일들의 삭제를 위해 미처리 연산을 정확하고 효율적으로 수행하는 기법을 제시한다. 미처리 연산의 수행과 관련하여 회복시에 회복 프로세스는 완료가 결정되었으나 아직 종료하지 않은 미종료 트랜잭션들의 아직 수행되지 않은 미처리 연산들을 식별하고 이들을 완전히 수행할 수 있어야 한다. 본 논문의 기본아이디어는 로그 파일에 기록된 로그레코드들을 분석함으로써 회복 프로세스가 그 연산들을 식별할 수 있게 하는 것이다. 이 기법은 ARIES의 트랜잭션, 퍼지 검사점, 그리고 회복의 수행을 확장한 것으로서 다음의 방법을 사용한다. 첫째, 회복시에 미종료 트랜잭션들을 식별하기 위하여, 각 트랜잭션은 트랜잭션의 완료와 미처리 연산 수행의 시작을 함께 나타내는 미처리연산수행시작('pa-start') 로그레코드를 기록한 후에 미처리 연산을 수행하며, 그리고 나서 트랜잭션 종료 로그레코드를 기록한다. 둘째. 회복시에 미종료 트랜잭션들의 미처리 연산 리스트를 복구하기 위하여, 각 트랜잭션은 미처리 연산수행시작 로그레코드에 그 트랜잭션의 미처리 연산 리스트를 수록하며 퍼지 검사점은 검사점종료 로그레코드에 완료가 결정된 트랜잭션의 미처리 연산 리스트를 수록한다. 셋째, 회복시에 다음에 수행할 미처리 연산을 식별하기 위하여, 각 트랜잭션은 미처리 연산을 수행하면서 변경하는 각 페이지에 대하여 그 페이지에 대한 재수행 정보를 기록하는 로그레코드에 다음에 수행할 미처리 연산의 식별 정보를 함께 수록한다.

  • PDF

부하테스트를 이용한 금융 시스템의 성능개선 사례 (A Case Study for Improving Performance of A Banking System Using Load Test)

  • 김태석;이종윤;김종수
    • 한국멀티미디어학회논문지
    • /
    • 제18권12호
    • /
    • pp.1501-1508
    • /
    • 2015
  • In this paper, we describe a case study to improve performance through the load testing of multi-tired system for financial accounts before the system opening. The load test was conducted after the data collection tools(Performance Monitor, DB PSSDiag) were installed. By analyzing the collected log, we were able to identify the main sector requiring performance improvements among the presentation tier, web tier, business logic tier and data tier. The ASP.NET server-down on the web tier could be improved by modifying the parameter values in the configuration file. Some server downs occurred on the business logic tier when a large number of users access at the same time, were more difficult to be solved. By analyzing the hang-dump at the server-down time, we were able to find a process that caused the problem. and we had to modify the relevant codes. For major performance improvements of the data-tier, indices of some queries was optimized by using the built-in DBMS query analyzer, after analyzing the log of long-response-time queries. The problems and solutions considered in this case study will be a reference for the performance improvement of a multi-layer system with the similar structure.

신뢰성 있는 플래시메모리 저장시스템 구축을 위한 플래시메모리 저장 공간 관리 방법 (New Flash Memory Management Method for Reliable Flash Storage Systems)

  • 김한준;이상구
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권6호
    • /
    • pp.567-582
    • /
    • 2000
  • 본 논문은 로그파일시스템의 원리를 바탕으로 플래시메모리 저장시스템에 적합한 플래시메모리 공간 관리 방법을 제안한다. 플래시메모리는 비휘발성, 빠른 입출력 속도 등의 장점을 지니고 있지만, 제자리 덮어쓰기(in-place update)가 불가능하고 메모리 셀에 대한 쓰기(write) 횟수가 제한되는 단점이 있다. 이러한 특성은 플래시메모리를 저장 매체로 사용할 때 기존의 저장 매체 관리 방법과는 다른 방법을 요구하게 된다. 본 논문은 자유 공간유지를 위해 필요한 클리닝 메커니즘의 연산 비용을 낮추면서 동시에 저장공간이 전체적으로 균등하게 사용될 수 있도록 하는 사이클 평준화 기법을 제안한다. 제안된 방법은 특히 메모리 활용도와 로컬리티가 높을 때 좋은 성능을 보인다. 클리닝 메커니즘은 자주 접근되지 않는 COLD데이타를 그렇지 않은 데이타와 격리시킴으로써 그 효율이 향상되었으며, 사이클 평준화는 사용 횟수간의 최대 차이가 하드웨어적인 오차를 벗어나지 않는 수준까지 이루었다. 실험을 통해 제안된 방법은 비교 기준으로 삼은 직관적 방법(greedy policy)에 비해 사이클 평준화가 잘 이루어진 상태에서 최대 35%정도의 클리닝 비용 절감 효과를 보였다.

  • PDF

컴퓨터 실습수업의 학업성취도 향상방안 연구 (Study on Improvement of Student Archivement in Hands-on Computer Education)

  • 유영제;김의정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.426-430
    • /
    • 2005
  • 컴퓨터 실습수업이 갖는 학생들의 학습효과는 이론수업을 종합하여 궁극적인 학습목표로 도달할 수 있도록 진행되고 있다. 또한 향상된 컴퓨터의 기능과 환경으로 학생들은 보다 다양한 정보를 손쉽게 접할 수 있도록 하였다. 하지만 이러한 환경이 학생들을 컴퓨터 실습시간에 인터넷 및 여타 다른 흥미 위주로 빠져들기 쉽고 다중작업으로 인한 분산된 집중력으로 학업성취율이 떨어질 수 있다는 점이다. 이러한 유혹을 최소화하기 위하여 학생들의 실습 컴퓨터를 제어 할 수 있어야 한다. 이에 이 논문에서는 학생들의 실습 컴퓨터의 프로세스를 감시하고 제어 하며, 수업에 필요한 예제 파일 전송 및 삭제, 컴퓨터 일괄종료, 화면 캡쳐의 기능을 구현하고 기존 방식의 수업과 구현된 프로그램을 적용해 수업을 실시하고 수업내용을 바탕으로 실습과제를 부여하였다. 수업종료 후 설문내용 실습과제, 캡쳐파일, 로그파일을 통하여 학생들의 집중도와 학업성취도에 어떠한 영향이 있는지 알아보고자 한다.

  • PDF

낸드 플래시 파일 시스템을 위한 결함 복구 시간 제한 기법의 설계 및 구현 (Design and Implementation of Crash Recovery Technique with Bounded Execution Time for NAND Flash File System)

  • 강승엽;박현찬;김기만;유혁
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권6호
    • /
    • pp.330-338
    • /
    • 2010
  • 현재 낸드 플래시 메모리는 다양한 이동형 기기에 활용되면서 급격하고 지속적인 성장을 하고 있다. 사용자들은 더욱 용량이 크고 빠른 기기들을 요구하지만, 현재의 낸드 플래시 파일 시스템은 결함 상황에서 복구 및 초기화 시간이 미디어의 용량에 비례하여 지연되는 문제가 있으며 이는 기기의 부팅 시간을 지연시켜 사람들의 불편을 초래한다. 우리는 이를 해결하기 위해 파일 시스템 초기화 시간이 미디어의 용량과 무관하도록 '작업 영역 기법'을 제안한다. 작업 영역 기법은 한 시점에서 낸드 플래시 메모리의 일부 영역만을 작업 공간으로 정의하고 유지하며 쓰기 명령을 작업 공간 안에서만 수행시킨다. 따라서 결합 상황에서 복구시 검색해야 할 크기를 최근 작업 영역으로 제한하므로써 결함 복구 수행 시간이 낸드 플래시 메모리 용량과 비례하지 않도록 한다. 우리는 이러한 작업 영역 기법을 YAFFS2를 기반으로 구현하였으며 기존 기법들과 초기화 성능을 비교해 보았다. 그 결과 1기가 낸드 플래시 메모리상에서 결함 복구 수행 시간이 기존의 로그 기반 기법에 비해 25배 가량 단축됨을 확인했다. 이러한 격차는 낸드 플래시 메모리 용량이 늘어날수록 커질 것이다.

SSD에서의 시맨틱 파일 검색을 위한 확장된 속성 제공의 로그기반 파일시스템 (Attribute-Rich Log-Structured Filesystem for Semantic File Search on SSD)

  • 기안호;강수용
    • 디지털콘텐츠학회 논문지
    • /
    • 제12권2호
    • /
    • pp.241-252
    • /
    • 2011
  • 운영체제의 다른 부분이나 저장장치, 매체의 변화에 비해 파일시스템은 지난 수십 년 간 그 발전 속도가 더딘 편이다. 그러나 데이터의 증가에 따라 파일의 개수는 기하급수적으로 증가하고 있으며, 이렇게 늘어난 파일들에 대해 검색을 효율적으로 수행하기 위한 새로운 파일시스템 구조에 대한 연구가 최근 파일에 대한 시맨틱 검색을 하고자 하는 요구와 맞물려 주목 받고 있다. 하지만 이러한 연구는 저장 장치와 바로 맞닿는 계층이 아닌 더 상위 계층에서만 이루어지고 있어 기존의 하드디스크와는 다른 특성을 지니는 플래시 메모리 기반의 저장장치인 SSD에 최적화를 시키기 위한 노력으로 이어지진 않았다. 논문에서는 다중 로깅 지점이라는 SSD의 특성을 활용한 로그기반 파일시스템이 SSD에서 얻는 성능상의 이점을 활용하여 새로운 요구사항인 시맨틱 파일 검색까지 추가 비용 없이 지원하는 파일시스템을 제안한다.

통합시험을 위한 자동 시험일지 작성프로그램 설계 및 구현 (Automatic Test Report Recording Program Design and Implementation for Integration Test)

  • 정영환;송경록;이원식;위성혁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.33-39
    • /
    • 2018
  • 현재 국방시뮬레이션 분야에서 통합시험을 위해 각각의 실 장비 및 모의기(Simulator)들 자체 로깅정보는 자동화가 되어있다. 통합시험시스템의 특이사항은 시험일지로 작성하고 있지만, 자동화가 되어 있지 않아 여전히 운용자의 수기작성 또는 파일작성에 의존하고 있어, 기록 내용 부실 및 동일 내용 반복작성 등 비효율적인 면이 존재한다. 본 논문에서는 이러한 문제점들을 해결하기 위해 자동 시험일지 기록 프로그램을 제안하고자 한다. 자동 시험일지 기록프로그램은 프레임워크 기반 기술을 활용해 시험일지에 기록해야 할 정보를 운용통제컴퓨터와 운용자로부터 수신 받아 일지를 기록해준다. 자동 시험일지 기록프로그램이 운용자의 반복적인 시험내용을 안정적으로 기록할 수 있게 한다. 또한, 시험 운용인원이 제한적이어도 운용자가 통합시험에만 집중할 수 있도록 효율성을 높여주었다.

DRM 로그분석을 통한 퇴직 징후 탐지와 보안위협 사전 대응 방법 (The Proactive Threat Protection Method from Predicting Resignation Throughout DRM Log Analysis and Monitor)

  • 현미분;이상진
    • 정보보호학회논문지
    • /
    • 제26권2호
    • /
    • pp.369-375
    • /
    • 2016
  • 기업 대부분은 사업 연속성을 위협하는 기밀정보 유출을 방지하기 위해 DRM, 메일 필터링, DLP, USB 보안 등 다양한 보안 시스템 구축에 투자를 아끼지 않고 있다. 그러나, 기업이 기밀정보의 유출 및 관련 사건을 인지한 시점에는 해당 직원이 이미 '퇴직'해 인사적 조치가 어렵고 관련 증거도 퇴직과 함께 사라져 버리는 경우가 많다. 그런 측면에서 퇴직 징후를 미리 탐지하고 사전 조치를 하는 것은 매우 중요하다. 데이터의 최소 단위인 파일을 대상으로 이루어지는 사용자 행위를 기록하는 DRM 로그를 활용하면, 퇴직 예측이 장 단기적으로 가능하므로 유출 행위를 예방하고 사후 증적으로도 활용할 수 있다. 이 연구는 직원의 퇴직 징후를 예측해 사전에 모니터링하는 프로세스를 수립함으로써, 퇴직자의 기밀 유출로 인한 기업 손실을 최대한 방지할 수 있는 방안을 제시한다.