• 제목/요약/키워드: log machine

검색결과 128건 처리시간 0.029초

매칭 문제를 위한 효율적인 랜덤 병렬 알고리즘 (Efficient Randomized Parallel Algorithms for the Matching Problem)

  • 우성호;양성봉
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권10호
    • /
    • pp.1258-1263
    • /
    • 1999
  • 본 논문에서는 CRCW(Concurrent Read Concurrent Write)와 CREW(Concurrent Read Exclusive Write) PRAM(Parallel Random Access Machine) 모델에서 무방향성 그래프 G=(V, E)의 극대 매칭을 구하기 위해 간결한 랜덤 병렬 알고리즘을 제안한다. CRCW PRAM 모델에서 m개의 선을 가진 그래프에 대해, 제안된 매칭 알고리즘은 m개의 프로세서 상에서 {{{{ OMICRON (log m)의 기대 수행 시간을 가진다. 또한 CRCW 알고리즘을 CREW PRAM 모델에서 구현한 CREW 알고리즘은 OMICRON (log^2 m)의 기대 수행 시간을 가지지만,OMICRON (m/logm) 개의 프로세서만을 가지고 수행될 수 있다.Abstract This paper presents simple randomized parallel algorithms for finding a maximal matching in an undirected graph G=(V, E) for the CRCW and CREW PRAM models. The algorithm for the CRCW model has {{{{ OMICRON (log m) expected running time using m processors, where m is the number of edges in G We also show that the CRCW algorithm can be implemented on a CREW PRAM. The CREW algorithm runs in {{{{ OMICRON (log^2 m) expected time, but it requires only OMICRON (m / log m) processors.

웹서버 로그 데이터의 이상상태 탐지 기법 (Novelty Detection on Web-server Log Dataset)

  • 이화성;김기수
    • 한국정보통신학회논문지
    • /
    • 제23권10호
    • /
    • pp.1311-1319
    • /
    • 2019
  • 현재 웹 환경은 정보 공유와 비즈니스 수행을 위해 보편적으로 사용되고 있는 영역으로 개인 정보 유출이나 시스템 장애 등을 목표로 하는 외부 해킹의 공격 타켓이 되고 있다. 기존의 사이버 공격 탐지 기술은 일반적으로 시그니처 기반 분석으로 공격 패턴의 변경이 발생할 경우 탐지가 어렵다는 한계가 있다. 특히 웹 취약점 기반 공격 중 삽입 공격은 가장 빈번히 발생하는 공격이고 다양한 변형 공격이 언제든 가능하다. 본 논문에서는 웹서버 로그에서 정상상태를 벗어나는 비정상 상태를 탐지하는 이상상태 탐지 기법을 제안한다. 제안된 방법은 웹서버 로그 내 문자열 항목을 머신러닝 기반 임베딩 기법으로 벡터로 치환한 후 다수의 정상 데이터와 상이한 경향성을 보이는 비정상 데이터를 탐지하는 머신러닝 기반 이상상태 탐지 기법이다.

에어비앤비(Airbnb) 웹 로그 데이터를 이용한 고객 행동 예측 (Consumer behavior prediction using Airbnb web log data)

  • 안효인;최유리;오래은;송종우
    • 응용통계연구
    • /
    • 제32권3호
    • /
    • pp.391-404
    • /
    • 2019
  • 그동안의 고객 행동에 대한 예측은 주로 고객이 가지는 고정적인 특성을 이용해왔다. 최근에는 점차 고객들의 활동이 오프라인에서 온라인으로 이동하면서 각 고객의 웹 로그를 추적하는 일이 가능해졌다. 그러나 방대한 양의 웹 로그 데이터를 수집할 수 있게 된 반면, 이에 대한 연구는 로그 데이터를 정리하거나 기술적인 특성만을 설명하는 것에 그쳤다. 본 연구에서는 웹사이트 Kaggle에서 제공하는 Airbnb 고객들의 성별, 연령 등의 기본 정보 및 웹 로그가 포함된 데이터셋을 이용하여 첫 숙소 예약까지 걸리는 개인의 의사 결정 시간을 예측하였다. Lasso, SVM, Random Forest, XGBoost 등 다양한 방법론을 활용하여 최적의 모형을 찾고, 웹 로그 데이터의 유무에 따른 예측 오차를 비교하여 웹 로그의 효용성을 확인하였다. 결과적으로 오분류율이 약 20%로 낮은 랜덤 포레스트 분류모형을 최적모형으로 선택하였다. 또한, 웹 로그 데이터를 이용하여 고객 개개인의 행동을 예측한 결과 사용하지 않은 경우와 비교해 예측의 정확도가 최대 두 배 더 높아진 것을 확인할 수 있었다.

Optimized Chinese Pronunciation Prediction by Component-Based Statistical Machine Translation

  • Zhu, Shunle
    • Journal of Information Processing Systems
    • /
    • 제17권1호
    • /
    • pp.203-212
    • /
    • 2021
  • To eliminate ambiguities in the existing methods to simplify Chinese pronunciation learning, we propose a model that can predict the pronunciation of Chinese characters automatically. The proposed model relies on a statistical machine translation (SMT) framework. In particular, we consider the components of Chinese characters as the basic unit and consider the pronunciation prediction as a machine translation procedure (the component sequence as a source sentence, the pronunciation, pinyin, as a target sentence). In addition to traditional features such as the bidirectional word translation and the n-gram language model, we also implement a component similarity feature to overcome some typos during practical use. We incorporate these features into a log-linear model. The experimental results show that our approach significantly outperforms other baseline models.

Development of Safety Sensor for Vehicle-Type Forest Machine in Forest Road

  • Ki-Duck Kim;Hyun-Seung Lee;Gyun-Hyung Kim;Boem-Soo Shin
    • Journal of Forest and Environmental Science
    • /
    • 제39권4호
    • /
    • pp.254-260
    • /
    • 2023
  • A sensor system has been developed that uses an ultrasonic sensor to detect the downhill slope on the side of a forest road and prevents a vehicle-type forest machine from rolling down a mountainside. A specular reflection of ultrasonic wave might cause severe issues in measuring distances to targets. By investigating the installation angle of the sensor to minimize the negative effects of specular reflection, the installation angle of lateral monitoring ultrasonic sensor could be determined based on the width of road shoulder. Obstacles such as small rocks or piece of log in a forest road may cause the forest machine to be overturned while the machine riding over due to excessive its posture change. It was determined that the laser sensor could be a part of a sensor system capable of specifying the location and size of small obstacles. Not only this sensor system including ultrasonic and laser sensors can issue a warning of dangerous sections to drivers in forest forwarders currently in use, but also it can be used as a driving safety sensor in autonomous forest machine or remote-control forest machine in the future.

자연어 처리 기반 멀티 소스 이벤트 로그의 보안 심각도 다중 클래스 분류 (A Multiclass Classification of the Security Severity Level of Multi-Source Event Log Based on Natural Language Processing)

  • 서양진
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.1009-1017
    • /
    • 2022
  • 로그 데이터는 정보 시스템의 주요 동작과 상태를 이해하고 판단하는 근거로 사용되어 왔으며, 여러 보안 분야 응용에서도 중요한 입력 데이터로 사용된다. 로그 데이터로부터 필요한 정보를 얻어 이를 근거로 의사 결정을 하고, 적절한 대응 방안을 취하는 것은 시스템을 보호하고 안정적으로 운영하는 데 있어 필수적인 요소이지만, 로그의 종류와 양이 폭발적으로 증가함에 따라 기존 도구들로는 효과적이고 효율적인 대응이 쉽지 않은 상황이다. 이에 본 연구에서는 자연어 처리 기반의 머신 러닝을 이용해 멀티 소스 이벤트 로그의 보안 심각도를 여러 단계로 분류하는 방법을 제안하였으며, 472,972건의 훈련 및 테스트 샘플을 이용하여 실험을 수행한 결과 99.59%의 정확도를 달성하였다.

Machine Learning Approach to Estimation of Stellar Atmospheric Parameters

  • Han, Jong Heon;Lee, Young Sun;Kim, Young kwang
    • 천문학회보
    • /
    • 제41권2호
    • /
    • pp.54.2-54.2
    • /
    • 2016
  • We present a machine learning approach to estimating stellar atmospheric parameters, effective temperature (Teff), surface gravity (log g), and metallicity ([Fe/H]) for stars observed during the course of the Sloan Digital Sky Survey (SDSS). For training a neural network, we randomly sampled the SDSS data with stellar parameters available from SEGUE Stellar Parameter Pipeline (SSPP) to cover the parameter space as wide as possible. We selected stars that are not included in the training sample as validation sample to determine the accuracy and precision of each parameter. We also divided the training and validation samples into four groups that cover signal-to-noise ratio (S/N) of 10-20, 20-30, 30-50, and over 50 to assess the effect of S/N on the parameter estimation. We find from the comparison of the network-driven parameters with the SSPP ones the range of the uncertainties of 73~123 K in Teff, 0.18~0.42 dex in log g, and 0.12~0.25 dex in [Fe/H], respectively, depending on the S/N range adopted. We conclude that these precisions are high enough to study the chemical and kinematic properties of the Galactic disk and halo stars, and we will attempt to apply this technique to Large Sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST), which plans to obtain about 8 million stellar spectra, in order to estimate stellar parameters.

  • PDF

3D 프린팅 소재 화학물질의 독성 예측을 위한 Data-centric XAI 기반 분자 구조 Data Imputation과 QSAR 모델 개발 (Data-centric XAI-driven Data Imputation of Molecular Structure and QSAR Model for Toxicity Prediction of 3D Printing Chemicals)

  • 정찬혁;김상윤;허성구;;신민혁;유창규
    • Korean Chemical Engineering Research
    • /
    • 제61권4호
    • /
    • pp.523-541
    • /
    • 2023
  • 3D 프린터의 활용이 높아짐에 따라 발생하는 화학물질에 대한 노출 빈도가 증가하고 있다. 그러나 3D 프린팅 발생 화학물질의 독성 및 유해성에 대한 연구는 미비하며, 분자 구조 데이터의 결측치로 인해 in silico 기법을 사용한 독성예측 연구는 저조한 실정이다. 본 연구에서는 화학물질의 분자구조 정보를 나타내는 주요 분자표현자의 결측치를 보간하여 3D 프린팅의 독성 및 유해성을 예측한 Data-centric QSAR 모델을 개발하였다. 먼저 MissForest 알고리즘을 사용해 3D 프린팅으로 발생되는 유해물질의 분자표현자 결측치를 보완하였으며, 서로 다른 4가지 기계학습 모델(결정트리, 랜덤포레스트, XGBoost, SVM)을 기반으로 Data-centric QSAR 모델을 개발하여 생물 농축 계수(Log BCF)와 옥탄올-공기분배계수(Log Koa), 분배계수(Log P)를 예측하였다. 또한, 설명 가능한 인공지능(XAI) 방법론 중 TreeSHAP (SHapley Additive exPlanations) 기법을 활용하여 Data-centric QSAR 모델의 신뢰성을 입증하였다. MissForest 알고리즘 기반 결측지 보간 기법은, 기존 분자구조 데이터에 비하여 약 2.5배 많은 분자구조 데이터를 확보할 수 있었다. 이를 바탕으로 개발된 Data-centric QSAR 모델의 성능은 Log BCF, Log Koa와 Log P를 각각 73%, 76%, 92% 의 예측 성능으로 예측할 수 있었다. 마지막으로 Tree-SHAP 분석결과 개발된 Data-centric QSAR 모델은 각 독성치와 물리적으로 상관성이 높은 분자표현자를 통하여 선택함을 설명할 수 있었고 독성 정보에 대한 높은 예측 성능을 확보할 수 있었다. 본 연구에서 개발한 방법론은 다른 프린팅 소재나 화학공정, 그리고 반도체/디스플레이 공정에서 발생 가능한 오염물질의 독성 및 인체 위해성 평가에 활용될 수 있을 것으로 사료된다.

암묵적 피드백 기반 반려동물 용품 추천 시스템 (Pet Shop Recommendation System based on Implicit Feedback)

  • 최희열;강윤희;강명주
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권8호
    • /
    • pp.1561-1566
    • /
    • 2017
  • 기계 학습과 인공 지능 기술의 발전으로 다양한 응용분야들이 가능해지고 있고, 이중에 추천 시스템은 이미 여러 업체들에서 영화 추천이나 상품 추천 등의 서비스에 적용하여 효과를 보고 있다. 이러한 서비스 중인 추천 시스템들의 대부분은 아이템의 내용을 분석하여 추천하거나 아니면 평점과 같은 직접적인 피드백에 기반하여 시스템을 학습하고 추천하고 있다. 하지만 많은 온라인 쇼핑몰 중에는 아이템의 내용을 분석하는 것이 어렵고, 직접적인 피드백 정보가 없거나 혹은 거의 없어 추천 시스템 구축이 어려운 경우가 많다. 이러한 경우에도 사용자의 상품 조회에 관한 로그 기록들은 어렵지 않게 확보할 수 있고, 로그 기록들만 가지고도 추천 서비스를 제공할 수 있다면 서비스의 질을 향상할 수 있을 것으로 기대된다. 본 논문에서는 사용자의 로그 기록으로부터 암묵적인 피드백인 상품 조회 정보를 추출하고, 암묵적인 피드백에 기반한 추천 시스템을 구현하고, 제안된 시스템은 온라인 반려동물 용품점에 적용하여 확인한다. 즉, 사용자들의 상품조회를 위한 클릭정보만을 활용하여 반려동물 용품 추천 시스템을 구축하여 서비스로 확인한다.

Effectiveness of the Verif $EYE^{TM}$ machine -vision technology for complying with reducing microbial indicator counts on beef carcasses

  • Lee, Jeong-Ah;Kim, Sa-Hyun;Lee, Sang-Koan;Kim, Gi-Cheol;Oh, Hye-Won;Jung, Tae-Nam;Lee, Yang-Soo;Jung, Chang-Jin;Jang, Won-Hyuck
    • 한국동물위생학회지
    • /
    • 제30권2호
    • /
    • pp.191-196
    • /
    • 2007
  • The slaughter process for cattle will inevitably transfer some bacteria onto the carcasses. The goal of food safety programs is to minimize and effectively remove this contamination. This study was attempted by the Verif $EYE^{TM}$ machine-vision technology that might be useful for reducing microbial indicator counts and could reduce the contamination chance of E coli O157:H7 and Salmonella spp on beef carcasses. For the evaluation of the effectiveness of the Verif $EYE^{TM}$ technology, 80 samples were examined by the inspection device over 15 days. On an examination of FDS-positive samples compared to negative controls from the same carcasses, aerobic plate counts were bigger than the negative control samples (5.26 vs 4.60 log). Enterobacteriaceae counts were greater on the positive samples than the corresponding negative control samples (2.07 vs 1.17log). There was a consistent correlation between samples detected by the Verif $EYE^{TM}$ system with detectable counts. For example, 100% of positive samples had detectable APC and 91.2% of positive samples had detectable TCC. Therefore, if areas detected as positive for contamination by the Verif $EYE^{TM}$ system were removed from the carcasses, significant sources of microbial contamination will be reduced for objective compliance with HACCP. This results suggest that the use of Verif $EYE^{TM}$ machine-vision technology might be useful for reducing microbial indicator counts (APC, TCC) and could help reduce the risk of presence of E coJi O157:H7 and Salmonella spp on Beef carcasses.