• Title/Summary/Keyword: 효과평가모델

Search Result 1,918, Processing Time 0.029 seconds

A study on Stage-Based Flow Graph Model for Expressing Cyber Attack Train Scenarios (사이버 공격 훈련 시나리오 표현을 위한 Stage 기반 플로우 그래프 모델 연구)

  • Kim, Moon-Sun;Lee, Man-Hee
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.31 no.5
    • /
    • pp.1021-1030
    • /
    • 2021
  • This paper proposes S-CAFG(Stage-based Cyber Attack Flow Graph), a model for effectively describing training scenarios that simulate modern complex cyber attacks. On top of existing graph and tree models, we add a stage node to model more complex scenarios. In order to evaluate the proposed model, we create a complicated scenario and compare how the previous models and S-CAFG express the scenario. As a result, we confirm that S-CAFG can effectively describe various attack scenarios such as simultaneous attacks, additional attacks, and bypass path selection.

FubaoLM : Automatic Evaluation based on Chain-of-Thought Distillation with Ensemble Learning (FubaoLM : 연쇄적 사고 증류와 앙상블 학습에 의한 대규모 언어 모델 자동 평가)

  • Huiju Kim;Donghyeon Jeon;Ohjoon Kwon;Soonhwan Kwon;Hansu Kim;Inkwon Lee;Dohyeon Kim;Inho Kang
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.448-453
    • /
    • 2023
  • 대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

  • PDF

TASS 1.0의 1차원 확산 모델을 이용한 전출력 제어봉 인출 사고 해석

  • 이병일;최재돈;윤한영;김희철;이상용
    • Proceedings of the Korean Nuclear Society Conference
    • /
    • 1995.05a
    • /
    • pp.550-555
    • /
    • 1995
  • 국내 Westinghouse형 및 CE형 가압 경수로의 Non-LOCA 및 성능 분석을 수행할 수 있는 범용 전산 코드 TASS 1.0 코드를 한국원자력연구소에서 개발하였다. TASS 1.0의 노심 출력 계산은 Point Kinetics 모델과 1차원 확산 모델이 함께 내장되어 있어 축방향 출력 분포가 변하는 반응도 관련 사고 및 주증기관 파단 사고들에 대해서는 1차원 확산 모델을 사용하여 노심의 출력 계산이 가능하도록 개발되었다. 1차원 확산 모델의 적용 가능성 및 효과를 평가하기 위하여 Westinghouse형 발전소인 고리 3호기 7주기 및 CE형 발전소인 영광 3호기 1주기 전출력 제어봉 인출 사고에 대한 비교 분석 계산을 수행하였다. 비교 분석 계산 결과 1차원 확산 모델이 Point Kinetics 모델에 비해 DNBR 관점에서 보다 많은 운전 및 열적 여유도를 확보함이 판명되어 반응도 관련 사고 해석에서의 TASS 1.0 1차원 확산모델의 개선 효과를 입증하였다.

  • PDF

A novel Node2Vec-based 2-D image representation method for effective learning of cancer genomic data (암 유전체 데이터를 효과적으로 학습하기 위한 Node2Vec 기반의 새로운 2 차원 이미지 표현기법)

  • Choi, Jonghwan;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.383-386
    • /
    • 2019
  • 4 차산업혁명의 발달은 전 세계가 건강한 삶에 관련된 스마트시티 및 맞춤형 치료에 큰 관심을 갖게 하였고, 특히 기계학습 기술은 암을 극복하기 위한 유전체 기반의 정밀 의학 연구에 널리 활용되고 있어 암환자의 예후 예측 및 예후에 따른 맞춤형 치료 전략 수립 등을 가능케하였다. 하지만 암 예후 예측 연구에 주로 사용되는 유전자 발현량 데이터는 약 17,000 개의 유전자를 갖는 반면에 샘플의 수가 200 여개 밖에 없는 문제를 안고 있어, 예후 예측을 위한 신경망 모델의 일반화를 어렵게 한다. 이러한 문제를 해결하기 위해 본 연구에서는 고차원의 유전자 발현량 데이터를 신경망 모델이 효과적으로 학습할 수 있도록 2D 이미지로 표현하는 기법을 제안한다. 길이 17,000 인 1 차원 유전자 벡터를 64×64 크기의 2 차원 이미지로 사상하여 입력크기를 압축하였다. 2 차원 평면 상의 유전자 좌표를 구하기 위해 유전자 네트워크 데이터와 Node2Vec 이 활용되었고, 이미지 기반의 암 예후 예측을 수행하기 위해 합성곱 신경망 모델을 사용하였다. 제안하는 기법을 정확하게 평가하기 위해 이중 교차 검증 및 무작위 탐색 기법으로 모델 선택 및 평가 작업을 수행하였고, 그 결과로 베이스라인 모델인 고차원의 유전자 벡터를 입력 받는 다층 퍼셉트론 모델보다 더 높은 예측 정확도를 보여주는 것을 확인하였다.

A Recommender System using Case-based Reasoning with Implicit Rating Information (묵시적 평가정보를 이용한 사례기반추론 추천시스템)

  • 김병찬;옥수호;우용태
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.139-141
    • /
    • 2002
  • 본 논문에서는 인터넷 컨텐츠 사이트에서 개인별로 컨텐츠를 효과적으로 추천하기 위한 개인화 시스템모델을 제안하였다. 제안한 모델은 묵시적인 평가정보를 이용한 사례기반추론 기법으로서 협동적필터링 기법과 달리 유사집단의 평가정보를 이용하지 않고 개인별 속성에 대한 가중치와 속성 값을 이용하여 추천하는 기법이다. 이 기법은 각 사용자의 상품 추매 속성을 추천에 반영할 수 있는 장점이 있으며 사용자 프로파일을 이용하여 개인화된 추천이 가능하다. 제안한 기법이 Recall, Precision, F-measure의 평가 방법을 통해 실험한 결과 협동적필터링 기법 보다 모든 부분에서 더 좋은 결과가 나왔음을 볼 수 있다. 그러므로 제안 시스템이 유사 사용자의 평가정보를 이용한 협동적필터링 기법보다 효율적인 개인화 전략이 가능하다고 말 수 있다. 본 제안 모델을 이용하여 일대일 마케팅을 위한 eCRM 시스템 개발이 가능하리라 예상된다.

  • PDF

Performance Evaluation of HM-Net Speech Recognition System using Korea Large Vocabulary Speech DB (한국어 대어휘 음성DB를 이용한 HM-Net 음성인식 시스템의 성능평가)

  • 오세진;김광동;노덕규;송민규;김범국;황철준;정현열
    • Proceedings of the IEEK Conference
    • /
    • 2003.07e
    • /
    • pp.2443-2446
    • /
    • 2003
  • 본 논문에서는 한국전자통신연구원에서 제공된 대어휘 음성DB를 이용하여 HM-Net(Hidden Markov Network) 음성인식 시스템의 성능평가를 수행하였다. 음향모델 작성은 음성인식에서 널리 사용되고 있는 통계적인 모델링 방법인 HMM(Hidden Markov Model)을 개량한 HM-Net을 도입하였다 HM-Net은 PDT-SSS 알고리즘에 의해 문맥방향과 시간방향의 상태분할을 수행하여 생성되는데, 특히 문맥방향 상태분할의 경우 학습 음성데이터에 출현하지 않는 문맥정보를 효과적으로 표현하기 위해 음소결정트리를 채용하고 있으며, 시간방향 상태분할의 경우 학습 음성데이터에서 각 음소별 지속시간 정보를 효과적으로 표현하기 위한 상태분할을 수행한다. 이러한 상태분할을 수행하여 파라미터를 공유하게 되며 최적인 모델 네트워크를 작성하게 된다. 대어휘 음성데이터를 이용하여 음향모델을 작성하고 인식실험을 수행한 결과, 100명의 100단어와 60문장에 대해 평균 97.5%, 96.7%의 인식률을 보였다.

  • PDF

Qualitative Evaluation of Quality with Hierarchical Structure Using Fuzzy Inference (퍼지추론에 의한 계층구조를 가진 품질의 정성적 평가)

  • Kim, Jeong Man
    • Journal of Korean Society of Industrial and Systems Engineering
    • /
    • v.20 no.43
    • /
    • pp.37-46
    • /
    • 1997
  • 제품의 정성적 품질평가에서, 제품의 최종품질을 구성하는 다수의 특성에 대한 만족도가 언어로써 표현되어 소비자의 구매행동이란 의사결정으로 표출되는데, 이러한 주관적 평가에는 평가의 애매함(fuzziness)이 수반되므로 품질의 평가구조를 합리적으로 파악하기 위해서는 애매함의 존재를 고려에 넣지 않으면 안된다. 다수의 품질특성이 계층적(hierarchical)인 구조로 연결되어 최상위 품질특성으로 구성되며, 특성간의 중요도(relative importances)가 계층별로 결정되는 경우, 이들 개개의 특성에 대한 만족도의 평가로부터 어떤 구조적인 관계를 통해 그 제품에 대한 종합평가가 이루어지나, 개개의 특성에 대한 평가가 애매한 이상 최종 결과인 종합적 만족도도 애매한 것으로 된다. 즉, 평가모델의 구조도 평가의 패턴도 퍼지화되므로 이러한 평가에서 퍼지이론의 응용에 따른 효과를 가장 크게 기대할 수 있는 퍼지추론모델을 이용하여 계층간, 품질특성간의 퍼지관계와 특성의 중요도 및 언어변수(linguistic variables)의 형태로 주어지는 입력정보로써 품질구조를 명확히 하고, 패턴인식(pattern recognition)의 개념을 이용하여 평가자의 제품에 대한 평가결과를 언어로써 표현한다.

  • PDF

Application of the Fuzzy Set Theory to Uncertain Parameters in a Countermeasure Model (비상대응모델의 불확실한 변수에 대한 퍼지이론의 적용)

  • Han, Moon-Hee;Kim, Byung-Woo
    • Journal of Radiation Protection and Research
    • /
    • v.19 no.2
    • /
    • pp.109-120
    • /
    • 1994
  • A method for estimating the effectiveness of each protective action against a nuclear accident has been proposed using the fuzzy set theory. In most of the existing countermeasure models in actions under radiological emergencies, the large variety of possible features is simplified by a number of rough assumptions. During this simplification procedure, a lot of information is lost which results in much uncertainty concerning the output of the countermeasure model. Furthermore, different assumptions should be used for different sites to consider the site specific conditions. Tn this study, the diversity of each variable related to protective action has been modelled by the linguistic variable. The effectiveness of sheltering and evacuation has been estimated using the proposed method. The potential advantage of the proposed method is in reducing the loss of information by incorporating the opinions of experts and by introducing the linguistic variables which represent the site specific conditions.

  • PDF

Analysis and Effects of High School Students' Systems Thinking Using Iceberg(IB) Model (Iceberg(IB) 모델을 적용한 고등학생의 시스템 사고 분석 및 효과)

  • Lee, Hyundong;Lee, Hyonyong
    • Journal of The Korean Association For Science Education
    • /
    • v.37 no.4
    • /
    • pp.611-624
    • /
    • 2017
  • The purposes of this study are to explore Iceberg(IB) model as a systems thinking analysis tool for high school students, suggest a systems thinking analysis method using rubrics and verify its validity and reliability. For this study, the theoretical basis was examined through literature analysis about IB model and rubrics of evaluating the systems thinking. And 6 high school students participated in IB model activity and were interviewed about polar climate change. In addition, quantitative tests using systems thinking scale were also conducted to support the results of the IB model activity analysis. Data obtained from IB model activity was analyzed by using the rubrics of evaluating system thinking developed by Hung (2008). The analysis results were reviewed by two professors to confirm the validity and reliability. In order to confirm the validity, correlation analysis were performed between the rubrics and the quantitative test results. Finding are as follows: Six students used the IB model to express their systems thinking in detail and the results of the systems thinking analysis of students using rubrics showed a distribution of 17~35 points. Furthermore, the results of correlation analysis between rubrics and systems thinking scale was highly correlated (Pearson product-moment is .856) on significance level from .05. Using the IB model introduced in this study, students express their systems thinking effectively and the results of the systems thinking analysis using IB model is considered to analyze validity and reliability. Based on the results of this study, implication suggests how to study the systems thinking in science education.

The Study on the Evaluation Model of the Web Interface Design (웹 인터페이스 디자인 평가모델에 관한 연구)

  • Shin Soon-Ho
    • Journal of Digital Contents Society
    • /
    • v.2 no.1
    • /
    • pp.81-91
    • /
    • 2001
  • The development of internet technology and communication is a great influenced on trends of our society in culture, economy, and policy. The informationized society related internet brought the change into the designer's attitude. Namely, designers who have a concern about internet web knew that the quality of design is more important in the web site to seek the new approach to the design in relation to internet market of an imaginary cyberspace. But we have not a good tool to evaluate the web design in the internet graphic interface especially by visual perception. Now, the major concern for this research is to study the evaluation criteria of the web design interface and offer some solutions to bring the objectivity of the evaluation method model in other to make the base of a new Internet culture in Korea.

  • PDF