• Journal of the Korea Institute of Information Security & Cryptology
• /
• v.19 no.5
• /
• pp.131-142
• /
• 2009

While users of information security products require high-quality products that are secure and have high performance, there are neither examples for evaluating the quality of information security products nor studies on the quality model and metrics for the quality evaluation. In this paper, information security products are categorized into three different types and the security and performance of various information security products are analyzed. Through this process and after consideration of information security products' security and performance, a new quality model that possesses 7 characteristics and 24 sub-characteristics has been defined. In addition, metrics consisting of 62 common and 45 extended metrics that can be used to evaluate the quality of information security products are introduced, and a proposition for a method of generating the quality evaluation metrics for specific information security products is included. The method of generating metrics proposed in this paper can be extended in order to be applied to a variety of information security products, and by generating and verifying the quality evaluation metrics for firewall, intrusion detection systems and fingerprint systems it is shown that it applicable on a variety of information security products.

• Journal of the Korean Society for information Management
• /
• v.40 no.3
• /
• pp.77-98
• /
• 2023

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06c
• /
• pp.79-81
• /
• 2006

최근 이질 분산형태를 갖는 정보를 통합하는 방법으로서 웹 서비스 기술을 이용한 바이오 정보 시스템이 개발 구축되고 있다. 이러한 웹 서비스 기반 바이오 정보 시스템으로 Bio-MOBY. DDBJ, MyGrid Project 등을 들 수 있다. 그러나 이들 기존 시스템에서는 선택한 DB에 대한 accession 번호 검색을 지원하거나. 시스템에 등록된 서비스의 선택만이 허용되는 등 이용형태가 매우 제한적이다. 또한 서비스의 품질 평가 기능이 제공되지 않아 서비스의 관련성을 판별하지 못하며, 심지어 링크가 바르게 연결되지 않았거나, 작동하지 않는 서비스의 분별조차 불가능한 실정이다. 본 논문에서는 이러한 문제점을 해결하고자 서비스 검색과정에서 웹 서비스의 품질을 평가하고 평가된 품질을 기반으로 웹 서비스를 순위화해 사용자에게 제공하는 품질기반 UDDI를 제안한다. 이를 위해 우리는 Gene Ontology를 이용한 연관 키워드 검색방식과 키워드 기반의 서비스 품질 평가 방법을 제안하고, 본 방식의 유용성을 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2013.01a
• /
• pp.39-40
• /
• 2013

의료용 기능성게임의 효과가 입증되면서 다양한 분야의 투자와 주목을 받고 있다. 이에 따라 사용자를 위하여 의료용 기능성게임의 품질평가가 중요한 이슈가 되었다. 품질평가는 객관적인 기준과 평가요소 개발이 중요하다. 기능성게임의 특성 상 품질평가는 기술적인 영역과 비기술적인 영역으로 나누어 진행된다. 본 연구에서는 의료용 기능성게임의 비기술적인 영역의 품질평가 요소를 개발하기 위한 방법을 제안한다. 제안한 방법을 사용하여 심리 치료와 헬스케어 및 재활치료 2개 분야에 대해 각각 5개의 평가 요소를 추출하였다. 추출 결과는 전문가에 의해 내용 타당도 검사로 신뢰성을 확보했다. 본 연구는 다양한 분야의 기능성게임 품질평가 모델 개발의 가이드라인이 될 것이다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2006.08a
• /
• pp.33-40
• /
• 2006

이용자의 정보요구 변화와 이용자 중심의 서비스로 전환 그리고 도서관의 심화된 경쟁 등의 도서관을 둘러싼 환경의 변화는 이용자 기대의 변화와 도서관 경영이 변화를 가져왔다. 따라서 이용자에 대한 관심의 증가와 그들의 요구를 파악하기 위한 노력이 도서관 경영에 필요하게 되었으며, 도서관 품질 평가에 있어 수치적인 측면에서 탈피하여 고객 중심의 품질 평가로의 전환이 필요하게 되었다. 본 연구는 서비스 품질 측정에 관한 다수 이론들과 모형을 정리하여 도서관 서비스 품질을 측정하는 새로운 도구를 제시해 보고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.4
• /
• pp.1020-1027
• /
• 2013

Today, Educational serious games are occupying a large portion of the serious game market but there is a lack of the quality evaluation systems for providing useful quality evaluation information about educational serious game to user or developer. Although the existing metadata management system for serious game is developed, the system had not provided a function to manage the quality evaluation information for educational serious game. Therefor the development of quality evaluation management system of educational serious game is a very important challenge. We proposed design of the system for managing a metadata and a quality evaluation for educational serious game. The advantage of our system is that the system provide a lot of reliable useful information for general users and developers, and support an easy and convenient tool to manage the metadata and quality information to managers.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2001.10a
• /
• pp.419-425
• /
• 2001

본 고에서는 요즘 전세계적으로 관심을 모으고 있는 정보통신 산업과 기술발전으로 인한 이동전화의 서비스 품질평가에 대한 방법을 정리하였다. 주요 내용으로는 이동전화 체감 통화품질 측정을 위한 시험 조건 및 시험방법개선, 시험장비 기능 확인시험, 성능개선 요구 및 확인, 시험계획 수립 및 전국 측정 방법, 측정데이터 분석, 등급별 평가 등에 대한 내용으로, 특히 이동전화 품질평가 항목별 시험조건 및 시험 방법, 이동전화 체감 품질 측정용 시험장비 성능/신뢰성 개선 그리고 전국 현장 측정 데이터분석 및 지역별 품질산출, 등급별 평가 내용을 정리하였다. 또한 각 분야별 품질 평가 기술 방법에 대한 우리나라의 대응전략을 정리하여 산업체 기술개발에 많이 활용될 수 있을 것으로 사료된다.

• The Transactions of the Korea Information Processing Society
• /
• v.7 no.11
• /
• pp.3394-3407
• /
• 2000

오늘날 소프트웨어의 복잡성과 대형화로 유지보수 비용이 증대하고 있다. 이런 이유로 소프트웨어의 품질을 향상시키는 것이 중요한 이슈가 되고 있다. 이에 따라 소프트웨어 공학에서는 소프트웨어품질을 평가하는 방법으로 프로세서의 최종 산출물인 소프트웨어의 소스를 분석하는 방법과 소프트웨어의 생명주기에 따라 그 단계별 산출물을 평가하는 연구가 계속되고 있고, 또한 소프트웨어를 생산하는 전 과정을 일련의 프로세스로 보고 각각의 프로세스를 평가하여 소프트웨어의 품질을 향상시키는 연구도 진행되고 있다. 본 연구에서는 SPICE 모델에 따라서 소프트웨어를 지원, 생산, 공급하는데 관련이 있는 프로세스 범주를 5가지로 분류하고 각 범주에 속한 기본활동의 파라미터인 작업산출물과 ISO/IEC9126 모델의 소프트웨어 품질특성과의 연관성을 찾아서 소프트웨어 품질을 평가하고자 한다. 즉 소프트웨어를 생산하는 프로세서에서 투입 및 산출되는 입출력물들을 평가하여 프로세스 수행과정을 개선 및 변경하는 것이 소프트웨어 품질에 어떤 영향을 미치는가를 보여주는 소프트웨어 제품의 품질을 평가하는 시스템을 설계 및 구현한다.

• Journal of Internet Computing and Services
• /
• v.8 no.6
• /
• pp.115-125
• /
• 2007

Game software is tremendous popularity in inside and outside of the country, so it rises market value. Therefore, it is important to study for the evaluation models of game software. In a general way, I think that ISO/IEC 9126 is the international standard of the software quality testing. Especially, game software quality has been more important on users and developers, so we need the compliance testing model of the game software. In this paper, we evaluate the game software quality objectively and quantitatively, we propose the software quality metrics of testing. Also, we propose the evaluation model of game software on the basis of international standard ISO/IEC 9126, six quality characteristic point of view. That is functionality, reliability, usability, efficiency, portability, and maintainability.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 1998.10a
• /
• pp.23-27
• /
• 1998

최근 정보시스템에 대한 품질평가가 사용자만족이라는 개념을 중심으로 이루어져 왔다. 그러나 그것은 단기적인 관점에서의 평가모델로서 장기적인 관점에서의 종합적인 품질평가가 필요하다. 기술적 측면과 인간적 측면의 성공요인을 모두 포함하여 평가차원을 분류하고, 사용자만족에서 희생을 함께 고려하는 사용자가치가지 확장하는 종합적 품질평가모형을 제시하고 국내기업을 대상으로 실증분석해 보고자 한다.