• Journal of Information Science Theory and Practice
• /
• 제8권2호
• /
• pp.68-78
• /
• 2020

This study is a preliminary study to develop an evaluation framework necessary for evaluating the DataON platform. The first objective is to examine expert perceptions of the level of DataON platform construction. The second objective is to evaluate the importance, stability, and usability of DataON platform features over OpenAIRE features. The third objective is to derive weights from the evaluation perspective for future DataON platform evaluation. The fourth objective is to examine the preferences of experts in each evaluation perspective and to derive unbiased evaluation criteria. This study used a survey method for potential stakeholders of the DataON platform. The survey included 12 professionals with at least 10 years of experience in the field. The 57 overall functions and services were measured at 3.1 out of 5 for importance. Stability was -0.07 point and usability was measured as -0.05 point. The 42 features and services scored 3.04 points in importance. Stability was -0.58 points and usability was -0.51 points. In particular, the stability and usability scores of the 42 functions and services provided as of 2018 were higher than the total functions were, which is attributed to the stable and user-friendly improvement after development. In terms of the weight of the evaluation point, the collection quality has the highest weight of 27%. Interface usability is then weighted 22%. Subsequently, service quality is weighted 19%, and finally system performance efficiency and user feedback solicitation are equally weighted 16%.

• 한국과학예술포럼
• /
• 제20권
• /
• pp.409-419
• /
• 2015

서비스디자인 플랫폼(Service Design Platform)은 지식경제부에서 시행하고 있는 '서비스 융합형 디자인 컨설팅 지원기술 개발사업'의 일환으로 서비스디자인 기업들이 온라인에서 서비스디자인 과제를 원활하게 할 수 있도록 하기 위한 목적으로 개발되었다. 서비스디자인 플랫폼 개발과정에서 플랫폼의 사용성을 검증하고 개선시키기 위해서는 사용자의 참여에 의한 사용성 테스트(Usability Test)와 더불어 전문가에 의한 휴리스틱 평가(Heuristic Evaluation)가 요구된다. 본 연구는 전문가에 의한 휴리스틱 평가를 실시하기에 앞서 평가대상에 적합한 평가영역과 세부 평가항목을 도출하기 위한 목적으로 진행되었다. 연구를 위해서 내부 연구자들이 사용성 영역과 평가대상인 서비스디자인 플랫폼의 특징요소, 설계요소, 커뮤니티 요소 등을 설정하였고, 이를 세부항목에 반영해서 평가지표를 분류하고 도출하였다. 이어서 평가지표에 대한 타당성과 신뢰성 검증을 위해 전문가를 대상으로 델파이 조사를 실시해서 4개의 평가영역과 44개의 세부항목으로 구성된 평가지표를 도출하였다. 도출된 평가지표는 체크리스트로 활용해서 향후 전문가에 의한 휴리스틱 평가 시 활용될 계획이다.

• 대한인간공학회지
• /
• 제17권2호
• /
• pp.97-104
• /
• 1998

This study reviews usability of PC communication softwares with different dialogue types of user interface. Usability test was conducted to evaluate usability of 3 PC communition softwares which are currently utilized in Korea. Learnability was adopted as an index of usability evaluation, so learning time, testing time and scores were measured as dependent variables. It is suggested that softwares with mixing dialogue type(menu, icon, command) which were implemented in window systems environment were not superior to that with command dialogue type.

• 한국컴퓨터정보학회논문지
• /
• 제12권6호
• /
• pp.59-68
• /
• 2007

본 논문은 국내 인터넷 쇼핑몰 웹사이트의 사용성 품질을 평가하기 위하여 웹사이트의 사용성에 영향을 미치는 요소를 조사 분석하고, 기존 연구 조사와 전문가 토론을 거쳤다. 그 결과 쇼핑몰 웹사이트의 사용성에 영향을 미치는 여섯 가지 사용성 특성, 즉 콘텐츠 만족도, 고객흡인 만족도, 가격정보 만족도, 보안 만족도, 사용자 인터페이스 만족도, 거래과정 만족도 등을 추출하였고, 각 특성들을 구성하는 72개의 세부 측정요소의 평가모델을 설정하였다. 그리고 이들 72개 사용성 측정요소 중에서 웹사이트를 구현한 HTML, XML, JSP, ASP등의 정보를 대상으로 정량적으로 측정 가능한 33개의 세부요소를 측정하는 사용성 평가실험을 하였다. 또한 현재 소비자들이 선호하고 있는 사이트와 그렇지 못한 사이트를 선정하여 동일한 사용성 측정요소에 대해 설문조사를 실시하고, 그 결과를 평가실험결과와 분석하여 본 연구에서 제안한 인터넷 쇼핑몰의 사용성 측정 평가모델 요소의 타당성을 검증하였다. 이러한 사용성 품질평가 모델을 활용함으로써 실제로 사용성 품질을 측정하는 시간을 단축할 수 있으며, 쇼핑몰 웹사이트의 개발설계 시 사용성 요소를 반영할 수 있는 토대가 된다.

• International Journal of Computer Science & Network Security
• /
• 제23권3호
• /
• pp.123-129
• /
• 2023

The most effective tutoring method is one-on-one, face-to-face in-person human tutoring. However, due to the limited availability of human tutors, computer-based alternatives have been developed. These software based alternatives are called Intelligent Tutoring Systems (ITS) which are used to tutor students in different domains. Although ITS performance is inferior to that of human teachers, the field is growing and has recently become very popular. User interfaces play key role in usability perspective of ITS. Even though ITS research has advanced, the majority of the work has concentrated on learning sciences while mostly disregarding user interfaces. Because of this, the present ITS includes effective learning modules but a less effective interface design. Usability is one approach to gauge a software's performance, while "ease of use" is one way to assess a software's quality. This paper measures the usability effectiveness of an ITS which is designed to teach Object-Oriented (OO) analysis and design concepts using Unified Modeling Language (UML). Computer Supported Usability Questionnaire (CSUQ) survey was conducted for usability evaluation of UML-ITS. According to participants' responses to the system's usability survey, all responses lie between 1 to 3 scale points which indicate that the participants were satisfied and comfortable with most of the system's interface features.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2001년도 춘계학술대회 논문집
• /
• pp.109-113
• /
• 2001

The purpose of this paper is to propose an analytical method for evaluating user satisfaction of Internet websites using the structural equation model(SEM). This paper is intended to identify critical evaluation factors of user satisfaction for websites to determine criteria for evaluating the websites, and use the criteria to develop a SEM model for quantitatively evaluation of each factors' effects of user satisfaction. The SEM model used 2 variables of usability and good-looks for the evaluation factors of websites user satisfaction and each factors have 4 sub evaluation criteria, 3 portal sites were evaluated to construct the SEM model, and 155 subjects participated the website evaluation using the walk-through and face-to-face survey method. Analysis results showed that the SEM model was statistically significant for all the 3 websites evaluated. Both the usability and good-looks two factors also showed significant effects to user satisfaction of websites and have positive correlation. The user satisfaction was more effected by the usability factor than good-looks, and the simplification and harmonization were the most critical sub-factors of the usability and good-looks.

• 산업경영시스템학회지
• /
• 제24권64호
• /
• pp.39-52
• /
• 2001

Usability is playing a more important, role in interactive products or systems (e. g,, information technology Products, computer software) development, and it has become a primary factor in determining the acceptability and consequent success of the products. This study investigates some different techniques and methods to evaluate the usability of the interactive products or system . Various evaluation methods have been tried ranging from formal to informal and empirical techniques. The classification of the usability evaluation methods(UEMs) and comparisons between these evaluation methods are presented. Some issues raised by the UEMs are also discussed. In addition, problems of selecting appropriate usability evaluation methods are discussed.

• 산업경영시스템학회지
• /
• 제20권41호
• /
• pp.189-196
• /
• 1997

Multimedia systems present information by various media, for example, video, sound, music, animation, movie, etc., in addition to the text which has long been used for conveying the information. But using several media may cause users' confusion and poorly designed user interface often aggravate the situation. Hypermedia systems allow the retrieval and representation of multimedia information using navigation and browsing mechanisms. Typically, there are two major navigation problems in a hypermedia compared to the ordinary user interface: disorientation and cognitive overload. In this study, the multimedia system was studied from the viewpoint of usability. Practical usability evaluation needs cost-effective, low-skill, and low- investment methods. The 'discount usability engineering' method, one of these methods, is based on the use of the following techniques: scenarios, simplified thinking aloud, and heuristic evaluation. The discount usability engineering method was applied to the usability evaluation of multimedia CD-ROM title.

• 대한음성학회지:말소리
• /
• 제67호
• /
• pp.103-120
• /
• 2008

Basic components for multimodal interface, such as speech recognition, speech synthesis, gesture recognition, and multimodal fusion, have their own technological limitations. For example, the accuracy of speech recognition decreases for large vocabulary and in noisy environments. In spite of those technological limitations, there are lots of applications in which speech-oriented multimodal user interfaces are very helpful to users. However, in order to expand application areas for speech-oriented multimodal interfaces, we have to develop the interfaces focused on usability. In this paper, we introduce usability and user-centered design methodology in general. There has been much work for evaluating spoken dialogue systems. We give a summary for PARADISE (PARAdigm for Dialogue System Evaluation) and PROMISE (PROcedure for Multimodal Interactive System Evaluation) that are the generalized evaluation frameworks for voice and multimodal user interfaces. Then, we present usability components for speech-oriented multimodal user interfaces and usability testing guidelines that can be used in a user-centered multimodal interface design process.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.152-157
• /
• 2008

모바일 무선인터넷 서비스(WAP)는 휴대폰이라는 제한된 화면 크기와 조작부, 브라우저 및 OS에서의 UI 구현상의 제약 등으로 인해 사용성이 고객만족도에 더욱 중요한 영향을 미치는 요소가 되고 있다. 특히 여러 다양한 콘텐츠 제공사에 의해 각각의 서비스가 개발되어 제공되는 현 상황에서, 이러한 서비스들의 UI 품질수준을 일관된 기준과 방법으로 효과적인 관리를 할 필요가 있다. 본 연구에서는 다양한 무선 인터넷 서비스들에 대한 일관된 UI 수준관리를 위한 사용성 지수 평가 체계를 제안한다. 제안된 평가 체계는 사용성 관련 사용성 지표와 UI 원칙으로부터 무선 인터넷 서비스에서의 UI 설계 요소와 평가 항목들을 도출하는 top-down 방식과, 기존 UI 설계 지침으로부터 사용성과 관계된 평가 항목들을 도출하고, 이들을 사용성 원칙과 지표 관점에서 그룹핑하는 bottom-up 방식을 통해 평가 체계 및 항목들이 구축되었다. 이러한 양방향 평가 체계 구축 방법은 사용성 문제를 야기할 수 있는 다양한 측면을 사용성 지표 관점에서 빠짐없이 고려할 수 있을 뿐 아니라, 실제 서비스 환경과 관련된 UI component 관점에서 구체적인 평가 항목들을 도출할 수 있다는 장점이 있다. 이러한 방법을 통해 구조화된 평가 체계는 사용성 지표와 각 지표와 관계된 사용성 원칙인 UI 가이드라인, 각 가이드라인 별로 구체적인 평가를 위한 UI component 별 평가항목들간 연결을 통해 계층적으로 구성되어 있다. 특히 각 평가 항목들을 O/X 로 판정할 수 있는 구체적인 내용과 형태로 구성하고, 전체 평가 항목 대비 만족된 평가항목의 비율로써 해당 서비스의 사용성 접수가 도출될 수 있게 하여 무선 인터넷 서비스의 사용성 수준을 정량적인 값으로 파악할 수 있도록 하였다. 제안된 평가 체계는 사용자 테스트를 통한 실제 사용성 문제와 비교 분석되어 그 효과별 검증하였으며, 평가 항목별로 평가 대상 및 기준, 사례를 안내해주고 지표별 접수를 자동으로 계산해 주는 S/W 로 구현되어 실제 무선 인터넷 서비스의 평가 및 개선작업에 적용되었다.