• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2005년도 춘계학술발표대회
• /
• pp.271-274
• /
• 2005

소프트웨어 제품의 활용 범위가 늘어나면서 품질의 중요성이 부각되고 있다. 이에 따라 ISO/IEC 9126 품질모델과 ISO/IEC 14598 소프트웨어 제품 평가모델에 대한 표준이 발표되었다. 하지만, 대부분 소프트웨어 개발 사업에서는 결함사항 위주로 품질관리를 하고 있으며 표준모델은 미적용 되고 있는 실정이다. 따라서, 본 논문에서는 국방 CBD 방법론을 기반으로 표준 소프트웨어 품질모델 및 제품 평가모델을 이용한 품질평가 프로세스를 제시하고자 한다. 이를 위해 국방 CBD 방법론 산출물의 품질평가 모델과 품질평가 프로세스를 정의하고 평가활동 단계별 산출물을 제시한다. 또한 소규모 시범사업에 적용을 통하여 제안된 모델의 적절성을 검증하였다. 향후 본 연구의 결과가 국방 CBD 방법론 기반 소프트웨어의 품질관리 활동에 적용이 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.213-218
• /
• 2019

기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

• 정보화연구
• /
• 제10권2호
• /
• pp.169-180
• /
• 2013

합동작전에 참여하는 부대가 효과적으로 임무를 수행하기 위해서는 조직, 시스템, 장비, 교리 절차 등 전 영역(물리 정보 인지 사회)에서의 상호운용성이 우선적으로 달성되어야 한다. 기존의 상호운용성 평가모델들을 분석해보면 하드웨어 중심의 평가에서 시스템, 조직, 작전 등으로 평가 범위가 확장되었으며, 이러한 과정에서 많은 모델들은 전투발전요소를 평가항목에 포함시켰다. 그러나 대부분의 모델들은 전투발전요소의 일부만을 평가항목으로 적용하고 있어 전투발전요소 전체에 대한 상호운용성 평가가 제한되고, 모델을 효과적으로 적용하기 위한 프로세스의 구체화와 평가결과에 대한 객관성을 보장하기 위한 측정기준 개발 등 추가적인 연구가 요구되는 상태이다. 본 논문에서는 이러한 제한사항을 보완하기 위해 전투발전요소 전체를 평가항목으로 적용하는 '전투발전요소 중심의 상호운용성 평가모델'을 제안한다. 제안된 모델은 능력개념을 도입하였고, 전투발전요소 전체를 적용하여 평가대상의 상호운용성 수준을 보다 총체적으로 비교 평가할 수 있다. 또한 이 모델은 각 전투발전요소의 상호운용성 속성 중에서 합동성과 관련된 속성을 선별 및 적용하여 합동작전에 참여하는 부대의 합동성 수준까지 비교 평가할 수 있는 장점을 가지고 있다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.16-21
• /
• 2022

사전학습 말뭉치는 위키백과 문서 뿐만 아니라 인터넷 커뮤니티의 텍스트 데이터를 포함한다. 이는 언어적 관념 및 사회적 편향된 정보를 포함하므로 사전학습된 언어 모델과 파인튜닝한 언어 모델은 편향성을 내포한다. 이에 따라 언어 모델의 중립성을 평가할 수 있는 지표의 필요성이 대두되었으나, 아직까지 언어 인공지능 모델의 정치적 중립성에 대해 정량적으로 평가할 수 있는 척도는 존재하지 않는다. 본 연구에서는 언어 모델의 정치적 편향도를 정량적으로 평가할 수 있는 지표를 제시하고 한국어 언어 모델에 대해 평가를 수행한다. 실험 결과, 위키피디아로 학습된 언어 모델이 가장 정치 중립적인 경향성을 나타내었고, 뉴스 댓글과 소셜 리뷰 데이터로 학습된 언어 모델의 경우 정치 보수적, 그리고 뉴스 기사를 기반으로 학습된 언어 모델에서 정치 진보적인 경향성을 나타냈다. 또한, 본 논문에서 제안하는 평가 방법의 안정성 검증은 각 언어 모델의 정치적 편향 평가 결과가 일관됨을 입증한다.

• 감성과학
• /
• 제2권2호
• /
• pp.105-113
• /
• 1999

특정 사람에 대해 느끼는 이미지 또는 특정 사람이 가지는 이미지를 어떻게 평가하고 나타낼 수 있을까\ulcorner 본 연구에서는 사람에 대해 가지는 이미지를 표준적인 감성 어휘 척도를 활용하여 모델이 가지는 감성이미지가 무엇인지를 비교평가 할 수 있는 방법을 제시한다. 연구 대상으로는 국내 화장품 회사의 모델을 활용하였다. 4명의 모델을 전체와 부분 모습의 두 가지 형태로 제시하면서 각 인물이 가진 이미지를 평가하게 하였다. Personal 감성이미지를 평가하기 위해서 사람의 특성이나 이미지를 묘사하는 형용사 쌍 103개를 이용하였다. 모델 이미지에 대한 평가 반응은 요인분석을 통해 7개의 감성어휘 요인으로 나타났다. 우아한-천박한, 신선감-답답함, 편안함-불편함, 순수함-가식적인, 세련미-촌스러운, 진취성-보수성, 여성성-남성성, 4명의 모델들은 이 7가지 감성 이미지 요인에 따라 상호 차별적으로 나타났다. 인물 감성이미지는 감성적 어휘로 표현됨과 동시에 각 인물이 가진 고유하고 대표적인 personal image로 나타낼 수 있는가를 보여줄 수 있엇다. 본 연구에서는 개발된 감성이미지척도는 사람의 이미지를 평가하는 대표적인 감성척도로 이용될 수 있을 뿐 아니라, 특정 제품을 나타내는 모델이 일반인들에 어떤 이미지를 전달하는지 그리고 모델의 이미지와 제품이 지향하는 이미지와 얼마나 일치하는지를 평가할 수 있었다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1999년도 추계학술대회 논문집
• /
• pp.310-317
• /
• 1999

특정 사람에 대해 느끼는 이미지 또는 특정 사람이 가지는 이미지를 어떻게 평가하고 나타낼 수 있을까\ulcorner 본 연구에서는 사람에 대해 가지는 이미지를 표준적인 감성 어휘 척도를 활용하여 모델이 가지는 감성이미지가 무엇인지를 비교평가 할 수 있는 방법을 제시한다. 연구 대상으로는 국내 화장품 회사의 모델을 활용하였다. 4명의 모델을 전체와 부분 모습의 두가지 형태로 제시하면서 각 인물이 가진 이미지를 평가하게 하였다. Personal 감성이미지를 평가하기 위해서 사람의 특성이나 이미지를 묘사하는 형용사 쌍 103개를 이용하였다. 모델 이미지에 대한 평가 반응은 요인분석을 통해 7개의 감성 어휘 요인으로 나누어졌다. 4명의 모델들은 이 7가지 감성 이미지 요인에 따라 상호 차별적으로 나타났다. 인물 감성이미지는 감성적 어휘로 표현됨과 동시에 각 인물이 가진 고유하고 대표적인 personal image로 나타낼 수 있는가를 보여줄 수 있었다. 본 연구에서는 개발된 감성이미지 척도는 사람의 이미지를 평가하는 대표적인 감성척도로 이용될 수 있을 뿐 아니라, 특정 제품을 나타내는 모델이 일반인들에 어떤 이미지를 전달하는지 그리고 모델의 이미지와 제품이 지향하는 이미지와 얼마나 일치하는지를 평가할 수 있었다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2016년도 춘계학술대회
• /
• pp.67-68
• /
• 2016

해상교통환경평가는 선박 간 항행상황의 위험도를 정량화하여 나타냄으로써 선박의 안전운항을 효과적으로 지원하는 역할을 한다. 대표적인 해상교통환경평가모델로는 ES(Environmental Stress model)와 CR(Collision Risk)모델이 있다. 이러한 모델을 살펴보면, 각각의 평가지수를 이용하여 항행상황의 위험도를 정량화하며, 선박 간 조우관계를 기반으로 평가요소를 구성함을 알 수 있다. 이번 연구에서는 선박 간 조우관계를 포함한 항행상황의 위험도에 영향을 줄 것으로 기대되는 다양한 요소를 고려한 평가지수의 타당성을 살펴보고자 한다. 이를 위하여, AIS data를 이용하여 해상교통환경을 재현하고 분석하였으며, 동일한 항행상황을 ES, CR과 제안한 모델을 이용하여 위험도 평가를 실시하였다. 그 결과를 비교하여 제시함으로써 본 모델이 해상교통환경모델로서 항만 내 통항 안전성 평가에 적용 가능성을 평가하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2018년도 학술발표회
• /
• pp.205-205
• /
• 2018

전구기후모델은 전 지구 규모에서 일관성 있는 전망 결과를 제공한다. 이를 수자원분야의 활용과 같은 지역 단위의 응용분야에 실질적으로 활용하기 위해서는 상세화 절차가 반드시 필요하며, 상세화 전후의 결과에 대한 평가가 필요하다. 본 연구에서는 전구기후모델을 이용한 상세화 전후의 체계적인 평가를 위한 방법을 제안하고자 한다. 평가방법으로는 과거 재현성 평가와 미래 불확실성 평가를 통해 실시하였다. 과거 재현성 평가는 상세화 이전 전구기후모델의 과거 공간재현성평가와 상세화 된 자료와 ETCCDI를 이용한 Technique for Order of Preference b Similarity to Ideal Solution (TOPSIS)기법으로 평가하였다. 미래 기간의 불확실성 평가는 Katsavounidis approach (KKZ)방법을 통한 미래 불확실성의 설명력을 고려하여 실시하였다. 전구기후모델은 CMIP5에서 제공되는 모형들 중 26를 이용하였고, Representative Concentration Pathways (RCP) 시나리오는 4.5와 8.5를 이용하였고, 기상변수는 강수량, 최대기온, 최저기온을 구축하였다. 상세화는 통계적 상세화방법 중 하나인 Spatial Disaggregation Quantile Delta Mapping (SDQDM)방법을 이용하였다. 과거 재현성평가를 위한 과거기간은 1976년부터 2005년까지의 30년 기간을 사용하였다. 미래 불확실성 평가를 위한 기간은 3개 구간 (2011-2040, 2041-2070, 2071-2099)을 사용하였다. 과거 재현성 평가를 통해 26개 전구기후모델 중 모사력이 부족하다고 판단되는 모델을 제외한 19개 전구기후모델을 선정하였고, 이를 이용하여 미래 불확실성 평가를 실시하였다. 그 결과 각각의 미래기간과 RCP시나리오에서의 미래변동성을 설명하기 위한 전구기후모델의 최소 필요수를 알 수 있었다. 본 연구의 결과를 효율적인 수자원분야의 전구기후모델의 활용이 가능할 것으로 기대된다.

• 한국지능시스템학회논문지
• /
• 제20권2호
• /
• pp.267-272
• /
• 2010

본 연구에서는 기업문화의 유형과 기업문화의 구성요소간의 관계, 영향도를 분석하고, 기업문화의 유형 평가모델에 의하여 유형을 평가하는 방법을 제시하고자 한다. 중소기업의 구성원을 대상으로 설문을 통해 구한 314개의 데이터를 사용하여 기업문화의 유형과 기업문화의 구성요소간의 관계는 상관분석을 통해, 기업문화의 유형별로 어떤 기업문화 구성요소가 영향을 주는 정도에 대해서는 회귀분석을 통해서 분석하였다. 마지막으로 기업문화 유형의 평가모델 분석은 퍼지시스템을 이용하였다. 본 연구에서의 기업문화 유형의 평가모델은 가능적인 면과 필연적인 면이 섞여 있는 형태이며, 평가모델을 이용하여 모델링에 의한 기업문화유형에 대한 추정퍼지관계행렬을 동정하여 퍼지시스템을 구하는 동정문제로서 모델의 검토를 통해서 그 유용성을 보였다.

• 한국해양환경ㆍ에너지학회지
• /
• 제14권2호
• /
• pp.107-113
• /
• 2011

해수유동모델의 검증 및 평가를 위해 적용되는 또는 적용가능한 10종류의 모델 오차평가방법 - 네가지의 정량적 평가방법(절대평균오차, 평균제곱근 오차, 상대적 절대평균오차, 백분율모델오차)과 여섯가지의 정성적 평가방법(상관계수, 신뢰지수, 일치지수, 모델효율성, 비용함수, 잔여량계수) - 을 소개하고, 실제 조위, 유속, 염분관측치와 3차원 곡선형 모델(CH3D)에서 구해진 플로리다 하구에서의 수치해에 이들 모델 오차평가방법들을 적용하였다. 조위 및 유속평가시 절대평균오차, 평균제곱근 오차, 상대적 절대평균오차, 상관계수, 일치지수, 모델효율성, 비용함수, 잔여량계수 등이 적합하였다. 그리고 염분평가시 절대평균오차, 평균제곱근 오차, 상대적 절대평균오차, 백분율모델오차, 상관계수, 신뢰지수, 비용함수, 잔여량계수 등의 사용이 타당하였다. 정량/정성적 평가방법들이 서로 유사한 평가경향을 보여 줌으로써, 상호간의 신뢰성도 보여 주었다. 다양한 모델 오차평가방법을 통하여 계산된 평가값을 토대로, 본 연구에서는 조위, 유속, 염분이 잘 재현된 해수유동모델의 평가범위를 제시하였다. 조위의 경우 상대적 절대평균 오차는 10%이내, 상관계수는 0.95이상, 일치지수는 0.98이상, 모델효율성은 0.93이상, 비용함수는 0.21이내이며, 유속의 경우 상대적 절대평균오차는 20%이내, 상관계수는 0.7이상, 일치지수는 0.8이상, 모델효율성은 0.5이상, 비용 함수는 0.5이내이며, 염분의 경우 상대적 절대평균오차와 백분율모델오차는 10%이내, 상관계수는 0.9이상, 신뢰지수는 1.15이내, 비용함수는 0.1이내 이다.