• 정보화연구
• /
• 제10권2호
• /
• pp.169-180
• /
• 2013

합동작전에 참여하는 부대가 효과적으로 임무를 수행하기 위해서는 조직, 시스템, 장비, 교리 절차 등 전 영역(물리 정보 인지 사회)에서의 상호운용성이 우선적으로 달성되어야 한다. 기존의 상호운용성 평가모델들을 분석해보면 하드웨어 중심의 평가에서 시스템, 조직, 작전 등으로 평가 범위가 확장되었으며, 이러한 과정에서 많은 모델들은 전투발전요소를 평가항목에 포함시켰다. 그러나 대부분의 모델들은 전투발전요소의 일부만을 평가항목으로 적용하고 있어 전투발전요소 전체에 대한 상호운용성 평가가 제한되고, 모델을 효과적으로 적용하기 위한 프로세스의 구체화와 평가결과에 대한 객관성을 보장하기 위한 측정기준 개발 등 추가적인 연구가 요구되는 상태이다. 본 논문에서는 이러한 제한사항을 보완하기 위해 전투발전요소 전체를 평가항목으로 적용하는 '전투발전요소 중심의 상호운용성 평가모델'을 제안한다. 제안된 모델은 능력개념을 도입하였고, 전투발전요소 전체를 적용하여 평가대상의 상호운용성 수준을 보다 총체적으로 비교 평가할 수 있다. 또한 이 모델은 각 전투발전요소의 상호운용성 속성 중에서 합동성과 관련된 속성을 선별 및 적용하여 합동작전에 참여하는 부대의 합동성 수준까지 비교 평가할 수 있는 장점을 가지고 있다.

• 한국화재소방학회논문지
• /
• 제10권4호
• /
• pp.29-36
• /
• 1996

건축물 화재로 인한 인적, 물적 피해를 방지하기 위하여는 먼저 이들 시설, 설비에 존재하는 잠재위험요인을 찾아내고 위험이 얼마나 큰가를 분석하는 위험성 평가가 수행되어야 한다. 본 연구에서는 건물의 화재 위험성을 822개의 Checklist에 의해 평가하도록 하였으며, 정량적 평가를 위하여 주요 구성 요소를 10개의 대분류로 나누고, 가중치를 부여하여 100점 만점의 점수를 산출하도록 하였다. 건물의 실제평가를 통하여 평가 모델의 적정성을 검토한 결과, 본 모델은 일반 모든 건물에 대하여 평가 적용이 가능하도록 되었다. 또한 Checklist에 의한 세부적인 질문기법으로 작성되어 건물의 화재 위험성 평가를 수월하게 수행할 수 있도록 하였다. 따라서 본 평가모델의 제시는 이제까지 국내에서 소방진단을 위한 뚜렷한 평가모델이 마련되지 못한 현시점에서 방화관리자 등 소방관련자에게 매우 유익한 평가모델이 될 것이다.

• 한국콘텐츠학회논문지
• /
• 제6권9호
• /
• pp.42-49
• /
• 2006

이 논문에서는 일반 건강 소비자들에게 건강정보를 제공하는 웹사이트들의 신뢰성과 만족도를 평가하기 위한 모델을 제안하였다. 평가 모델의 제안을 위하여 기존의 국외 및 국내 관련 연구들을 조사, 분석하였다. 이 분석 결과를 바탕으로 평가 모델을 위한 건강정보의 신뢰성 및 만족도 평가기준, 평가를 위한 절차, 그리고 각 평가기준에 따른 평가값을 산출하기 위한 처리 방법을 함께 제안하였다. 제안된 평가 모델은 현재 운영되고 있는 건강정보 웹사이트의 분석 도구로 활용이 가능하며, 개발 중인 건강정보 웹사이트의 경우에는 개발 시 체크리스트로 활용될 수 있다.

• 한국데이타베이스학회:학술대회논문집
• /
• 한국데이타베이스학회 2008년도 연합학회학술대회
• /
• pp.379-388
• /
• 2008

초기 사업자들에 의해 일방적으로 정보가 제공되던 인터넷 GIS 사이트는 Web 2.0의 패러다임과 함께 사용자들에 의해서 정보가 생산되고, 평가되는 형태로 변화하였다. 기존의 일반적인 웹사이트의 평가모델과 GIS 사이트 평가 모델에 대해서 살펴보고, Web 2.0을 고려하여 보완된 GIS 사이트 평가모델의 기준점을 을 제시하고자 한다. 본 연구를 통해 제안된 평가 모델의 기준점은 사용자 참여 정도를 고려한 평가 기준점으로써 이를 발전시켜 GIS 2.0 에 대한 평가모델을 제안할 수 있을 것이다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2005년도 공동추계학술대회
• /
• pp.437-441
• /
• 2005

수많은 정보시스템들이 기업 및 조직에 도입되고 있다. 이러한 정보시스템들의 도입 효과 분석에는 많은 어려움이 따르는데, 특히 기존의 시스템을 e-business화 하는 e-transformation화 되고 있는 진행중인 시스템에 대한 평가는 난해면이 많다. 이에 본 논문에서는 이러한 경우의 정보시스템 효과평가를 위한 모델 수립을 위한 탐색적 연구 결과를 소개하고자 한다. 본 논문에서는 기존문헌 고찰을 통해 정보시스템 성과평가를 위한 모델과 방법론의 한계 및 이슈를 도출하고, 이를 극복하기 위해 EEM(E-transformation Evaluation Model) 모델과 방법론 구축의 필요성을 도출한다. EEM모델에서는 정보시스템도입의 현재 효과평가뿐만 아니라 현재에는 IT 효과가 일어나지 않지만 향후 정보시스템을 통한 IT효과측정이 가능하므로 측정대상에 따라 다각적인 적용이 가능하여 기업의 정책수립에 큰 도움이 되리라 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2003년도 추계학술발표논문집 (상)
• /
• pp.257-260
• /
• 2003

인터넷에 대한 많은 관심만큼 교육용 웹 사이트를 신뢰성 있고 효과적으로 평가할 수 있는 평가모델의 개발이 활발히 연구되어 지고 있다. 본 논문은 지금까지 여러 분야에서 제시되어 사용되고 있는 다양한 웹 문서 평가기준 기준에 관한 기존 연구를 바탕으로 평가 항목을 제시하였다. 그리고, 교육용 웹 사이트 평가 수준을 계량적으로 표현할 수 있는 모델을 제시하였다. 또한 교육용 웹 사이트 평가 모델의 평가단계 평가 영역별 가증치를 설정하여 평가 모형이 교육용 웹 사이트에서 고유의 특성을 잘 반영할 수 있도록 하였다.

• 정보관리학회지
• /
• 제40권3호
• /
• pp.77-98
• /
• 2023

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.55-60
• /
• 2021

최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.479-480
• /
• 2024

본 논문에서는 원자력 안전조치 용어를 미세조정(fine tuning) 알고리즘을 활용해 추가 학습한 공개 거대 언어모델(Large Language Model, LLM)이 안전조치 관련 질문에 대해 답변한 결과를 정성적으로 평가하였다. 평가 결과, 학습 데이터 범위 내 질문에 대해 학습 모델은 기반 모델 답변에 추가 학습 데이터를 활용한 낮은 수준의 추론을 수행한 답변을 출력하였다. 평가 결과를 통해 추가 학습 개선 방향을 도출하였으며 저비용 전문 분야 언어 모델 구축에 활용할 수 있을 것으로 보인다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2011년도 춘계학술논문집 2부
• /
• pp.757-760
• /
• 2011

본 논문의 주목적은 확률변수의 내삽을 이용하여 Mg-Al-Zn합금에 적합한 확률론적 피로균열전파모델을 평가하여 제시하는 것이다. 모델을 평가하기 위하여 최대하중조건을 변화시키면서 피로균열전파실험을 수행하였으며, 실험을 통해 통계적 피로데이터를 확보하였다. 균열성장의 불확실성을 묘사하기 위하여 실험적 피로균열전파모델에 확률변수를 도입한 확률론적 피로균열전파모델을 제안하였으며, 각 모델의 파라미터는 최우추정법으로 추정하였다. 제안된 모델의 적합성을 평가하기 위하여 균열성장에 따른 확률변수의 내삽데이터를 이용하였으며, 평가한 결과 Mg-Al-Zn합금에 적합한 모델은 '확률론적 Paris-Erdogan모델'과 '확률론적 Walker모델'임을 규명하였다.