• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.450-450
• /
• 2011

최근 유역의 급속한 도시화, 농업의 근대화, 홍수로 인한 수해 증가, 극심한 홍수, 물이용 형태의 변화, 수질 오염 등 하천관련 다양한 문제가 제기되고 있으며, 물 관련 정보화를 추진하기 위하여 유역조사를 통한 수문 및 하천 정보의 기초자료 관리 체계를 구축하고 있다. 이를 기반으로 유역에 대한 수자원 현황을 평가하고 국가수자원계획의 정책지표로서 활용할 수 있는 통합지수들을 사용하고 있다. 지표 및 지수를 통해 한 분야를 평가하기 위해서는 객관적인 관측 값 또는 기초자료들 중에서 현상을 잘 기술해줄 수 있는 대표적인 값들을 선별하여 표준화를 거치고 각각의 세부지표들을 통합하는 과정에서 가중치를 부여한다. 기존 수자원관리를 위해 개발된 지표 및 지수에 사용된 가중치 방법은 동일가중치 방법이나 전문가들의 설문조사를 통한 계층분석법(AHP) 등이 주로 활용되었다. 본 연구에서는 지표 및 지수개발에 있어 사용되는 가중치 산정방법에 대해 알아보고 각 세부지표나 대리변수 사이의 가중치 산정방법에 따른 평가결과의 변화와 결과에 미치는 영향을 분석하여 가중치 부여 방식에 따른 지수변화의 민감도 분석을 실시하였다.

• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• Journal of Korean Library and Information Science Society
• /
• v.39 no.4
• /
• pp.51-69
• /
• 2008

This study tired to develop the web credibility evaluation model by calculating weighted values and sensitivities of indicators which presented on preceding researches using Analytic Hierarchy Process. "Expert Choice 2000" was used as the tool for analysing AHP. 25 experts are answered for this questionnaire who are selected by judgement sampling method, one of the non-probability sampling method. Also, sensitivity analyses was performed to graphically see how the alternatives change with respect to the importance of the indicators or sub-indicators. The main results are summarized as followings; i) importance analysis in first level factors: trust-worthiness(0,606), expertness(0.222), safety(0.173), ii) importance analysis in second level factors: trustfulness (0.519), reputation(0.087), usefulness (0.102), timeliness(0,093), competency(0.027), security(0.115), reliability(0,058). iii) some of the importance analysis in third level factors: the site provides comprehensive information that is attributed to a specific source(0.252), the site has articles that list citations and references(0.153), the site contains user opinions and reviews(0.072), etc. iv) sensitivity analyses showed that the importance of the indicators or sub-indicators are slightly changed with respect to the alternatives change.

• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• Review of KIISC
• /
• v.10 no.1
• /
• pp.51-62
• /
• 2000

본 연구의 목적은 취약성을 보안대책의 결핍으로 정의해서 정보보호지표의 개념을 도출한 후에, 정보자산가치에 따라서 가중치를 부여하는 정보자산가치가중치법에 의해서 정보보호지표를 계량화하는 절차를 제시하는 것이다. 이와 같은 정보보호지표에 근거해서 정보보호를 위한 기본적인 보호 대책(관리적, 기술적, 물리적 대책을 포함하는 기본통제)을 구현하고 특정 응용시스템을 위한 특수한 보호 대책을 구현함으로써, 조직 내외의 위협으로부터 안정적이고 신뢰성 있는 정보서비스를 제공할 수 있다.

• 한국경영정보학회:학술대회논문집
• /
• 2007.06a
• /
• pp.745-750
• /
• 2007

기업의 성과관리와 성과평가 분야에서 성과지표의 분류는 조직의 내부 구성관계 즉, 수직적 (vertical) 구조(전사-본부-팀)와 수평적 (horizontal) 구조(본부와 본부 혹은 팀과 팀간)의 공유에 따라 구분될 수 있으나 기존 연구(Lipe & Salterio 2000, Dilla & Stcinbart 2005)에서는 공통지표와 고유지표라고 하는 수평적인 측면만이 고려되고 수직적인 측면은 고려되지 않았다는 한계가 있다. 조직의 성과가 향상되기 위해서는 하부조직이 전사 전략에 집중 할 필요가 있으며 이를 위하여 전사의 비전을 위한 전략목표달성에 기여한 정도를 측정하여 보상과 연계하는 것은 성과관리제도가 추구하는 기본 방향이며 도입목적이기도 하다. 그런데 선행 연구에서 밝혀지지 않은 조직구성 관계의 수직적 측면에서 전사지표의 정렬(Alignment)을 통한 공유와 할당(Cascading)된 지표의 가중치를 고려해 볼 때 고유지표는 재 정의하여 세분화 할 필요가 있다는 점이다. 즉, 특정 부서의 지표 중에는 전사 혹은 상위부서에 반영되어 공유하고 있는 고유지표(이하 공유지표)와 전사 혹은 상위부서에는 반영되지 않고 해당 부서만 독점하고 있는 순수한 고유지표(이하 고유지표$^{1}$)로 구분되어야 하며 공유지표와 고유지표의 분류에 따라 가중치 설정이 달라져야 한다는 주장이 그것이다. 따라서 본 연구의 목적은 조직이 성과를 공정하게 평가하고 하부조직이 전사전략에 집중하도록 하기 위해 공통지표와 고유지표를 사용하고 있는데(Dilla & Steinbart 2005), 고유지표를 공유지표와 고유지표로 재 정의하고 분류하여 관리 할 필요가 있다는 점과 각각의 지표 분류에 따라 가중치 설정에 차이가 있는지에 대한 유의성을 검증해 보고자 한다.

• The Journal of the Korea Contents Association
• /
• v.14 no.4
• /
• pp.160-167
• /
• 2014

The purpose of this paper was to develop the key performance indicators of regional co-training programs, using analytic hierarchy process method. Firstly, we pooled indicators by reviewing the literatures. The researcher checked the properness and representative of them and then, the training professionals reviewed them again. Finally, we finalized the indicators, depending on the indicator domains such as MOU (Memorandum of Agreement) company (the training participation rate of MOU companies, training participation of employees, and etc.), training performance (the completion of the program, employment rate, and etc.), cost-effectiveness (training cost per capita), satisfaction (satisfaction rate of MOU companies and training participants), and regional co-training enhancement (the operation of the committee, the will for training of the regional municipal government, and etc.). The weight size varied by the regional training needs, satisfaction of MOU companies, and regional committees of human resource development. We also suggested the continuous revision of the key performance indicators for regional co-training.

• Journal of Korean Library and Information Science Society
• /
• v.39 no.4
• /
• pp.71-96
• /
• 2008

Recently, some universities and university libraries have implemented performance management system as a part of managerial innovation, and they have either implemented or are considering implementing BSC. Thus there are needs to develop performance indicator, which is a tool measuring performance of university libraries, based on BSC, and to assess the developed performance indicator's relative weights to analyze which indicators are essential to fulfill and improve the university library's mission. The performance indicators are also affected by the characteristics and perspectives of the people who develop them during the development process. Therefore, it is necessary to analyze the differences among the professional groups in relative weighting of the performance indicator. The purposes of this study are to derive a university library performance indicator model based on BSC, to analyze the importance of each evaluation factor of the derived performance indicator model, and to analyze the differences among the professional groups in relative weighting of the performance indicator model.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2016.05a
• /
• pp.583-583
• /
• 2016

다양한 평가지표가 반영된 복합 지수(Composite Index)는 물관리 정책의 우선순위 결정 및 정책성과의 모니터링에 유용한 도구로 사용되고 있다. 각 지표별 중요도를 나타내는 가중치는 최종 지수의 산정에 영향을 미칠 수 있으며, 그 결정방법도 Data Envelopment Analysis(DEA), Benefit of doubt Approach(BOD), Unobserved Component Model(UCM), Budget Allocation Process(BAP), Analytic Hierarchy Process(AHP), Conjoint Analysis(CA) 등 다양하다. 본 연구에서는 여러 가지 가중치 결정방법 중 통계적 방법인 주성분 분석(Principal Component Analysis, PCA)을 사용하여 Park et al.(2016)이 제시한 물관리 탄력성 지수(Water Management Resilience Index, WMRI)에 대한 가중치를 산정하여 동일 가중치를 적용한 기존 결과와 비교하였다. 물관리 탄력성 지수는 자연조건상 물관리 취약성(Vulnerability), 기존 수자원 인프라의 견고성(Robustness), 물위기 적응전략의 다양성(Redundancy)의 3가지 부지수(sub-index)는 각각 13개, 11개, 7개의 지표(Indicator)로 구성되어 있으며, 117개 중권역을 다목적댐 하류 본류유역(범주 1), 용수공급 및 유량조절이 불가능한 지류(범주 2)와 가능한 지류(범주 3)로 분류하여 적용되었다. 각 부지수별로 추출된 3개, 5개, 3개의 주성분이 전체 자료의 76.4%, 71.2%, 63.2%를 설명하는 것으로 분석되었으며 부지수별 주성분의 고유벡터(Eigenvector)와 고유값(Eigenvalue)를 계산하고 각 지표의 가중치를 산정하였다. 주성분 분석에 의한 가중치와 동일 가중치를 적용하였을 경우와 비교해보면 취약성 부지수 1.9%, 견고성 부지수 1.9%, 다양성 부지수 2.1%의 차이가 나타나며 물관리 탄력성 지수는 0.4%의 차이를 보임에 따라 Park et al.이 제시한 연구결과의 적정성을 확인할 수 있었다. 주성분 분석은 객관적인 가중치 설정을 위한 통계적 접근방법의 하나로써 다양한 물관리 정책지수 산정시 활용될 수 있을 것이며, 향후 다른 가중치 산정방법을 적용함으로써 각 방법에 따른 지수 결과의 민감도 및 장단점을 분석할 수 있을 것으로 판단된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.814-817
• /
• 2024

특허의 가치를 평가하기 위해서는 특허 데이터에 포함된 다양한 지표가 활용될 수 있으며, 최근 다양한 지표를 머신 러닝 기법으로 분석하여 특허의 가치를 평가하는 연구가 증가하고 있다. 특허의 가치를 올바르게 평가하기 위해서는 여러 지표 중에서 어떤 지표가 특허의 가치에 크게 기여 하는지 판단할 수 있어야 하며, 이에 따라 지표별로 적절한 가중치를 설정할 수 있어야 한다. 제안된 방법은 회귀 모델 기반으로 다양한 지표에 가중치를 적용하여 특허 피인용수를 예측하였으며, 특허 패밀리 수에 적용되는 가중치를 변경하면서 특허 패밀리 수가 특허의 가치에 미치는 영향을 검증하였고, 특허 가치 평가 과정에서 특허 패밀리 수의 중요성에 대해 확인하였다.