• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2011년도 학술발표회
• /
• pp.450-450
• /
• 2011

최근 유역의 급속한 도시화, 농업의 근대화, 홍수로 인한 수해 증가, 극심한 홍수, 물이용 형태의 변화, 수질 오염 등 하천관련 다양한 문제가 제기되고 있으며, 물 관련 정보화를 추진하기 위하여 유역조사를 통한 수문 및 하천 정보의 기초자료 관리 체계를 구축하고 있다. 이를 기반으로 유역에 대한 수자원 현황을 평가하고 국가수자원계획의 정책지표로서 활용할 수 있는 통합지수들을 사용하고 있다. 지표 및 지수를 통해 한 분야를 평가하기 위해서는 객관적인 관측 값 또는 기초자료들 중에서 현상을 잘 기술해줄 수 있는 대표적인 값들을 선별하여 표준화를 거치고 각각의 세부지표들을 통합하는 과정에서 가중치를 부여한다. 기존 수자원관리를 위해 개발된 지표 및 지수에 사용된 가중치 방법은 동일가중치 방법이나 전문가들의 설문조사를 통한 계층분석법(AHP) 등이 주로 활용되었다. 본 연구에서는 지표 및 지수개발에 있어 사용되는 가중치 산정방법에 대해 알아보고 각 세부지표나 대리변수 사이의 가중치 산정방법에 따른 평가결과의 변화와 결과에 미치는 영향을 분석하여 가중치 부여 방식에 따른 지수변화의 민감도 분석을 실시하였다.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2005년도 제26회 동계학술발표회 논문집
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국도서관정보학회지
• /
• 제39권4호
• /
• pp.51-69
• /
• 2008

본 연구에서는 선행 연구에서 제시된 웹정보의 신뢰성 평가 요인과 지표들을 바탕으로 계층적 분석방법(Analytic Hierarchy Process: AHP)을 이용하여 지표들의 가중치를 산출하고 민감도 분석을 통해 웹정보의 신뢰성을 평가하기 위한 모델을 개발하고자 하였다. AHP를 이용한 분석 도구로는 Expert Choice 2000을 사용하였으며, 평가지표의 가중치 산출을 위한 대상자는 비확률 표준추출방법(non-probability sampling) 중 판단표본추출방법(judgement sampling)을 사용하여 25명의 전문가로 구성된 설문대상자를 추출하였다. 한편 민감도 분석은 평가요인들의 가중치를 달리 했을 때 하위지표들의 글로벌 가중치에 대한 민감성을 분석한 것으로, 본 연구에서는 평가 영역의 가중치를 네 가지 경우로만 제한된 변화에 대해서 하위지표들의 글로벌 가중치와 우선순위의 변동을 살펴보았다. 분석결과 1차 지표 간의 상대적 중요도 분석에서는 진실성 요인의 중요도가 0.606으로 압도적으로 높게 나타났으며, 2차 지표에서는 콘덴트의 믿음성(0.857), 유용성(0.460), 시의성(0.417)이, 그리고 3차 지표에서는 '정보의 출처에 관한 정보 제공', '기사의 인용이나 참고문헌 제공', '이용자의 의견이나 리뷰제공' 등의 요인의 가중치가 높은 것으로 나타났다. 한편 영역별 가중치를 달리했을 때 AHP 결과와 민감도 분석의 결과에서 하위지표들의 가중치와 우선순위의 반전이 나타났지만, 안전성 요인의 가중치를 0.5로 상향조정한 민감도 분석 D를 제외하면 대체적으로 AHP 결과에서 글로벌 가중치의 우선순위가 높을수록 민감도 분석에서도 우선순위가 높아지는 경향을 발견할 수 있었다.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2009년도 동계학술발표회
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.

• 정보보호학회지
• /
• 제10권1호
• /
• pp.51-62
• /
• 2000

본 연구의 목적은 취약성을 보안대책의 결핍으로 정의해서 정보보호지표의 개념을 도출한 후에, 정보자산가치에 따라서 가중치를 부여하는 정보자산가치가중치법에 의해서 정보보호지표를 계량화하는 절차를 제시하는 것이다. 이와 같은 정보보호지표에 근거해서 정보보호를 위한 기본적인 보호 대책(관리적, 기술적, 물리적 대책을 포함하는 기본통제)을 구현하고 특정 응용시스템을 위한 특수한 보호 대책을 구현함으로써, 조직 내외의 위협으로부터 안정적이고 신뢰성 있는 정보서비스를 제공할 수 있다.

• 한국경영정보학회:학술대회논문집
• /
• 한국경영정보학회 2007년도 International Conference
• /
• pp.745-750
• /
• 2007

기업의 성과관리와 성과평가 분야에서 성과지표의 분류는 조직의 내부 구성관계 즉, 수직적 (vertical) 구조(전사-본부-팀)와 수평적 (horizontal) 구조(본부와 본부 혹은 팀과 팀간)의 공유에 따라 구분될 수 있으나 기존 연구(Lipe & Salterio 2000, Dilla & Stcinbart 2005)에서는 공통지표와 고유지표라고 하는 수평적인 측면만이 고려되고 수직적인 측면은 고려되지 않았다는 한계가 있다. 조직의 성과가 향상되기 위해서는 하부조직이 전사 전략에 집중 할 필요가 있으며 이를 위하여 전사의 비전을 위한 전략목표달성에 기여한 정도를 측정하여 보상과 연계하는 것은 성과관리제도가 추구하는 기본 방향이며 도입목적이기도 하다. 그런데 선행 연구에서 밝혀지지 않은 조직구성 관계의 수직적 측면에서 전사지표의 정렬(Alignment)을 통한 공유와 할당(Cascading)된 지표의 가중치를 고려해 볼 때 고유지표는 재 정의하여 세분화 할 필요가 있다는 점이다. 즉, 특정 부서의 지표 중에는 전사 혹은 상위부서에 반영되어 공유하고 있는 고유지표(이하 공유지표)와 전사 혹은 상위부서에는 반영되지 않고 해당 부서만 독점하고 있는 순수한 고유지표(이하 고유지표$^{1}$)로 구분되어야 하며 공유지표와 고유지표의 분류에 따라 가중치 설정이 달라져야 한다는 주장이 그것이다. 따라서 본 연구의 목적은 조직이 성과를 공정하게 평가하고 하부조직이 전사전략에 집중하도록 하기 위해 공통지표와 고유지표를 사용하고 있는데(Dilla & Steinbart 2005), 고유지표를 공유지표와 고유지표로 재 정의하고 분류하여 관리 할 필요가 있다는 점과 각각의 지표 분류에 따라 가중치 설정에 차이가 있는지에 대한 유의성을 검증해 보고자 한다.

• 한국콘텐츠학회논문지
• /
• 제14권4호
• /
• pp.160-167
• /
• 2014

본 논문의 목적은 가중치 분석을 통해 지역공동형 훈련성과를 효과적으로 점검할 수 있는 평가지표를 개발하는 것이다. 지표를 개발하기 위하여, 1단계에서는 선행연구 분석을 통해 예비지표 목록을 구성하였고, 2단계에서는 전문가 검토를 통해 지표의 적절성과 대표성을 점검하였으며, 3단계에서는 현장 훈련기관 전담자 검토를 통해 지표의 현장 적용 가능성을 파악하였고, 최종 성과 평가지표를 산출하였다. 4단계에서는 최종지표를 바탕으로 가중치 분석을 실시하였다. 연구결과, 협약기업 발굴 및 관리실적 영역(협약기업 참여율, 근로자 훈련참여율 등), 훈련실적 영역(수료율, 취업률 등), 비용효과성 영역(1인당 훈련비용), 만족도 영역(협약기업 만족도, 훈련생 만족도), 지역공동 훈련활성화 영역(지역인적자원개발협의체 운영, 지자체의 인력개발 의지 등)별 지표들을 개발하였다. 가중치는 지역산업의 훈련수요 대응, 협약기업 만족도, 지역인적 자원개발협의체 운영 순으로 높았다. 또한 지역공동형 훈련성과 지표에 대한 지속적인 개선과 분석이 필요하다는 점을 제언하였다.

• 한국도서관정보학회지
• /
• 제39권4호
• /
• pp.71-96
• /
• 2008

최근에 국내 일부 대학과 대학도서관에서는 경영혁신의 일환으로 성과관리시스템을 구축하고 있으며, 이를 위해 BSC를 도입했거나 도입을 고려하고 있다. 따라서 BSC를 적용하여 대학도서관 성과의 측정도구인 성과지표를 개발하고, 개발된 성과지표의 상대적 가중치를 산정하여 대학도서관의 사명달성과 성과제고에 어떠한 성과지표가 중요한지 분석할 필요성이 있다. 또한, 성과지표는 개발 과정에서 개발 주체의 특성과 관점에 따라 영향을 받는다. 그러므로 성과지표에 대한 상대적 가중치 부여에 있어 전문가집단 간 차이를 분석할 필요성이 있다. 본 연구는 BSC 기반 대학도서관 성과지표 모형을 도출하고, 도출된 성과지표 모형의 평가요소별 중요도와 성과지표 모형에 대한 상대적 가중치 부여에 있어 전문가집단 간 차이를 분석한 연구이다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2016년도 학술발표회
• /
• pp.583-583
• /
• 2016

다양한 평가지표가 반영된 복합 지수(Composite Index)는 물관리 정책의 우선순위 결정 및 정책성과의 모니터링에 유용한 도구로 사용되고 있다. 각 지표별 중요도를 나타내는 가중치는 최종 지수의 산정에 영향을 미칠 수 있으며, 그 결정방법도 Data Envelopment Analysis(DEA), Benefit of doubt Approach(BOD), Unobserved Component Model(UCM), Budget Allocation Process(BAP), Analytic Hierarchy Process(AHP), Conjoint Analysis(CA) 등 다양하다. 본 연구에서는 여러 가지 가중치 결정방법 중 통계적 방법인 주성분 분석(Principal Component Analysis, PCA)을 사용하여 Park et al.(2016)이 제시한 물관리 탄력성 지수(Water Management Resilience Index, WMRI)에 대한 가중치를 산정하여 동일 가중치를 적용한 기존 결과와 비교하였다. 물관리 탄력성 지수는 자연조건상 물관리 취약성(Vulnerability), 기존 수자원 인프라의 견고성(Robustness), 물위기 적응전략의 다양성(Redundancy)의 3가지 부지수(sub-index)는 각각 13개, 11개, 7개의 지표(Indicator)로 구성되어 있으며, 117개 중권역을 다목적댐 하류 본류유역(범주 1), 용수공급 및 유량조절이 불가능한 지류(범주 2)와 가능한 지류(범주 3)로 분류하여 적용되었다. 각 부지수별로 추출된 3개, 5개, 3개의 주성분이 전체 자료의 76.4%, 71.2%, 63.2%를 설명하는 것으로 분석되었으며 부지수별 주성분의 고유벡터(Eigenvector)와 고유값(Eigenvalue)를 계산하고 각 지표의 가중치를 산정하였다. 주성분 분석에 의한 가중치와 동일 가중치를 적용하였을 경우와 비교해보면 취약성 부지수 1.9%, 견고성 부지수 1.9%, 다양성 부지수 2.1%의 차이가 나타나며 물관리 탄력성 지수는 0.4%의 차이를 보임에 따라 Park et al.이 제시한 연구결과의 적정성을 확인할 수 있었다. 주성분 분석은 객관적인 가중치 설정을 위한 통계적 접근방법의 하나로써 다양한 물관리 정책지수 산정시 활용될 수 있을 것이며, 향후 다른 가중치 산정방법을 적용함으로써 각 방법에 따른 지수 결과의 민감도 및 장단점을 분석할 수 있을 것으로 판단된다.

• 한국콘텐츠학회논문지
• /
• 제12권7호
• /
• pp.453-462
• /
• 2012

본 연구는 삶의 질에 대해 평가할 수 있는 객관적인 평가지표를 마련하고, 지역별 인구구성에 따른 차별화된 삶의 질 정책 실현을 위한 기초자료를 마련하는데 목적이 있다. 삶의 질 평가지표를 개발하고, 연령별 삶의 질에 대한 가중치 차이가 있는지 분석하기위해, (1) 문헌 및 선행연구를 분석해 1차 평가지표를 선정한다. (2) 전문가 FGI를 실시하여 최종 평가지표를 도출한다. (3) 전문가를 대상으로 가중치 분석을 실시한다. 분석 결과, (1) 영역별 가중치는 가족안전, 경제안정, 주거문화, 보건복지, 교통환경 순서로 나타났다. 특히, 가족안전영역은 다른 분야보다 2배 이상 중요한 것으로 나타났다. (2) 연령별 가중치 분석결과, 연령이 높을수록 경제안정을 중요시하는 반면, 가족안전영역에 대하여는 연령이 많을수록 가중치가 떨어졌다. 소득수준이 높아지면서 1인당 주거면적과 도시공원면적, 전시공연의 중요성이 모든 연령에 걸쳐 주거 환경 문화에 관심이 높아지고 있음을 시사한다.