• 한국디지털정책학회:학술대회논문집
• /
• 2006.12a
• /
• pp.237-255
• /
• 2006

국내 정부부처 및 지역자치단체에서 수행하고 있는 연구개발 프로젝트의 선정과 평가에 관한 연구는 광범위하게 이루어지고 있다. 그러나 각 정부 부처별로 실시하는 평가프로세스와 지표의 경우 부처별 특성과, 과제의 특성을 반영하기 위한 프로세스와 지표를 개별적으로 보유하고 있으나, 과제의 평가를 수행하는 조직의 규모나 지역적 특색을 반영하기 어렵다.본 연구는 C 지역의 테크노파크(TechnoPark) 사업자가 수행하는 지역 자치단체 중심 R&D 프로젝트의 특성과 지역적인 특색을 반영한 평가관리 시스템을 개발하고자 한다. 본 연구에서는 먼저 국내 출연연구기관 및 정부부처에서 수행하는 평가시스템의 특성을 파악하고, 각 기관에서의 평가프로세스와 평가지표들을 조사하여 공통적/개별적 특성을 분류하였다. 분류된 프로세스와 지표들과 C 지역의 지역/산업적 특색을 분석하고 C 지역에서 수행한 3년간의 모든 과제에 대한 분석을 수행하여 지역적인 특색을 반영한 평가프로세스와 지표를 도출하였다. 또한 연구개발 프로젝트의 선정평가를 위한 사전 기술성 평가를 위한 기술가치평가와, 프로젝트의 수행결과 이후 나타나는 부가적인 효과를 분석하기 위하여, 프로젝트단위의 균형성과지표를 적용하여 프로젝트의 사후/추적관리 방안을 제시하고자 한다.

• Journal of Digital Convergence
• /
• v.11 no.3
• /
• pp.101-113
• /
• 2013

Although the methodological literature is replete with advice regarding the development and validation of multi-item scales based on reflective measures, the issue of index construction using formative measures has received little attention. The aim of this paper is to enhance researchers' understanding of formative measures of high-order factor and assist them in their index construction efforts. This article is also to provide some insights into the nature of formative indicators for researchers to reach an informed choice as to the appropriate high order formative measurement model for their needs. We first provide a brief background on formative indicators, drawing from the limited and fragmented literature on the topic. Next we give an example of constructing an index based on actual survey data and highlight the procedures used to assess its quality. We conclude the article with some thoughts about the use of indexes in empirical studies.

• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국경영정보학회:학술대회논문집
• /
• 2007.06a
• /
• pp.745-750
• /
• 2007

기업의 성과관리와 성과평가 분야에서 성과지표의 분류는 조직의 내부 구성관계 즉, 수직적 (vertical) 구조(전사-본부-팀)와 수평적 (horizontal) 구조(본부와 본부 혹은 팀과 팀간)의 공유에 따라 구분될 수 있으나 기존 연구(Lipe & Salterio 2000, Dilla & Stcinbart 2005)에서는 공통지표와 고유지표라고 하는 수평적인 측면만이 고려되고 수직적인 측면은 고려되지 않았다는 한계가 있다. 조직의 성과가 향상되기 위해서는 하부조직이 전사 전략에 집중 할 필요가 있으며 이를 위하여 전사의 비전을 위한 전략목표달성에 기여한 정도를 측정하여 보상과 연계하는 것은 성과관리제도가 추구하는 기본 방향이며 도입목적이기도 하다. 그런데 선행 연구에서 밝혀지지 않은 조직구성 관계의 수직적 측면에서 전사지표의 정렬(Alignment)을 통한 공유와 할당(Cascading)된 지표의 가중치를 고려해 볼 때 고유지표는 재 정의하여 세분화 할 필요가 있다는 점이다. 즉, 특정 부서의 지표 중에는 전사 혹은 상위부서에 반영되어 공유하고 있는 고유지표(이하 공유지표)와 전사 혹은 상위부서에는 반영되지 않고 해당 부서만 독점하고 있는 순수한 고유지표(이하 고유지표$^{1}$)로 구분되어야 하며 공유지표와 고유지표의 분류에 따라 가중치 설정이 달라져야 한다는 주장이 그것이다. 따라서 본 연구의 목적은 조직이 성과를 공정하게 평가하고 하부조직이 전사전략에 집중하도록 하기 위해 공통지표와 고유지표를 사용하고 있는데(Dilla & Steinbart 2005), 고유지표를 공유지표와 고유지표로 재 정의하고 분류하여 관리 할 필요가 있다는 점과 각각의 지표 분류에 따라 가중치 설정에 차이가 있는지에 대한 유의성을 검증해 보고자 한다.

• The Korean Journal of Financial Studies
• /
• v.11 no.1
• /
• pp.177-198
• /
• 2005

본 연구는 기업의 자본비용을 반영한 초과이익(excessive earnings)의 우리나라 주식시장에서 투자지표로서의 유용성에 대해서 분석하였다. 이를 위해서 주당초과이익과 함께 전통적인 성과지표인 주당순이익을 비교분석하였으며, 주된 분석결과를 요약하면 다음과 같다. 첫째, 분석기간 중 주당순이익을 기준으로 보면 대부분의 기업들이 양(+)의 값을 가지는 것으로 나타났으나, 주당초과이익의 경우에는 대다수의 기업들에서 음(-)의 값을 가지는 것으로 나타났다. 이는 기업들이 주주들에게 충분한 보상을 하지 못하고 있다는 것을 의미한다. 둘째, 주당초과이익(EES)은 전통적인 성과지표(EPS, ROE)보다 주식수익률과 상관관계가 높으며, 주당순이익에 비하여 주당초과이익을 기준으로 포트폴리오를 구성하는 경우에 보다 높은 초과수익률을 올릴 수 있는 것으로 나타났다. 셋째, 주당순이익 기준에 의한 하위집단의 누적평균초과수익률은 유의적으로 음의 값을 보이는 반면에 상위집단은 0과 차이를 보이지 않는다. 그러나 주당초과이익 상위집단의 수익률은 시장수익률보다 유의하게 높고 하위집단에서는 낮게 나타난다. 이는 주당순이익이 낮은 EPS 하위집단의 경우는 당기순손실이 주는 부정적 효과가 반영된 것으로 유추할 수 있으며, 투자지표로서는 EES가 유용한 것으로 판단된다. 결론적으로 기업의 진정한 부가가치 생산은 자본비용을 반영한 순이익이며, 제한적이지만 우리나라 주식시장에서 초과이익이 투자지표로서 활용될 수 있을 것으로 판단된다.

• 한국경영정보학회:학술대회논문집
• /
• 2007.06a
• /
• pp.837-842
• /
• 2007

일반기업에서 성과측정이 매우 중요시되는 것과 마찬가지로 공공환경의 복잡한 변화와 함께 공공기관에서도 성과측정이 중요시 되고 있다. 이에 따라 공공기관에서는 무형자산의 중요성을 인식하면서 성과측정과 관리의 수단으로 균형성과지표(Balanced Scorecard)를 도입하고 있다. 그러나 균형성과지표는 일반기업의 성과측정을 위해 고안된 방법론으로 공공기관의 특성을 반영할 수 있도록 변형되지 않고서는 공공기관에 그대로 도입되어 사용될 수는 없다. 더욱이 기존의 BSC는 '시간지연(time delay)'을 가지고 있는 지표들간의 상호작용 및 상호 의존성을 반영하지 못하고 있으며, 지표들간의 피드백을 유발하는 인과관계를 간과하고 있다. 따라서 본 연구에서는 핵심지표들간의 상호작용 및 관계성의 설정과 새로운 정책이나 입법과정에서 발생할 수 있는 '시간지연'에 의한 영향 등을 반영하고자 시스템다이내믹스(System Dynamics)와 시스템사고를 적용, 공공기관, 성과측정에 적합한 Dynamic BSC 모델을 개발하고자 한다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.5 no.4
• /
• pp.359-366
• /
• 2004

The purpose of this study is to propose the policy improvements of management evaluation system of municipal medical institutes. Management evaluation system of municipal medical institutes has been carried out every each year. This makes a great improvement in management practices. But in some respects, management evaluation system of municipal medical institutes has some problems in mechanism and measures. To overcome these, appraisal measures should be composed to improve medical efficiency. If we want to reconcile two objects which require both profit and public service, more appropriate measures should be designed. In addition, we should make measures to promote people work hard. For this purpose, we should make sure a more theoretical and practical ground back to evaluate the effectiveness of management consulting.

• Electronics and Telecommunications Trends
• /
• v.14 no.4 s.58
• /
• pp.81-92
• /
• 1999

정보화의 진전은 어느 한 개인이나 한 기업에 국한되는 것이 아니라 한 국가의 국가경쟁력을 결정하는 핵심요소로 등장하였다. 급변하는 정보사회를 대비한 산업 및 정보화 정책을 수립하기 위해서는 정보화 정도를 총체적으로 분석하는 것이 요구되는데, 이를 위한 선행조건은 객관적인 분석방법의 개발 및 측정이다. 따라서 본 연구는 변화된 정보화를 반영한 국가정보화지표체계의 설정은 물론 새로운 정보화 측정방법을 개발하여 국가별 정보화 수준을 측정 및 분석하는 데 그 목적이 있다. 본 연구에서 설정한 정보화지표들은 각 나라의 정보화 수준을 합리적으로 반영하도록 설정되었으며, 특히 고도정보이용지표와 정보기반구조지표를 도입함으로써 현재의 정보화 수준을 보다 잘 설명하도록 노력하였고, 또한 새롭게 정보화지수 산출 방법을 적용해보았다. 결론적으로 우리나라의 경우 정보기반구조지표 및 고도이용지표에서 경쟁국 및 선진국과의 격차가 크므로 이러한 항목의 투자를 확대시킴으로써 정보화의 균형발전을 도모할 수 있을 것으로 분석되었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.51-51
• /
• 2011

유역의 홍수위험도를 산정하기 위해서는 홍수의 발생가능성과 유역의 홍수방어 능력 등의 환경적, 공학적 요소 이외에도 홍수로 인한 피해 및 영향의 종류에 따라 사회적, 경제적, 문화적, 공학적인 요소를 반영해야 한다. 이들 홍수 피해 요소는 그 중요성이나 특성별로 홍수로부터의 방어 비중이 다르게 설정될 수 있으며 지역별로도 차이를 나타낼 수 있다. 본 연구에서는 홍수위험도를 평가하기 위한 인자 선정에 지속가능성 평가 모형인 DPSIR (Driving force-Pressure-States-Impacts-Response)을 이용하여 환경적, 공학적 요소뿐만 아니라 사회적, 경제적, 문화적인 요소를 반영하고자 한다. DPSIR 모형은 유역의 영향 인자들을 지표로 선정하며 각 지표간의 유기적 관계를 반영하는 구조로 이루어져 홍수로 인하여 인자 간에 발생하는 반응을 묘사할 수 있는 장점이 있다. 또한 인자를 선정함에 있어서 전문가 및 이해당사자들의 견해에 따른 평가 지역의 특성과 지속적인 변화 가능성 등을 유기적으로 연결될 수 있도록 평가요소로 반영할 수 있다. 본 연구는 추가 연구를 통해 남한강의 하도구간 별로 적용될 예정이며 각 인자들에 대한 자료는 문헌조사, 통계자료 조사 및 수리학적 수치모형 등의 분석을 통해 수집될 예정이다. 인자들에 대한 가중치는 전문가들의 의견을 반영할 예정이다. 향후 하천의 구간별 상대적 홍수취약도를 사회, 경제, 문화, 환경적인 측면을 고려한 인자들을 반영하여 정량적으로 제시하므로 하천 구간별 치수관리 우선순위를 결정하는데 적극적으로 활용될 수 있다.

• Proceedings of the Technology Innovation Conference
• /
• 2009.02a
• /
• pp.413-433
• /
• 2009

질적인 측면을 충분히 감안하지 못한 양적 성과분석은 연구개발 과제의 성과를 제대로 반영하지 못하는 문제점을 안고 있다. 따라서 양적 성과와 질적 성과를 함께 종합적으로 고려할 수 있는 종합적인 성과분석지수를 개발할 필요가 있다. 본 연구에서는 주성분 분석과 동일 가중치를 부여하는 방식을 이용하여, 특허 출원 건수, SCI 게재논문 건수, 기술이전 건수라는 3가지 양적 성과지표와 이에 대응되는 특허 심사청구 항수, 논문게재 학술지의 IT, 총 연구비 대비기술료 비중의 3가지 질적 성과지표를 성과지표로 고려하면서 성과분석지수를 개발하고자 하였다. 주성분 분석의 적용 결과 특허 출원 건수(0.2160), SCI 논문게재 건수(0.1510), 기술이전 건수(0.1564), 특허 심사청구 항수(0.2257), 논문게재 학술지의 IF(0.2218), 기술료 비중(0.0291)의 가중치를 얻을 수 있었다. 이 6가지 평가지표는 종합평가지수라는 하나의 틀로 결합되어 개별 과제의 성과를 평가하는 데 활용될 수 있다. 더 나아가 양적 성과지표와 질적 성과지표로 구분하여 평가할 수 있다. 가중치 결정 방법에 따라 평가결과가 크게 달라지지는 않았지만, 가중치 결정 방법과 상관없이 양적 성과지표 평가결과와 질적 성과지표 평가결과는 크게 달랐다. 한 가지 흥미로운 점은 과제평가등급과의 상관관계를 따져보았더니 질적 성과지표와 과제등급과의 상관관계가 양적 성과지표와 과제등급과의 상관관계보다 더 크다는 것이다. 따라서 성과분석에 있어서 질적 성과지표를 반영한 질적 성과분석이 반드시 수행될 필요가 있다. 앞으로 특허 인용도 등 보다 다양한 질적 변수를 확보하여 성과분석지수를 보완할 필요가 있을 것이다.