Browse > Article

Theoretical Model of Performance Evaluation for Informatization Programs: Focusing on the Public Sector  

Kim, Sang-Hoon (광운대학교 경영정보학과)
Choi, Jeom-Ki (광운대학교 디지털경영연구소)
Publication Information
Journal of Information Technology Services / v.6, no.1, 2007 , pp. 101-126 More about this Journal
Abstract
This study aims to construct the integrative performance evaluation model of informatization programs. In order to achieve the purpose of research, first of all, the three major theoretical paradigms (technical/functional, economic/financial, and interpretive/alternative paradigms) are comparatively analyzed concerning their philosophical and methodological perspectives. Also, a number of important studies and research model in the area of IS (Information Systems) evaluation are critically reviewed. And then actual problems and limitations on the process of implementing IS performance evaluation are sought through investigating domestic and foreign practices. Based upon theoretical and practical review of informatization evaluation and logical reasoning, the components of ideal performance evaluation scheme for informatization program are derived, and the integrative performance evaluation model which can comprehensively represent the relationship among the components is conceptually proposed. For researchers, this study provides the theoretical basis for reasonably deriving the performance variables of informatization programs and empirically validating the performance of managing informatization programs. And in real world, the results of this study are very likely to contribute to presenting the practical guideline for desirably implementing performance evaluation of informatization programs.
Keywords
Informatization Programs; Performance Evaluation Scheme; Integrative Performance Evaluation Model;
Citations & Related Records
연도 인용수 순위
  • Reference
1 윤종수, 한경수, 한재민, "조직성숙수준에 따 른 BPR의 주요성공요인과 성과간의 관련성 연구", 경영정보학연구, 제7권, 제2호(1997), pp.103-135
2 이기식, "광역지방자치단체 정보화사업의 평 가 : 충청북도사례를 중심으로", 정책분석평 가학회보, 제10권, 제2호(2000), pp.261-282
3 Levitt, M. and M. Joyce, The Growth and Efficiency of Public Spending, Gambridge : Cambridge University Press(1987)
4 양재진, 정명주, 정진우, "공공정보화사업의 사전평가 모형 구상 : 예산과의 연계와 사업 실효성 확보방안을 중심으로", 정보화정책, 제10권, 제3호(2003), pp.156-177
5 김기환, "정보화사업 타당성분석제도의 개선 방향 모색 : 공공분야 타당성분석제도들의 비교를 중심으로", 정보화정책, 제12권, 제1 호(2005), pp.59-77
6 김준한, "중앙정부의 정보화 평가체계 정립", 한국행정학보, 제36권, 제4호(2002) pp.1-20
7 산업자원부․중소기업진흥공단, 중소기업 IT 화 사업계획 2002
8 이국희, "기업정보시스템의 평가를 위한 모 형", 경영정보학연구, 제2권, 제1호(1992), pp.17-33
9 이상엽, "IT 성과평가 접근방법과 사례", 한국소프트웨어진흥원 제2회 SW발주관리 심포지엄, 2004
10 이종호, 주상호, "ERP 시스템 도입요인과 성 과변수에 관한 연구", 생산성논집(구생산성 연구), 제16권, 제2호(2002), pp.95-116
11 장경서, 서길수, 이문봉, "ERP 시스템 구현 핵 심성공요인에 관한 탐색적 연구", Information Systems Review, 제2권, 제2호(2000), pp.255-281
12 한국전산원, 업종별 정보화 경제성 분석 및 실행지침개발, 2001b
13 정명주, "정보화 평가체계의 현황 및 문제 점", 한국정책분석평가학회 2001 추계학술 대회 발표논문집, 2001, pp.259-279
14 정보통신정책연구원, 전자정부사업 성과평 가모델 연구, 2003
15 한국전산원, 국가정보화평가 발전방안, 1999a
16 한국전산원, 정보화사업 사전타당성분석 방 법론 연구, 2004a
17 Baily, J. E. and S. W. Pearson, "Development of a Tool for Measuring and Analyzing Computer User Satisfaction", Management Science, Vol.29, No.5(1983) pp.530-545   DOI   ScienceOn
18 DeLone, W. H. and E. R. McLean, "The DeLone and McLean-Model of Information Systems Success : A Ten-Year Update", Journal of Management Information Systems, Vol.19, No.4(2003), pp.9-30   DOI
19 Fornell, C., M. D. Johnson, E. W. Anderson, J. S. Cha, and B. E. Bryand, "The American Customer Satisfaction Index : Nature, Purpose, and Findings", Journal of Marketing, Vol.60, No.4(1996), pp.7-18   DOI   ScienceOn
20 General Services Administration(GSA) Performance-Based Management : Eight Steps To Develop and Use Information Technology Performance Measures Effectively 1997
21 Grover, V., S. R. Jeong, and A. H. Segars, "Information Systems Effectiveness : The Construct Space and Pattern of Application", Information and Management, No.31(1996), pp.177-191
22 Marchand, D. A., W. J. Kettinger, and J. D. Rollins, Making the Invisible Visible, John Wiley and Sons, Ltd(2001)
23 NTIA (National Telecommunications and Information Administration) Technology Opportunities Program(2001)
24 OECD (1999). Improving Evaluation Practices : Best Practice Guidelines for Evaluation and Background Paper, 1999
25 Pinto, J. K. and D. P. Slevin, "Critical Factors in Successful Project Implementation", IEEE Transactions on Engineering Management, EM-34, No.1(1987), pp.22-27   DOI
26 Swiss, J. E., "Performance Monitoring Systems", Accountability for Performance, David Ammons(ed.), Washington, D. C. : ICMA, 1995
27 Porter, M. E., Competitive Strategy, Free Press, New York(1980)
28 Schneider, A. L., "The Evolution of a Policy Orientation for Evaluation Research : A Guide to Practice", Public Administration Review, vol.46, No.4(1986), pp.356-363   DOI   ScienceOn
29 Scott, J., "The Measurement of Information Systems Effectiveness : Evaluating a Measuring Instrument", Proceedings of the 15th International conference on Information Systems, Vancouver, British Columbia, 1994, pp.111-128
30 Zeithaml, V. A., L. L. Berry, and A. Parasuraman, "The Behavioral Consequences of Service Quality", Journal of Marketing, Vol.60, No.2(1996) pp.31-46
31 한국개발연구원, 공공부문의 성과관리, 2004
32 윤상오, "국가정보화사업평가 효율화방안 연 구", 한국사회와 행정연구, 제15권, 제1호 (2004), pp.379-403
33 이주헌, 고형대, "소프트웨어 프로젝트 관리의 체계", 정보처리학회지, 제1권, 제3호(1994), pp.7-14
34 Myers, B. L., L. A. Kappelman, and V. R. Prybutok, "A Comprehensive Model for Assessing the Quality and Productivity of the information Systems Function : Toward a Theory for information Systems Assessment", Information Resources management Journal, Vol.10, No.1 (1997), pp.6-25   DOI
35 Yolande, E. C., "IT Value: the greate divide between qualitative and quantitative and individual and Organizational Measures", Journal of Management Information Systems, Vol.16, No.4(2000), pp.225-261   DOI
36 박종수, "정보화사업 메타평가를 위한 CIPOU 모형 개발", 한국정책학회 2003 추계학술대 회 논문집, 2003, pp.65-100
37 Jurison, J., "Software Project Management : The Manager's View", Communications of AIS, Vol.2, No.17(1999), pp.3-12
38 정해용, 김상훈, "공공정보화사업 추진단계별 평가항목 개발 : 문화정보화사업을 중심으로", 정보화정책, 제11권, 제1호(2004), pp.106-125
39 중소기업정보화경영원, 중소기업 정보화 성 과평가 연구보고서, 2004
40 최동수, "우리나라 정보통신산업의 성장과 생 산성 분석", 국가기간 전산망 저널, 제2권, 제2호(1995), pp.36-47
41 Marchand, D. A., W. J. Kettinger, and J. D. Rollins, "Information Orientation : People, Technology and the Bottom Line", Sloan Management Review, Vol.41, No.4(2000), pp.69-80
42 오철호, 정홍원, "정보화사업의 사전평가 모 형과 방법론 탐색 : 하나의 가설", 한국정책 분석평가학회보, 제12권, 제2호(2002) pp.235- 266
43 이재남, 김영걸, "정보시스템 아웃소싱의 성 공을 위한 인과모형에 관한 연구 : 구조방정 식 모형 접근방법", 경영학연구, 제28권, 제3호(1999) pp.799-822
44 정승렬, 정성현, 배준범 "리엔지니어링 성공 요인의 이원론적 분석", 경영정보학연구, 제11권, 제2호(2001), pp.205-221
45 한국전산원, 정보화 평가제도 연구: 해외사 례를 중심으로, 2002
46 한국전산원, 정보화사업의 경제적 효과분석 에 관한 연구, (1999b)
47 Dick, A. S. and K. Basu, "Customer Loyalty : Toward an Integrated Conceptual Framework", Academy of Marketing Science Journal, Vol.22, No.2(1994), pp.99-113   DOI
48 Doll, W. J. and G. Torkzadeh, "A Discrepancy Model of End-User Computing Involvement" Management Science, Vol.35, No.10(1989), pp.1151-1171   DOI   ScienceOn
49 Flynn, N., "Performance Measurement in Public Sector Services", Policy and Politics, Vol.14, No.3(1986), pp.389-404   DOI
50 Kettinger, W. J. and C. C. Lee, "Perceived Service Quality and User Satisfaction with the Information Services Function", Decision Sciences, Vol.25, No.(5-6)(1994), pp.727-766
51 Watson, R. T., L. F. Pitt, and C. B. Kavan, "Measuring Information Systems Service Quality : Lessons From Two Longitudinal Case Studies", Management Information Systems Quarterly, Vol.22, No.1(1998), pp. 61-79   DOI   ScienceOn
52 김희철, 이대용, "ERP 시스템 주성공요인에 따른 도입특성에 대한 연구", 한국정보전략 학회 1999 추계공동학술대회 논문집, 1999, pp.345-353
53 Ross, J. W., C. M. Beath, and D. L Goodhue, "Develop Long-Term Competitiveness Through IT Assets", Sloan Management Review, Vol.38, No.1(1996), pp.31-42
54 안봉근, 주기중, 권해익, "포괄적인 정보시스 템 성과평가모형에 관한 연구", 경영과학, 제21권, 제2호(2004), pp.111-122
55 Larson, R. and L. Berliner, "On Evaluating Evaluations", Policy Sciences, Vol.16, No.2(1983), pp.147-163   DOI
56 이상천, 홍정완, "정보화 효과지표의 업종별 분석", 산업공학, 제14권, 제4호(2001), pp. 421-428
57 Ives, B. and M. H. Olson, "User Involvement and MIS Success : A Review R esearch", Management Science, Vol.30, No.5(1984), pp.586-603   DOI   ScienceOn
58 OECD (1994). Performance Management in Government : Performance Measurement and Result-Oriented Management, No.3, Public Management Occasional, 1994
59 이찬구, "메타 평가의 구성 요소 및 모형 설 계에 관한 연구", 정책분석평가학회보, 제7 권, 제2호(1992), pp.5-23
60 한국문화정보센터, 문화정보화사업 평가 및 성과측정 지침에 관한 연구, 2003
61 중소기업청․중소기업정보화경영원, 중소기 업 정보화지원정책 성과평가체계 연구, 2005
62 김은순, 윤상오, "정보화 사업 평가기준 도출 에 관한 연구 : Q 방법론을 사용하여", 지방 정부연구, 제5권, 제4호(2001), pp.207-226
63 노미현, "ERP 시스템의 구현성공과 도입성 과에 관한 연구", 중소기업연구, 제26권, 제1호(2004), pp.3-26
64 문태수, "공공부분 정보화사업의 경제성 평 가방법론 개발", 정책분석평가학회보, 제13 권, 제1호(2003) pp.47-84
65 한국행정연구원, 결과중심의 성과측정 및 성과관리체제에 관한 연구, 1999
66 Hamilton, S. and Chervany, N. L. "Evaluating Information System Effectiveness- Part I : Comparing Evaluation Approaches", Management Information Systems Quarterly, Vol.5, No.3(1981), pp.55-69   DOI   ScienceOn
67 Heatley, J., R. Agarwal, and M.Tanniru, "An Evaluation of an Innovative Information Technology-the Case of Carrier EXPERT", Journal of Strategic Information Systems, Vol.4, No.3(1995), pp.255-277   DOI   ScienceOn
68 한국전산원, 공공부분 정보화사업 평가를 위한 BSC 모형, 2001a
69 Porter, M. E. and V. E. Millar, "Technology and Competitive Advantage", Harvard Business Review, Vol.15, No.3(1985)
70 정해용, 김상훈 "정보시스템 평가지표 개발 에 관한 실증적 연구 : 공공부분을 중심으로." 한국경영과학회지, 제28권, 제4호(2003), pp.155-189
71 Benson, R. J. and M. M. Parker, Information Economics-Linking Business Performance to Information Technology, Prentice Hall(1988)
72 한국전산원, 정보화사업 투자 선정을 위한 의사결정 지침 연구, 2004b
73 Kaplan, R. S. and D. P. Norton, "The Balanced Scorecard-Measures that Drive Performance", Harvard Business Review, Vol.70, No.1(1992), pp.71-79   PUBMED
74 Scriven, M., "An Introduction to Metaevaluation", Educational Product Report, No.2(1969), pp.36-38
75 Serafeimidis, V., "A Review of Research Issues in Evaluation of Information Systems", Information Technology Evaluation Methods and Management, pp.58-77. W. V. Grembergen(ed.), London : Idea Group Publishing, 2000
76 정명주, "정보화 성과관리를 위한 정보화 평 가체계 정립방안", 제2회 정보화평가 심포 지움 발표논문집, 2000, pp.121-132
77 Field, R., "When Bad Things Happen to Good Project", CIO, No15(1997), pp.55-62
78 Pitt, L. F., R. T. Watson, and C. B. Kavan, "Service Quality : A Measure of Information Systems Effectiveness", Management Information Systems Quarterly, Vol.19, No.2(1995), pp.173-187   DOI   ScienceOn
79 공병천, "상위평가에 관한 비판적 논고 : 중앙 행정기관평가를 중심으로", 한국행정연구, 제14권, 제1호(2005), pp.66-95
80 한국전산원, 정보화사업 평가방법론 연구, 1999c
81 Bakos, J. Y. and C. F. Kemerer, "Recent Applications of Economic Theory in Informations Technology Research", Decision Support Systems, No.8(1992), pp.365-386
82 Saunders, C. S. and Jones, J. W. "Measuring Performance of the Information Systems Functions", Journal of Management Information Systems, Vol.8, No.4(1992), pp.63-82   DOI
83 윤상오, "정보화가 국가경쟁력에 미치는 효 과분석", 한국행정학보, 제34권, 제3호(2000), pp.47-71
84 정보화추진위원회, 국가정보화 평가시행계 획, 2004
85 Dobbins, J. H. and R. G. Donnely, "Summary Research Report on Critical Success Factors in Federal Government Program Management", Acquisition Review Quarterly, Vol.5, No.1(1998), pp.61-82
86 정보화추진위원회, 국가정보화 평가시행계 획, 2005
87 한국전산원, 정보화사업평가편람, 1997
88 DeLone, W. H. and E. R. McLean, "Information Systems Success : The Quest for the Dependent Variable", Information Systems Research, Vol.3, No.1(1992), pp. 60-95   DOI