Journal of Information Technology Services (한국IT서비스학회지)

Korea Society of IT Services (한국IT서비스학회)
권호 표지

Theoretical Model of Performance Evaluation for Informatization Programs: Focusing on the Public Sector

정보화지원사업의 성과평가를 위한 이론적 모형: 공공부문을 중심으로

  • 김상훈 (광운대학교 경영정보학과) ;
  • 최점기 (광운대학교 디지털경영연구소)
  • Published : 2007.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

This study aims to construct the integrative performance evaluation model of informatization programs. In order to achieve the purpose of research, first of all, the three major theoretical paradigms (technical/functional, economic/financial, and interpretive/alternative paradigms) are comparatively analyzed concerning their philosophical and methodological perspectives. Also, a number of important studies and research model in the area of IS (Information Systems) evaluation are critically reviewed. And then actual problems and limitations on the process of implementing IS performance evaluation are sought through investigating domestic and foreign practices. Based upon theoretical and practical review of informatization evaluation and logical reasoning, the components of ideal performance evaluation scheme for informatization program are derived, and the integrative performance evaluation model which can comprehensively represent the relationship among the components is conceptually proposed. For researchers, this study provides the theoretical basis for reasonably deriving the performance variables of informatization programs and empirically validating the performance of managing informatization programs. And in real world, the results of this study are very likely to contribute to presenting the practical guideline for desirably implementing performance evaluation of informatization programs.

Keywords

References

  1. 공병천, "상위평가에 관한 비판적 논고 : 중앙 행정기관평가를 중심으로", 한국행정연구, 제14권, 제1호(2005), pp.66-95
  2. 김기환, "정보화사업 타당성분석제도의 개선 방향 모색 : 공공분야 타당성분석제도들의 비교를 중심으로", 정보화정책, 제12권, 제1 호(2005), pp.59-77
  3. 김은순, 윤상오, "정보화 사업 평가기준 도출 에 관한 연구 : Q 방법론을 사용하여", 지방 정부연구, 제5권, 제4호(2001), pp.207-226
  4. 김준한, "중앙정부의 정보화 평가체계 정립", 한국행정학보, 제36권, 제4호(2002) pp.1-20
  5. 김희철, 이대용, "ERP 시스템 주성공요인에 따른 도입특성에 대한 연구", 한국정보전략 학회 1999 추계공동학술대회 논문집, 1999, pp.345-353
  6. 노미현, "ERP 시스템의 구현성공과 도입성 과에 관한 연구", 중소기업연구, 제26권, 제1호(2004), pp.3-26
  7. 문태수, "공공부분 정보화사업의 경제성 평 가방법론 개발", 정책분석평가학회보, 제13 권, 제1호(2003) pp.47-84
  8. 박종수, "정보화사업 메타평가를 위한 CIPOU 모형 개발", 한국정책학회 2003 추계학술대 회 논문집, 2003, pp.65-100
  9. 산업자원부․중소기업진흥공단, 중소기업 IT 화 사업계획 2002
  10. 안봉근, 주기중, 권해익, "포괄적인 정보시스 템 성과평가모형에 관한 연구", 경영과학, 제21권, 제2호(2004), pp.111-122
  11. 양재진, 정명주, 정진우, "공공정보화사업의 사전평가 모형 구상 : 예산과의 연계와 사업 실효성 확보방안을 중심으로", 정보화정책, 제10권, 제3호(2003), pp.156-177
  12. 오철호, 정홍원, "정보화사업의 사전평가 모 형과 방법론 탐색 : 하나의 가설", 한국정책 분석평가학회보, 제12권, 제2호(2002) pp.235- 266
  13. 윤상오, "정보화가 국가경쟁력에 미치는 효 과분석", 한국행정학보, 제34권, 제3호(2000), pp.47-71
  14. 윤상오, "국가정보화사업평가 효율화방안 연 구", 한국사회와 행정연구, 제15권, 제1호 (2004), pp.379-403
  15. 윤종수, 한경수, 한재민, "조직성숙수준에 따 른 BPR의 주요성공요인과 성과간의 관련성 연구", 경영정보학연구, 제7권, 제2호(1997), pp.103-135
  16. 이국희, "기업정보시스템의 평가를 위한 모 형", 경영정보학연구, 제2권, 제1호(1992), pp.17-33
  17. 이기식, "광역지방자치단체 정보화사업의 평 가 : 충청북도사례를 중심으로", 정책분석평 가학회보, 제10권, 제2호(2000), pp.261-282
  18. 이상엽, "IT 성과평가 접근방법과 사례", 한국소프트웨어진흥원 제2회 SW발주관리 심포지엄, 2004
  19. 이상천, 홍정완, "정보화 효과지표의 업종별 분석", 산업공학, 제14권, 제4호(2001), pp. 421-428
  20. 이재남, 김영걸, "정보시스템 아웃소싱의 성 공을 위한 인과모형에 관한 연구 : 구조방정 식 모형 접근방법", 경영학연구, 제28권, 제3호(1999) pp.799-822
  21. 이종호, 주상호, "ERP 시스템 도입요인과 성 과변수에 관한 연구", 생산성논집(구생산성 연구), 제16권, 제2호(2002), pp.95-116
  22. 이주헌, 고형대, "소프트웨어 프로젝트 관리의 체계", 정보처리학회지, 제1권, 제3호(1994), pp.7-14
  23. 이찬구, "메타 평가의 구성 요소 및 모형 설 계에 관한 연구", 정책분석평가학회보, 제7 권, 제2호(1992), pp.5-23
  24. 장경서, 서길수, 이문봉, "ERP 시스템 구현 핵 심성공요인에 관한 탐색적 연구", Information Systems Review, 제2권, 제2호(2000), pp.255-281
  25. 정명주, "정보화 성과관리를 위한 정보화 평 가체계 정립방안", 제2회 정보화평가 심포 지움 발표논문집, 2000, pp.121-132
  26. 정명주, "정보화 평가체계의 현황 및 문제 점", 한국정책분석평가학회 2001 추계학술 대회 발표논문집, 2001, pp.259-279
  27. 정보통신정책연구원, 전자정부사업 성과평 가모델 연구, 2003
  28. 정보화추진위원회, 국가정보화 평가시행계 획, 2004
  29. 정보화추진위원회, 국가정보화 평가시행계 획, 2005
  30. 정승렬, 정성현, 배준범 "리엔지니어링 성공 요인의 이원론적 분석", 경영정보학연구, 제11권, 제2호(2001), pp.205-221
  31. 정해용, 김상훈 "정보시스템 평가지표 개발 에 관한 실증적 연구 : 공공부분을 중심으로." 한국경영과학회지, 제28권, 제4호(2003), pp.155-189
  32. 정해용, 김상훈, "공공정보화사업 추진단계별 평가항목 개발 : 문화정보화사업을 중심으로", 정보화정책, 제11권, 제1호(2004), pp.106-125
  33. 중소기업정보화경영원, 중소기업 정보화 성 과평가 연구보고서, 2004
  34. 중소기업청․중소기업정보화경영원, 중소기 업 정보화지원정책 성과평가체계 연구, 2005
  35. 최동수, "우리나라 정보통신산업의 성장과 생 산성 분석", 국가기간 전산망 저널, 제2권, 제2호(1995), pp.36-47
  36. 한국개발연구원, 공공부문의 성과관리, 2004
  37. 한국문화정보센터, 문화정보화사업 평가 및 성과측정 지침에 관한 연구, 2003
  38. 한국전산원, 정보화사업평가편람, 1997
  39. 한국전산원, 국가정보화평가 발전방안, 1999a
  40. 한국전산원, 정보화사업의 경제적 효과분석 에 관한 연구, (1999b)
  41. 한국전산원, 정보화사업 평가방법론 연구, 1999c
  42. 한국전산원, 공공부분 정보화사업 평가를 위한 BSC 모형, 2001a
  43. 한국전산원, 업종별 정보화 경제성 분석 및 실행지침개발, 2001b
  44. 한국전산원, 정보화 평가제도 연구: 해외사 례를 중심으로, 2002
  45. 한국전산원, 정보화사업 사전타당성분석 방 법론 연구, 2004a
  46. 한국전산원, 정보화사업 투자 선정을 위한 의사결정 지침 연구, 2004b
  47. 한국행정연구원, 결과중심의 성과측정 및 성과관리체제에 관한 연구, 1999
  48. Baily, J. E. and S. W. Pearson, "Development of a Tool for Measuring and Analyzing Computer User Satisfaction", Management Science, Vol.29, No.5(1983) pp.530-545 https://doi.org/10.1287/mnsc.29.5.530
  49. Bakos, J. Y. and C. F. Kemerer, "Recent Applications of Economic Theory in Informations Technology Research", Decision Support Systems, No.8(1992), pp.365-386
  50. Benson, R. J. and M. M. Parker, Information Economics-Linking Business Performance to Information Technology, Prentice Hall(1988)
  51. DeLone, W. H. and E. R. McLean, "Information Systems Success : The Quest for the Dependent Variable", Information Systems Research, Vol.3, No.1(1992), pp. 60-95 https://doi.org/10.1287/isre.3.1.60
  52. DeLone, W. H. and E. R. McLean, "The DeLone and McLean-Model of Information Systems Success : A Ten-Year Update", Journal of Management Information Systems, Vol.19, No.4(2003), pp.9-30 https://doi.org/10.1080/07421222.2003.11045748
  53. Dick, A. S. and K. Basu, "Customer Loyalty : Toward an Integrated Conceptual Framework", Academy of Marketing Science Journal, Vol.22, No.2(1994), pp.99-113 https://doi.org/10.1177/0092070394222001
  54. Dobbins, J. H. and R. G. Donnely, "Summary Research Report on Critical Success Factors in Federal Government Program Management", Acquisition Review Quarterly, Vol.5, No.1(1998), pp.61-82
  55. Doll, W. J. and G. Torkzadeh, "A Discrepancy Model of End-User Computing Involvement" Management Science, Vol.35, No.10(1989), pp.1151-1171 https://doi.org/10.1287/mnsc.35.10.1151
  56. Field, R., "When Bad Things Happen to Good Project", CIO, No15(1997), pp.55-62
  57. Flynn, N., "Performance Measurement in Public Sector Services", Policy and Politics, Vol.14, No.3(1986), pp.389-404 https://doi.org/10.1332/030557386782628172
  58. Fornell, C., M. D. Johnson, E. W. Anderson, J. S. Cha, and B. E. Bryand, "The American Customer Satisfaction Index : Nature, Purpose, and Findings", Journal of Marketing, Vol.60, No.4(1996), pp.7-18 https://doi.org/10.2307/1251898
  59. General Services Administration(GSA) Performance-Based Management : Eight Steps To Develop and Use Information Technology Performance Measures Effectively 1997
  60. Grover, V., S. R. Jeong, and A. H. Segars, "Information Systems Effectiveness : The Construct Space and Pattern of Application", Information and Management, No.31(1996), pp.177-191
  61. Hamilton, S. and Chervany, N. L. "Evaluating Information System Effectiveness- Part I : Comparing Evaluation Approaches", Management Information Systems Quarterly, Vol.5, No.3(1981), pp.55-69 https://doi.org/10.2307/249291
  62. Heatley, J., R. Agarwal, and M.Tanniru, "An Evaluation of an Innovative Information Technology-the Case of Carrier EXPERT", Journal of Strategic Information Systems, Vol.4, No.3(1995), pp.255-277 https://doi.org/10.1016/0963-8687(95)96805-I
  63. Ives, B. and M. H. Olson, "User Involvement and MIS Success : A Review R esearch", Management Science, Vol.30, No.5(1984), pp.586-603 https://doi.org/10.1287/mnsc.30.5.586
  64. Jurison, J., "Software Project Management : The Manager's View", Communications of AIS, Vol.2, No.17(1999), pp.3-12
  65. Kaplan, R. S. and D. P. Norton, "The Balanced Scorecard-Measures that Drive Performance", Harvard Business Review, Vol.70, No.1(1992), pp.71-79
  66. Kettinger, W. J. and C. C. Lee, "Perceived Service Quality and User Satisfaction with the Information Services Function", Decision Sciences, Vol.25, No.(5-6)(1994), pp.727-766
  67. Larson, R. and L. Berliner, "On Evaluating Evaluations", Policy Sciences, Vol.16, No.2(1983), pp.147-163 https://doi.org/10.1007/BF00138348
  68. Levitt, M. and M. Joyce, The Growth and Efficiency of Public Spending, Gambridge : Cambridge University Press(1987)
  69. Marchand, D. A., W. J. Kettinger, and J. D. Rollins, Making the Invisible Visible, John Wiley and Sons, Ltd(2001)
  70. Marchand, D. A., W. J. Kettinger, and J. D. Rollins, "Information Orientation : People, Technology and the Bottom Line", Sloan Management Review, Vol.41, No.4(2000), pp.69-80
  71. Myers, B. L., L. A. Kappelman, and V. R. Prybutok, "A Comprehensive Model for Assessing the Quality and Productivity of the information Systems Function : Toward a Theory for information Systems Assessment", Information Resources management Journal, Vol.10, No.1 (1997), pp.6-25 https://doi.org/10.4018/irmj.1997010101
  72. NTIA (National Telecommunications and Information Administration) Technology Opportunities Program(2001)
  73. OECD (1994). Performance Management in Government : Performance Measurement and Result-Oriented Management, No.3, Public Management Occasional, 1994
  74. OECD (1999). Improving Evaluation Practices : Best Practice Guidelines for Evaluation and Background Paper, 1999
  75. Pinto, J. K. and D. P. Slevin, "Critical Factors in Successful Project Implementation", IEEE Transactions on Engineering Management, EM-34, No.1(1987), pp.22-27 https://doi.org/10.1109/TEM.1987.6498856
  76. Pitt, L. F., R. T. Watson, and C. B. Kavan, "Service Quality : A Measure of Information Systems Effectiveness", Management Information Systems Quarterly, Vol.19, No.2(1995), pp.173-187 https://doi.org/10.2307/249687
  77. Porter, M. E. and V. E. Millar, "Technology and Competitive Advantage", Harvard Business Review, Vol.15, No.3(1985)
  78. Porter, M. E., Competitive Strategy, Free Press, New York(1980)
  79. Ross, J. W., C. M. Beath, and D. L Goodhue, "Develop Long-Term Competitiveness Through IT Assets", Sloan Management Review, Vol.38, No.1(1996), pp.31-42
  80. Saunders, C. S. and Jones, J. W. "Measuring Performance of the Information Systems Functions", Journal of Management Information Systems, Vol.8, No.4(1992), pp.63-82 https://doi.org/10.1080/07421222.1992.11517939
  81. Schneider, A. L., "The Evolution of a Policy Orientation for Evaluation Research : A Guide to Practice", Public Administration Review, vol.46, No.4(1986), pp.356-363 https://doi.org/10.2307/976310
  82. Scott, J., "The Measurement of Information Systems Effectiveness : Evaluating a Measuring Instrument", Proceedings of the 15th International conference on Information Systems, Vancouver, British Columbia, 1994, pp.111-128
  83. Scriven, M., "An Introduction to Metaevaluation", Educational Product Report, No.2(1969), pp.36-38
  84. Serafeimidis, V., "A Review of Research Issues in Evaluation of Information Systems", Information Technology Evaluation Methods and Management, pp.58-77. W. V. Grembergen(ed.), London : Idea Group Publishing, 2000
  85. Swiss, J. E., "Performance Monitoring Systems", Accountability for Performance, David Ammons(ed.), Washington, D. C. : ICMA, 1995
  86. Watson, R. T., L. F. Pitt, and C. B. Kavan, "Measuring Information Systems Service Quality : Lessons From Two Longitudinal Case Studies", Management Information Systems Quarterly, Vol.22, No.1(1998), pp. 61-79 https://doi.org/10.2307/249678
  87. Yolande, E. C., "IT Value: the greate divide between qualitative and quantitative and individual and Organizational Measures", Journal of Management Information Systems, Vol.16, No.4(2000), pp.225-261 https://doi.org/10.1080/07421222.2000.11518272
  88. Zeithaml, V. A., L. L. Berry, and A. Parasuraman, "The Behavioral Consequences of Service Quality", Journal of Marketing, Vol.60, No.2(1996) pp.31-46