The Journal of the Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회논문지)

The Institute of Internet, Broadcasting and Communication (한국인터넷방송통신학회)
권호 표지
DOI QR코드

DOI QR Code

Risk Factors Identification and Priority Analysis of Bigdata Project

빅데이터 프로젝트의 위험요인 식별과 우선순위 분석

  • Kim, Seung-Hee (Dept. of IT Convergence software Engineering, Korea university of Technology & Education)
  • 김승희 (한국기술교육대학교 IT융합SW공학과)
  • Received : 2019.03.19
  • Accepted : 2019.04.05
  • Published : 2019.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Many companies are executing big data analysis and utilization projects to legitimize the development of new business areas or conversion of management or technical strategies. In Korea and abroad, however, such projects are failing because they are not completed within specified deadlines, which is not unrelated to the current situation in which the knowledge base for big data project risk management from an engineering perspective is grossly lacking. As such, the current study analyzes the risk factors of big data implementation and utilization projects, in addition to finding risk factors that are highly important. To achieve this end, the study extracts project risk factors via literature review, after which they are grouped using affinity methodology and sifted through expert surveys. The deduced risk factors are structuralize using factor analysis to develop a table that categorizes various types of big data project risk factors. The current study is significant that in it provides a basis for developing basic control indicators related to risk identification, risk assessment, and risk analysis. The findings from the study contribute greatly to the success of big data projects, by providing theoretical basis regarding efficient big data project risk management.

최근 많은 기업들이 대용량의 빅데이터 분석을 통하여 신사업을 발굴하거나 경영 및 기술 전략의 전환에 앞서 명시적인 근거를 마련하기 위하여 빅데이터 분석 및 활용을 위한 프로젝트를 수행하고 있다. 그러나 다수의 빅데이터 프로젝트가 정해진 기한 내에 종료를 못하여 실패하고 있음이 국내외적 문제로 대두되고 있다. 이는 공학적 관점에서 빅데이터 프로젝트의 위험 관리를 위한 지식 기반이 매우 미흡한 현 상황과 무관하지 않다. 따라서 본 논문에서는 빅데이터 구축 및 활용 프로젝트의 위험 요인을 분석하고, 중요도가 높은 위험 요인들을 도출한다. 이를 위해 문헌 연구로부터 프로젝트 위험 요인을 추출하고 친화도 기법을 통해 그룹화한 후 전문가 설문을 통해 중요도가 높은 위험 요인을 도출한다. 도출된 요인들을 대상으로 요인분석을 통해 빅데이터 프로젝트의 위험요인 분류표를 도출한다. 본 연구는 빅데이터 프로젝트에 대한 위험 식별, 위험 평가, 위험 분석을 위한 가장 기초가 되는 통제 지표의 개발이라는 데 큰 의미가 있으며, 향후 빅데이터 프로젝트와 관련된 효율적인 위험 관리의 이론적 근거를 제공함으로써 성공적인 빅데이터 프로젝트를 견인하는데 기초자료로써 크게 기여할 것으로 사료된다.

Keywords

Ⅰ. 서론

빅데이터 라는 용어는 기존의 인터넷 검색 엔진 서비스 기업이나 대용량 데이터를 제공하는 IT 기업의 데이터 양에 비해 상대적으로 비교할 수 없을 만큼 방대한 양의 데이터를 처리하거나 보관 및 분석하는 방법의 고려로부터 생겨났다[1]. 최근 인터넷의 발달로 정보통신 기술의 혁신과 함께 스토리지 가격의 하락으로 많은 양의 다양한 데이터를 보관하는 것이 용이해 지면서 방대한 양의 데이터를 분석하여 새로운 사업적 요소를 찾거나 새로운 혁신의 수단으로써 빅데이터 프로젝트가 진행되어지고 있다. 그러나 2018년 1월 한국의 CIO 저널에서는 한국의 빅데이터 프로젝트가 프로젝트 종료를 하지 못해 결론적으로 실패하고 있다는 문제와 그 위험의 심각성을 제기하였다[2]. IT 프로젝트는 1994년 프로젝트 성공, 부분성공, 실패의 비율이 16:53:31 이었으며, 2008년에는32:44:24로 프로젝트의 성공률은 여전히 저조한 상태에 머무르고 있다[3]. 세계적인 프로젝트 관리 전문 기업 이노타스(Innotas)는 5년 이상 수행한 IT프로젝트의 실패율에 대한 자체 조사에 대한 연구 보고서에서 2015년 1월부터 3월까지 응답에 참여한 126명의 IT 전문가 중 실패한 프로젝트를 경험했다는 비율이 55%에 달한다고 발표했다[4]. 또한, 한국에서 수행되는 빅데이터 프로젝트의 경우 외부 데이터를 가져오는 시점을 살펴보면 프로젝트중간에 약 95%를 가져오거나 프로젝트 진행 후 약 50%외부 데이터를 가져오는 것으로 파악되고 있다[5]. 그러나 불행하게도 가져온 데이터 중에서 개인 정보보호 측면 때문에 가져온 데이터를 활용하지 못하거나 사전 준비미흡으로 외부 데이터를 누락하는 경우도 많다고 지적되었다[5]. 실제 활용 측면으로 살펴본 2016년 글로벌 기업의 빅데이터 활용 조사 결과 글로벌 기업의 약 29%가 빅데이터를 활용하고 있으나 한국 기업의 경우 5% 정도만이 빅데이터를 활용하는 것으로 나타났다[6]. 이는 빅데이터 활용이 세계 평균에 못 미친다는 현실을 반영하고 있을 뿐만 아니라, 한국의 95%의 기업이 빅데이터 프로젝트를 경험하지 못했다는 것을 의미하는 것이기도 하다.이러한 사실은 Zwikael[7]의 연구 결과를 통해 프로젝트계획, 의사 결정, 나쁜 사건의 방지 및 위험에 대한 적절한 대응이 프로젝트에서 긍정적 영향을 준다는 연구[8] 결과나 빅데이터 프로젝트와 같이 전략적 중요성을 가지는 프로젝트의 경우 위험관리 성과가 프로젝트 성과에 큰 영향을 미친다는 연구[8] 결과를 고려할 때 빅데이터 프로젝트에서 위험 관리의 중요도와 영향도가 더욱 높다는 것을 알 수 있게 한다.

이상에서 살펴본 바와 같이 많은 기업에서 빅데이터의 가치를 인식하기 시작하였고, 이를 활용하기 위하여 전략적 프로젝트의 성격으로 빅데이터 프로젝트를 수행하고는 있지만 빅데이터 프로젝트에 익숙하지 않아 상당수의 기업들이 프로젝트 종료를 못하는 등 실패를 경험하고 있다. 본 연구는 전략적 목적으로 빅데이터를 구축하거나 활용하기 위한 빅데이터 프로젝트의 성공적 완수를 위하여 특히 중요하게 다루어야 할 위험 요소들을 도출하고, 이에 대한 우선순위를 분석한다. 본 연구는 대다수의 기업이 이제껏 경험하지 못한 빅데이터 프로젝트를 전략적으로 수행하고자 할 때 프로젝트의 고유한 위험을 예측하고 예방적 위험관리를 효율적으로 수행할 수 있는 이론적 근거를 제시할 것으로 사료된다.

이를 위해 2장에서는 문헌 연구를 통해 정보화 프로젝트와 관련한 위험 요인에 대한 연구 뿐만 아니라 빅데이터 프로젝트에 대한 최근의 연구 상황을 알 수 있도록 정보화 프로젝트 최근 연구 동향에 대한 조사 내용을 기술한다. 3장에서는 연구 절차와 빅데이터 관련 프로젝트에 대한 위험 요인에 대한 설문조사 방법, 설문 결과, 설문통계에 대한 분석결과를 기술한다. 4장에서는 분석 결과에 대한 함의와 함께 연구 결과를 기술한다.

Ⅱ. 문헌 연구

1. 정보화 프로젝트의 위험 요인에 대한 연구

정보라는 용어의 정의는 사회과학에서는 ‘인간 행동과의 관계’에 집중하는 반면, 자연과학에서는 ‘기계에 의한 정보 전달 및 처리’에 관심을 갖는 의미로서 다양하게 정의[9]되고 있다. 정보화는 informatization,informationization, informationalization 등의 유사 용어로 사용되고 있으며[10], R. Kluver[11]는 전통적인 미디어기술 – 컴퓨터, 인터넷, 영화, 위성 TV 및 통신-을 포함하는 정보 기술들이 사회, 경제, 문화적 영역을 재편성시키는 과정으로 정의하고 있다. 본 연구에서는 ‘정보화 프로젝트’를 정보기술을 창조적이고 생산적인 방식으로 사용하기 위하여 수행하는 전략적 활동을 포함하는 정보의 저장, 가공, 처리, 및 유통과 관련한 일체의 프로젝트로 정의한다. 이러한 정보화 프로젝트와 관련한 위험 요인에 대한 연구들은 1980년대부터 꾸준히 진행되고 왔으며, 본 연구와 관련하여 일반 정보화 프로젝트의 위험 요인을 추출한 연구들을 살펴보면, W. McFarlan[12], M.Vitale13], B. W. Boehm[14][15][16], D. McComb and J. Y.Smith[17], Clemon[18][19][20], C. F. Kemerer and G. I.Sosa[21], R. Rainer, C. Snyder and H. Carr[22] S. A.Sherer[23], K. Loch, H. Carr and M. Warkentin[24], H.Barki, S. Rivard and J. Talbot[25][26], W. B. Richmondand A. Seidmann[27], B. Bashein, L. Markus and P.Riley[28], V. Grover, S. R. Jeong, W. Kettinger and J.Teng[29], S. Nidumolu[30], R. Baskerville and J. Stage[31],K. Lyytinen, L. Mathiassen and J. Ropponen[32], H. G.Lee and T. Clark[33], D. Straub and R. Welke[34], M. Keil,P. Cule, K. Lyytinen and R. Schmidt[35], K. Lyytinen, L.Mathiassen and J. Ropponen[36], J. Gogan, J. Fedorowiczand A. Rao[37], K. Kumar and E. Christiaanse[38], E. Ozand J. Sosik[39], H. A. Smith, J. D. McKeen and S.Staples[40], R. Austin[41], S. Chan[42], N. Doherty and M.King[43], J. Jiang, G. Klein and R. Discenza[44], R.Schmidt, K. Lyytinen, M. Keil and P. Cule[45], D.Viehland[46], J. Jiang, G. Klein and T. S. Ellis[47], M.Benaroch[48], T. Moynihan[49], J. Scott and I. Vessey[50],S. Yourstone and H. A. Smith[51], R. E. Fairiey andWillshire[52], L. Wallace, M. Keil, and A. Rai[53], S. A.Sherer and A. Steven[54], D. Tesch, J. K. Timothy andN. F. Mark[55], H. V. Loon[56], S. J. Huang and W. M.Han[57], R. T. Nakatsu and C. L. Iacovou[58], P. K. Dey,B.T. Clegg, and D.J. Bennett[59], L. Jun, W. Qiuzhen,and M. Qingguo[60], C. Lopez, J And L. Salmeron[61], S.Sundararajan, M. Bhasi, M. and P. K. Vijayaraghavan의 연구, Liu, S., & Wang, L.[8], E. Ziemba and I.Kolasa[63], N. I. Dludhlu, J. H. C. Pretorius and C. J. V.Wyngaard[64] 등이 대표적이다. 이들 중 S. A. Sherer andA. Steven[54]은 이전 연구들로 부터의 문헌 연구를 통해228개의 위험 요인들을 도출하고, 업무와 직접적으로 연관성이 있는 134개의 실질적 위험 목록을 선택한 후 위험요인을 8개의 레벨(level) - WS(Work System),IS(Information System), Project(Project in general), ISProject(Information System Project), Type of IS(Typeof Information System), Type of IS Project(Type ofIS-related project such as an ERP or Reengineeringproject), SW(software), SW Project(Software Project)-로 구분하고 구분된 위험 요인의 원인을 총 9개 – 업무관행(Work practices), 참여자(Participants), 정보(Information), 기술(Technologies), 제품 및 서비스(Products & Services), 고객(Customers), 환경(Environment), 기반구조(Infrastructure), 전략(Strategies) - 로 분류하였다. 이를 활용하여 운영 및 유지보수, 착수, 개발, 구현의 워크(work) 시스템 생명 주기를 제시하고 작업 시스템의 위험 요인 레벨과 위험 요인간의 원인 메트릭스를 개발하여 일반적으로 발생할 수있는 위험, 지식, 경험으로부터 인용된 위험(B), 해당 단계와 무관한 위험을 상세화하여 프로젝트에 부정적 영향을 미칠 위험을 구체적으로 추출 하였다. 또한 D. Tesch,J. K. Timothy and N. F. Mark[55]는 PMP자격을 보유한전문가들을 대상으로 성공적인 프로젝트 구현에 위협이되는 IT프로젝트 위험 요소와 그에 대한 토론을 통해 최상위 위험 요인을 도출한 후 이를 6개의 범주(Dimensions)인 Sponsorship, Funding and Scheduling,Personnel and staffing, Scope, Requirements,Relationship Management로 분류하고 각 분류 별 최상위 위험(Top risk)에 대하여 회피(avoidance) 및 완화(Mitigation) 방법을 제시하였다. 특히 C. Lopez, J AndL. Salmeron[61]에서는 실무에 활용가능한 의사결정 지원용 위험 체크리스트를 통해 46개의 위험 요인에 대한 위험의 영향도와 가능성을 계량화하는 위험 평가 방법을제안하였고 S. Liu and L. Wang[8]은 내·외부의 128개 프로젝트 사례로부터 사회적 하위 시스템과 기술적 하위시스템의 위험이 프로젝트 성과에 미치는 영향을 분석하고 전략적 중요성과 프로젝트 소싱의 공동 효과에 대하여 위험과 성과 간의 관계를 규명함으로써 전략적 프로젝트에 내재된 복잡성과 잠재적 위험을 줄이는 것이 보다 중요하다는 것을 증명하였다. E. Ziemba 와 I.Kolasa[63]는 이러한 연구 결과로부터 총 52개의 위험요인을 도출하고, 폴란드 사례를 통해 공공 정보화 프로젝트의 특수성에 대한 인식을 기반으로 위험의 종류를 경영층의 지원(Top management support), 조직의 관리 절차(Manage processes in organization), 사용자 참여(Involve End-user), 정보시스템 개발 절차의 관리(Manage information system development process), 시스템 요구 사항 분석(Make system requirement analysis), 프로젝트 계획 수립(Plan the Project), 프로젝트 관리, 통제 및 평가(Manage, monitor and evaluatethe project),프로젝트 팀 관리(Manage project team), 팀개발 및 팀 스킬 경험 관리(Manage team experience),팀 의사소통 관리(Manage team communication)로 분류하여 공공 정보화 사업을 위한 위험 요인 프레임워크를제안하였다. 또한 N. I. Dludhlu, J. H. C. Pretorius andC. J. V. Wyngaard[64]는 인프라 개발 프로젝트 사례를근거로 프로젝트 관리 시 위험 평가 수행과 관련하여 위험을 사람요인(human factor), 조직 요인(organizationalfactor), 기술적 요인(technological factor), 위험 관리 요인(Risk management factor), 위험 완화 요인(Riskmitigation factor) 으로 분류한 예측 요인과 일정과 예산,품질로 분류된 성과 요인의 상관 분석을 통해 위험 완화활동의 중요성을 증명하였다.

2. 프로젝트의 위험관리 분야의 최근 연구 동향

정보화 프로젝트 분야에서 최근 다루어지고 있는 위험 관리 분야의 연구 동향을 살펴보면 크게 네 가지로 구분할 수 있다. 가장 많이 연구된 주제는 프로젝트 위험평가 기법 및 위험 요인 영향과 관련된 연구들을 들 수 있다. 즉, Crowd Sourcing 기반의 개인 위험 평가[65]나Crowd Sourcing 기반의 개발 환경에서의 위험도 측정[66], 분산된 소프트웨어 프로젝트에서의 위험 평가[67], 위험도 평가 시 발생할 수 있는 인적 오류나 가치 판단과 관련된 연구[68][69], Cyber-Physical Systems(CPS)에 대한 잠재적 공격 위험을 통해 보안과 안전 위험을 관리하기 위한 연구[70]나 위험 요인 영향도 추정[71][72]등이 있다. 두 번째로 많이 연구되는 주제는 위험 관리 효과 평가이다. 여기에는 위험 예측에 대한 잠재적 효과[73]나 실제 효과를 측정하는 방법[74], 위험 관리 성과와 프로젝트 성과와의 관계 분석[75], 프로젝트 위험 관리와 프로젝트 효율관리를 연계한 성과 평가 방법[76], 프로젝트 위험 관리 시스템을 통해 성과 평가가 가능한 프레임 워크[77]를 제안하는 연구 등을 들 수 있다. 세 번째로 프로젝트 관리를 위한 수학적 모델이나 최적화 모델에 대한 연구[68][69][70][71]들이다. 주로 성과 추이를 반영하여 프로젝트특성과 프로젝트 관리와 위험 관리를 통합적 관점으로 접근할 수 있는 기법[78][79]을 제시하거나, 위험의 상호 의존성 분석[80], 확률론적 기술(probabilistic descriptions)과 퍼지 이론(the theory of fuzzy sets), 전문가 평가[81],결정론적 정량 기법(deterministic quantitative technique)[82] 등을 적용하고 있다. 네 번째는 위험 계획시 의사 결정을 지원할 수 있는 방법이나 프레임워크에 대한 제안 연구이다. 구체적으로 절차적 위험을 반영한 위험 계획 방법[83], 지능형 프로젝트 위험 계획[84]이나 위험의 인과 관계 학습을 통한 위험 계획 수립[85]을 제안하는 연구들이 있다. 그 밖에 위험을 고려하여 위험 컨테이너를 추가하는 SW설계 기법[86]에 대한 연구, 위험 관리실무자가 유용하게 활용할 수 있는 위험 관리 산출물 관리[87] 및 위험 요인 사전 평가를 위한 체크리스트[88][89] 제안 연구, 위험관리 사례 연구[90] 등이 있다.

지금까지 살펴본 바와 같이 빅데이터 프로젝트가 일반적인 정보화프로젝트와 달리 전략적 측면의 특수성으로 인하여 위험관리 성과가 프로젝트 성공에 민감하게 작용[8]함에도 불구하고 빅데이터 프로젝트의 위험 관리에 대한 연구는 매우 미흡한 상황이다. 따라서 본 연구에서는 문헌 연구들로부터 도출된 위험 요인들로부터 빅데이터 프로젝트의 특성에서 기인되는 특히 중요하게 관리해야 하는 위험 요인들을 도출하고, 해당 요인을 정의하고, 그에 대한 우선순위를 분석하고자 한다.

Ⅲ. 위험요인 및 중요도 분석

1. 연구 절차

본 연구는 빅데이터 프로젝트의 성공률을 높이기 위하여 수행자가 전략적으로 관리해야 할 일반적인 정보화프로젝트와 구별되는 빅데이터 프로젝트의 중요한 위험요인을 도출하고 분석하여 전략적으로 관리할 수 있는 이론적 배경을 제공하는데 그 목적이 있다. 이를 위해 정보화 프로젝트의 위험 요인에 대한 문헌 연구를 통해 도출한 위험 요인(Risk Factor, RF)들로부터 빅데이터 프로젝트의 후보 위험 요인들을 도출한다. 각 위험 요인들을 친화도 기법을 통해 위험을 분류(Risk Dimension, RD)하고, 분류된 위험 별로 가각에 포함된 위험 요인에 대하여 중요도를 평가한다. 이를 위해 빅데이터 프로젝트에 참여 경험이 있는 프로젝트 전문가들을 대상으로 설문을 실시한다. 이를 통해 빅데이터 프로젝트에서의 핵심적인 공통 위험 그룹 및 각 요인에 대한 유효성을 측정함으로써 위험 관리의 우선순위를 도출한다. 연구 절차를 요약하면 그림 1과 같다.

OTNBBE_2019_v19n2_25_f0001.png 이미지

그림 1. 연구 절차

Fig. 1. Research Process

가. Literature Review of Risk Factors

빅데이터 구축 및 활용을 위한 정보화 프로젝트의 위험 요인을 수집하기 위하여 관련 분야의 국내외 과거 연구 현황을 조사하고 성격이 상이한 문헌 연구를 제거한다. 본 단계와 관련하여 총 77개의 관련 연구로부터 총 520여개의 위험 요인을 수집하였다.

나. Risk Factor Extraction

수집된 위험 요인들은 유사성을 기준으로 통합하는 작업을 통해 총 126개의 위험 요인으로 축소한다. 이 결과를 합쳐진 126개의 위험 요인을 정제하여 2차 그룹핑을 수행하고 위험 그룹과 각 그룹 별 위험 요인을 분류한다. 분류 그룹 별 속성을 정의하고 관련 위험 요인을 확정한다.

다. Questionnaire creation and survey

위험 그룹과 각 위험 그룹 내 위험 요인들을 핵심적 요인과 공통된 요인을 정확히 선별 및 도출하기 위하여 위험 요인의 위험성을 1(낮음)에서 10(높음)의 등간척도로 측정하고 요인 분석을 수행한다. 설문은 빅데이터 프로젝트에서 PM으로 활동한 경험을 갖고 있는 전문가들을 대상으로 실시한다. 각 요인은 KJ 기법을 통해 프로젝트 고유 특성에 의한 위험, 참여 인력 관련 위험, 프로젝트 기획 관련 위험, 프로젝트 수행 관련 위험, 프로젝트 조직 관련 위험, 기술 요인 위험으로 분류하였다. 각각의 위험요인별 문항 구성은 표 1과 같다. 프로젝트의 고유의 특성인 정해진 기간 내에 예산 범위 내에서 고품질, 고효율로 목표를 달성해야 하는 프로젝트 본연의 특성에서 비롯된 위험 요인들의 모음이다.

표 1. KJ 기법을 통해 재구성된 위험 분류 별 위험 요인

Table 1. Risk factors of risk classification reconstructed through KJ technique

OTNBBE_2019_v19n2_25_t0008.png 이미지

참여 인력 관련 위험은 참여 인력의 우수성, 숙련도, 전문성 등 인력 자체의 위험과 관련된다. 프로젝트 기획관련 위험은 프로젝트 초기 계획 단계의 위험이나 수행 중 프로젝트 조직에 영향을 미칠 수 있는 경영 측면의 기획 업무로 인한 위험들이다. 프로젝트 수행관련 위험은기본적인 프로젝트 수행 조직인 오너, 계약자, 감리와 같은 컨설팅 조직이 프로젝트 착수에서 이관 및 운영 단계에 이르기까지 프로젝트 조직 내부에서 발생될 수 있는 다양한 수행 시의 위험 요인들이 포함된다. 프로젝트 조직 관련 위험은 프로젝트 수행 조직의 형태 및 다양한 참여 업체들의 참여로 인하여 발생될 수 있는 조직 운영상의 위험들이다. 마지막으로 기술요인은 서버, 네트워크, 데이터베이스, 소프트웨어 개발 환경 등과 관련한 기술적 측면의 자체적인 이슈, 기술의 진화로부터 발생되는 이슈, 서비스 운영에 영향을 주는 환경적, 인적 위험 요인들로 구성된다.

라. Risk factors analysis of big data project

수집된 설문를 바탕으로 신뢰성과 타당성 검정을 위해 수렴 타당성과 신뢰도 분석을 실시한다. 즉, 빅데이터 위험 요인으로 식별된 값들이 빅데이터 위험 요인 측정을 위한 개념을 얼마나 정확히 표현하고 있는지를 측정하고 유사 측정 변수들을 그룹화하기 위하여 프로젝트고유특성, 프로젝트 참여인력, 프로젝트 기획, 프로젝트수행, 프로젝트 수행관리, 프로젝트 조직, 프로젝트 기술요인으로 구분하여 각각에 해당하는 문항별로 요인분석을 실시한다. 또한 요인분석을 위한 변수들의 적합도를 확인하기 위하여 KMO와 Bartlett의 검정을 실시한다.

한편, 신뢰도 분석으로서 내적일관성을 측정한다. 즉, 측정하고 하는 개념이 설문 응답자로부터 정확하고 일관되게 측정되었는가를 확인하기 위하여 Cronbach의 알파값을 확인한다. 신뢰도가 확보된 변수들을 대상으로 내적일관도 측정한다. 탐색적 요인분석의 경우 대개 요인적재량(λ)이 0.4~0.5이상, 복합신뢰도 0.7, 평균 분산 추출값이 0.5 이상이면 타당성에 문제가 없다고 본다. 본 연구에서도 이에 준한 기준을 적용한다.

마. Risk factors priorities of big data project

본 연구는 빅데이터 프로젝트의 위험관리 요인에 대한 탐색적 연구로서 각 위험 부문 별 도출된 위험 요인의 설명력이 곧 요인적재값이 된다. 따라서 위험 요인의 우선순위는 요인 적재값을 기준으로 정의한다. 이를 통해 각 부문별 위험 요인의 우선순위를 포함하는 빅데이터 프로젝트의 위험 요인 분류표를 제시한다.

2. 설문 결과 및 분석

가. 설문 참여자 특성

빅데이터 프로젝트의 위험요인 식별 및 중요도 연구와 관련하여 빅데이터 분야 프로젝트 전문가 및 빅데이터 프로젝트 수행자 50명을 대상으로 설문을 수행하였다. 인구통계학적 정보를 통해 본 설문 대상자 정보에 의하면 설문 참여자의 성별비는 남자가 66%, 여성이 34%로, 연령은 45~50세가 가장 많았고, 학위는 학사 및 석사가 90%를 차지하였다. 현재 직급은 차부장급이 가장 많았고, 산업 분야로는 주로 ICT분야 종사자가 40.3%로 가장 많았고, 5억~20억 규모의 프로젝트 규모에 참여했던 수행자 비율이 68%로 가장 높았다. 참여했던 빅데이터 프로젝트의 목적을 묻는 질문에 대해 공공서비스 향상과 분석 체계 구축이라는 답변이 전체의 96%를 차지하였는데 이는 빅데이터 사업이 최근들어 공공 분야에서 활발히 수행되고 있음을 확인할 수 있는 결과로 해석된다. 빅데이터 프로젝트 경험을 묻는 질문에서 8회 이상 수행했다는 응답자가 전체 40% 이상을 차지하여 다양한 빅데이터 프로젝트 수행자들이 설문에 참여했음을 알 수 있었다.

나. 변수의 타당도 및 신뢰도 분석

프로젝트 고유특성, 프로젝트 참여인력, 프로젝트 기획, 프로젝트 수행, 프로젝트 수행관리, 프로젝트 조직, 프로젝트 기술요인 각각의 문항에 대하여 요인분석을 실시하였다. 요인추출은 주성분 분석을, 요인 회전은Varimax 방식을 선택하였으며 요인에 대한 점수는 고유치(eigen value) 1.0 이상을 기준으로, 요인적재값은 0.5 이상으로 하여 크기순 정렬하였다. 고유치는 그 요인을 설명하는 분산의 양을 나타내는 것이므로 크기 순으로 정렬하면 요인적재치가 높은 항목들이 위쪽에 나타나게 된다. 따라서 위쪽에 나오는 값이 큰 요인이 상대적으로 중요한 요인이라는 것을 의미한다. 또한, 변수 적합도 측면의 분석으로써 KMO와 Bartlett검정을 실시하였다. 변수들 간의 상관관계가 다른 변수에 의해 잘 설명되는 정도를 나타내는 값으로 그 값이 0.7 이상인 경우 요인분석을 위한 변수들의 선정이 적당한 것으로 판단하였다. 한편신뢰도를 분석을 위한 내적일관성을 측정하여 Cronbach의 알파 값이 0.6 이상일 때 신뢰성이 있는 것으로 해석하였다.

먼저 프로젝트 고유특성의 의한 위험에 대한 요인분석 및 신뢰도 결과는 표 2와 같다. 즉, 프로젝트 적절성과프로젝트 환경의 하위 2개 영역으로 묶을 수 있었고 요인분석의 적합도를 나타내는 KMO값이 .844로 나타나 요인분석을 위한 변수 선정이 잘 되었음을 확인하였다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 프로젝트적절성, 프로젝트 환경이 각각 .915, .760으로 0.6 이상의 신뢰도로 분석되었다.

표 2 프로젝트 고유특성 관련 위험의 요인분석 및 신뢰도분석

Table 2. Factor analysis and reliability analysis of risks related to project-specific characteristics

OTNBBE_2019_v19n2_25_t0002.png 이미지

프로젝트 참여 인력 관련 위험에 대한 분석결과는 표 3과 같다. 즉, 프로젝트 참여인력의 전문성과 인력규모 및 스트레스로 구분되었고 KMO 값도 .852로 나타나 요인분석을 위한 변수 선정이 비교적 잘된 것으로 분석되었다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 프로젝트 전문성, 프로젝트 인력규모 및 스트레스는 각각 .924, .719로 나타나 그 값이 0.6 이상으로 신뢰도가 있는 것으로 분석되었다. 요인분석 과정에서 요인별로 잘 묶이지 않은 하위 측정 변수 들은 제거되었다.

표 3. 프로젝트 참여인력 관련 위험의 요인분석 및 신뢰도분석

Table 3. Factor analysis and reliability analysis of risks related to participation workforce

OTNBBE_2019_v19n2_25_t0003.png 이미지

프로젝트 기획관련 위험에 대한 분석 결과는 표 4와 같다. 즉, 프로젝트 거버넌스와 프로젝트 계획수립의 하위 2개 영역으로 묶을 수 있었고 요인분석의 적합도를 나타내는 KMO값은 .814로 나타나 요인분석을 위한 변수 선정이 잘된 것으로 분석되었다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 프로젝트 거버넌스와 프로젝트 계획수립가 각각 .893, .891로 나타나 그 값이 0.6 이상으로 신뢰도가 있는 것으로 분석되었다.

표 4. 프로젝트 기획 관련 위험의 요인분석 및 신뢰도분석

Table 4. Factor analysis and reliability analysis of risks related to project planning

OTNBBE_2019_v19n2_25_t0004.png 이미지

프로젝트 수행관련 위험은 표 5와 같이 분석되었다. 즉, 프로젝트 관리위험, 프로젝트 보안위험, 프로젝트 위협의 3개 하위요인으로 구분되었고 KMO값도 .826으로 요인분석을 위한 변수 선정이 비교적 잘된 것으로 분석되었다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 프로젝트 관리위험이 .912, 프로젝트 보안위험이 .865, 프로젝트 위협이 ,803으로 그 값이 0.6 이상으로 신뢰도가 있는 것으로 분석되었다. 요인분석 과정에서 요인별로 잘 묶이지 않은 하위 측정변수들은 제거되었다. 특히 요구사항과 관련하여 김석관의 연구[90]에 의하면 WBS, 요구사항 추적표, 스프린트 등을 통해 요구사항을 정량적으로 관리한 결과 요구사항 커버리지율을 100%까지 달성 가능한 사례가 제시되고 있다. 이는 프로젝트 수행의 위험 요인이 정량적으로 관리되어야 함을 시사한다.

표 5. 프로젝트 수행 관련 위험의 요인분석 및 신뢰도분석

Table 5. Factor analysis and reliability analysis of risks related to project execution

OTNBBE_2019_v19n2_25_t0005.png 이미지

프로젝트 조직 관리 및 프로젝트 기술 관련 위험은 표 6과 같이 분석되었다. 즉, 프로젝트 조직관리 위험은 부적절한 조직운영과 이해관계자 복잡성의 하위 2개 영역으로 묶을 수 있었고 요인분석의 적합도를 나타내는 KMO값은 .860으로 나타나 요인분석을 위한 변수 선정이 잘 되었다고 할 수 있다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 부적절한 조직운영, 이해관계자 복잡성이 각각 .866, .849로 나타나 그 값이 0.6 이상으로 신뢰도가 있는 것으로 분석되었다. 특히 이해관계자 간 소통과 관련하여 김석관의 연구[90]에 의하면 회의 시간전 검토 자료를 배포하고 사전 검토 및 checklist를 작성하게 하는 주제 중심의 회의를 실시한 결과 회의시간이 75% 단축되고 업무 생산성은 높아진 것으로 연구되고 있다. 이는 조직 관리에 있어 소통 방법의 중요성을 단적으로 나타내는 결과이다.

표 6. 프로젝트 조직관리, 프로젝트 기술 요인 관련 위험의 요인분석 및 신뢰도분석

Table 6. Factor analysis and reliability analysis of risks related to Project organization management and project technical factors

OTNBBE_2019_v19n2_25_t0006.png 이미지

프로젝트 기술요인은 기반 기술 위협, 지속적 기술의 진화의 2개 하위요인으로 구분되었고 KMO 값도 .826으로 요인분석을 위한 변수 선정이 비교적 잘된 것으로 분석되었다. 각 하위요인별 신뢰도 지수인 Cronbach의 α값은 반기술 위협이 .912, 속적 기술의 진화가 .870으로 그 값이 0.6 이상으로 신뢰도가 있는 것으로 분석되었다. 요인분석 과정에서 요인별로 잘 묶이지 않은 하위 측정 변수들은 제거되었다. 특히 빅데이터 프로젝트는 일반프로젝트와 달리 경영 전략과 밀접한 관계를 보이고 있어 기술적 결함에 더욱 민감하다고 할 수 있다. 김석관의 연구[90]에 의하면 기술적 결함관리 시 결함을 해결하기 위한 소요 시간이 기존대비 46% 개선된 결과를 나타내고 있다.

3. 빅데이터 프로젝트의 위험 요인 및 우선순위

요인 분석 및 신뢰도 분석을 통해 최종 도출된 빅데이터 프로젝트의 위험 분류 및 위험 요인에 대한 우선순위를 통해 표 7과 같이 빅데이터 프로젝트 위험 요인 분류표를 도출하였다. 빅데이터 프로젝트의 위험요인은 6개 위험 그룹과 13개의 서브그룹으로 도출되었으며, 주요위험 요인으로 총 64개의 위험 요인이 우선순위와 함께 추출되었다. 표 7에서 각 위험 요인의 번호가 작은 것이 우선순위가 높은 것을 의미한다.

표 7. 빅데이터 프로젝트의 위험 요인 분류표

Table 7. Risk classification table for big data projects

OTNBBE_2019_v19n2_25_t0009.png 이미지

Ⅴ. 결론

최근 납기 지연 등의 이유로 빅데이터 구축 및 활용프로젝트의 실패 사례가 대두되고 있으나 빅데이터 프로젝트 관리에 대한 연구가 미흡한 상황이다. 본 연구에서는 정보화 프로젝트의 위험 요인에 대한 문헌연구를 통하여 도출된 위험 요인들을 총 망라하여 이를 대상으로 빅데이터 프로젝트의 위험 요인에 대한 탐색적 연구를 통해 빅데이터 프로젝트의 고유한 위험 요인을 식별하고 각 위험 요인의 중요도인 우선순위를 분석하였다. 최종적으로 6개의 위험 그룹과 13개의 서브그룹에 대하여 총64개의 위험 요인과 우선순위가 포함된 빅데이터 프로젝트의 위험 요인 분류표를 제시하였다.

본 연구는 빅데이터 프로젝트 수행 시 고유 위험에 대한 예측과 예방적 위험관리를 위한 이론적 근거를 제공하는데 기여할 것으로 사료되며, 빅데이터 위험관리와 관련된 다양한 연구를 위한 기초자료로서 활용가치가 높을 것으로 판단된다.

※ 이 논문은 2018년도 한국기술교육대학교 교수 교육연구진흥과제 지원에 의하여 연구되었음

References

  1. M. James, C. Michael, B. Brad, B. Jacques, D. Richard, R. Charles, H. B. Angela, "Big data: The next frontier for innovation, competition, and productivity", McKinsey&Company, 2011
  2. http://www.ciokorea.com/news/29634#csidxf34be32fb47f93197b4b825f7b43382, accessed Sep. 2018
  3. M . H . N . Nasir and S. Sahibuddin, "Critical success factors for software projects; Acomparative study", Scientific Research and Essays, Vol.6, No.10, pp.2174-2186, 2011. DOI: 10.5897/SRE10.1171
  4. http://go.innotas.com/SurveyResults-The Project-and-PortfolioManagement-2015Edition_.html, accessed Sep. 2018
  5. ITOnAir, http://itonair.tv, accessed Sep. 2018
  6. Techpro Research, "Bigdata and IoT: Benefits, Usage trends 2016"
  7. O. Zwikael, R. D. Pathak, G. Singh, and S. Ahmed, "The moderating effect of risk on the relationship between planning and success", International Journal of Project Management, Vol.32, No.3, pp.435-441, 2014. DOI: https://doi.org/10.1016/j.ijproman.2013.07.002
  8. S. Liu and L. Wang, "Understanding the impact of risks on performance in internal and outsourced information technology projects: The role of strategic importance", International Journal of Project Management, Vol.32, No.8, pp.1494-1510, 2014. DOI: 10.1016/j.ijproman.2014.01.012
  9. www.wikipedia.org
  10. https://forum.wordreference.com/threads/informatized-informationized.2108536, accessed 2018.10.03
  11. R. Kluver, Globalization, "Informatization and Intercultural Communication", https://web.archive.org/web/20080725001511/http://acjournal.org/holdings/vol3/Iss3/spec1/kluver.htm, accessed October 2018
  12. W. McFarlan, "Portfolio Approach To Information Systems", Harvard Business Review, pp.142-150, 1981.
  13. M. Vitale, "The Growing Risks of Information Systems Success", MIS Quarterly, Vol.10, No.4, pp.327-336, 1986. DOI: 10.2307/249185
  14. B. W. Boehm, "A spiral model of software development and enhancement", Computer, Vol.21, No.5, pp.61-72, 1988. DOI: 10.1109/2.59
  15. B. Boehm, "Software risk management" Springer European Software Engineering Conference, pp1-19, 1989.
  16. B. Boehm and R. Ross, "Theory-W Software Project Management: Principles And Examples", IEEE Transactions on Software Engineering, pp. 902-917, 1989.
  17. D. McComb and J. Y. Smith, "System Project Failure: the Heuristics of Risk", Journal of Information Systems, Vol.8, No.1, pp.25-34, 1991. DOI : 10.1080/07399019108964967
  18. E. K. Clemons, "Evaluation of Strategic Investments in Information Technology", Communications of the ACM, Vol.34, No.1, pp.23-36, 1991. https://doi.org/10.1145/99977.99985
  19. E. K. Clemons, "Using Scenario Analysis to Manage the Strategic Risks of Reengineering", Sloan Management Review, pp. 61-71, 1995.
  20. E. K. Clemons, M. E. Thatcher and M. Row, "Identifying Sources of Reengineering Failures: A Study of the Behavioral Factors Contributing to Reengineering Risks", Journal of Management Information Systems, Vol.12, No.2, pp.9-36, 1995. DOI: 10.1080/07421222.1995.11518079
  21. C. F. Kemerer and G. I. Sosa, "Systems Development Risks In Strategic Information Systems", Information and Software Technology, Vol.33, No.3, pp.212-223, 1991. DOI: 10.1016/0950-5849(91)90136-Y
  22. R. Rainer, C. Snyder and H. Carr, "Risk Analysis for Information Technology", Journal of Management Information Systems, Vol.81, No.1, pp.129-147, 1991. DOI : 10.1080/07421222.1991.11517914
  23. S. A. Sherer, "Software Failure Risk: Measurement and Management", New York: Plenum Press, 1992. DOI: https://doi.org/10.1080/07421222.1991.11517914
  24. K. Loch, H. Carr and M. Warkentin, "Threats to Information Systems: Today's Reality, Yesterday's Understanding", MIS Quarterly, Vol.16. No.2, pp.173-186, 1992. DOI: 10.2307/249574
  25. H. Barki, S. Rivard and J. Talbot, "Toward An Assessment Of Software Development Risk", Journal of Management Information Systems, Vol.10, No.2, pp.203-225, 1993. DOI: 10.1080/07421222.1993.11518006
  26. H. Barki, S. Rivard and J. Talbot, "An Integrative Contingency Model Of Software Project Risk Management", Journal of Management Information Systems, Vol.17, No.4, pp.37 (33 pgs), 2001. DOI: https://doi.org/10.1080/07421222.2001.11045666
  27. W. B. Richmond and A. Seidmann, "Software Development Outsourcing Contract: Structure And Business Value", Journal of Management Information Systems, Vol.10, No.1, pp.57-72, 1993. DOI: 10.1080/07421222.1993.11517990
  28. B. Bashein, L. Markus and P. Riley, "Preconditions For BPR Success And How To Prevent Failures", Information Systems Management, Vol.11, No.2, pp.7-13, 1994. DOI : 10.1080/10580539408964630
  29. V. Grover, S. R. Jeong, W. Kettinger and J. Teng, "The Implementation Of Business Process Reengineering", Journal of Management Information Systems, Vol.12, No.1, pp.109-144, 1995. DOI: 10.1080/07421222.1995.11518072
  30. S. Nidumolu, "The Effect Of Coordination and Uncertainty on Software Project Performance: Residual Performance Risk as An Intervening Variable", Information Systems Research, Vol.6, No.3, pp.191-219, 1995. DOI: 10.1287/isre.6.3.191
  31. R. Baskerville and J. Stage, "Controlling Prototype Development Through Risk Analysis", MIS Quarterly, Vol.20, No.4, pp.481-504, 1996. DOI: 10.2307/249565
  32. K. Lyytinen, L. Mathiassen and J. Ropponen, "A Framework For Software Risk Management", Journal of Information Technology, Vol.11. No.4, pp. 275-285, 1996. DOI: 10.1177/026839629601100402
  33. H. G. Lee and T. Clark, "Market Process Reengineering Through Electronic Market Systems: Opportunities and Challenges", Journal of Management Information Systems, Vol.13, No.3, pp.113-136, 1997. DOI: 10.1080/07421222.1996.11518136
  34. D. Straub and R. Welke, "Coping with Systems Risk: Security Planning Models for Management Decision Making", MIS Quarterly, pp. 441-469, 1998. DOI: 10.2307/249551
  35. M. Keil, P. Cule, K. Lyytinen and R. Schmidt, "A Framework for Identifying Software Project Risks", Communications of the ACM, Vol.41, No.11, pp.76-83, 1998. https://doi.org/10.1145/287831.287843
  36. K. Lyytinen, L. Mathiassen and J. Ropponen, "Attention Shaping and Software Risk - A Categorical Analysis of Four Classical Risk Management Approaches", Information Systems Research, Vol.9, No.3, pp.233-255, 1998. https://doi.org/10.1287/isre.9.3.233
  37. J. Gogan, J. Fedorowicz and A. Rao, "Assessing Risks In Two Projects: A Strategic Opportunity And A Necessary Evil", Communications of the AIS, Vol.1, No.1, pp.15, 1999. DOI: 10.17705/1CAIS.00115
  38. K. Kumar and E. Christiaanse, "From static supply chains to dynamic supply webs: principles for radical redesign in the age of information", In proceedings of the 20th international conference on Information Systems, pp. 300-306, 1999.
  39. E. Oz and J. Sosik, "Why information systems projects are abandoned: a leadership and communication theory and exploratory study", Journal of Computer Information Systems, Vol.41, No.1, pp.66-78, 2000.
  40. H. A. Smith, J. D. McKeen and S. Staples, "New developments in practice I: Risk management in information systems: Problems and potential", Communications of the Association for Information Systems, Vol.7, No.1, pp.13, 2001. DOI: 10.17705/1CAIS.00713
  41. R. Austin, "The Effects Of Time Pressure On Quality In Software Development: An Agency Model", Information Systems Research, Vol.12, No.3, pp.195-207, 2001. https://doi.org/10.1287/isre.12.2.195.9699
  42. S. Chan, "Risky e-Business", Internal Auditor, pp.62-63, 2001.
  43. N. Doherty and M. King, "An Investigation Of The Factors Affecting The Successful Treatment Of Organisational Issues In Systems Development Projects", European Journal of Information Systems, Vol10, pp.147-160, 2001. https://doi.org/10.1057/palgrave.ejis.3000401
  44. J. Jiang, G. Klein and R. Discenza, "Information System Success As Impacted By Risks And Development Strategies", IEEE Transactions on Engineering Management, Vol.48, No.1, pp.46-55, 2001. DOI: 10.1109/17.913165
  45. R. Schmidt, K. Lyytinen, M. Keil and P. Cule, "Identifying Software Project Risks: An International Delphi Study", Journal of Management Information Systems, Vol.17, No.4, pp. 5-36, 2001. DOI: 10.1080/07421222.2001.11045662
  46. D. Viehland, "Risk E-Business: Assessing Risk in Electronic Commerce", Decision Line, pp.9-11, 2002.
  47. J. Jiang, G. Klein and T. S. Ellis, "A Measure Of Software Development Risk", Project Management Journal, Vol.33, No.3, pp.30-41, 2002. DOI: 10.1177/875697280203300305
  48. M. Benaroch, "Managing Information Technology Investment Risk: A Real Options Perspective", Journal of Management Information Systems, Vol.19, No.2, pp.43-84, 2002. DOI: 10.1080/07421222.2002.11045726
  49. T. Moynihan, "Coping With Client-Based People Problems: The Theories of Action of Experienced IS/Software Project Management", Information and Management, Vol.39, No.5, pp.377-390, 2002. DOI: 10.1016/S0378-7206(01)00104-5
  50. J. Scott and I. Vessey, "Managing Risks in Enterprise Systems", Communications of the ACM, Vol.45, No.4, pp.74-81, 2002. https://doi.org/10.1145/505248.505249
  51. S. Yourstone and H. A. Smith, "Managing System Errors and Failures in Health Care Organizations: Suggestions for Practice and Research", Health Care Management Review, Vol.27, No.1, pp. 50-61, 2002. https://doi.org/10.1097/00004010-200201000-00005
  52. R. E. Fairiey and Willshire, M. J., "Why the Vasa sank: 10 problems and some antidotes for software projects", IEEE Software, pp.18-25, 2003. DOI: 10.1109/MS.2003.1184161
  53. L. Wallace, M. Keil, and A. Rai, "Understanding software project risk: a cluster analysis", Information & managemen, Vol.42, No.1, pp.115-125, 2004. DOI: 10.1016/j.im.2003.12.007
  54. S. A. Sherer and A. Steven, "Information Systems Risks and Risk Factors: Are They Mostly About Information System?", Communications of the Association for Information Systems, Vol.14, No.2, pp.29-64, 2004.
  55. D. Tesch, J. K. Timothy and N. F. Mark, "It Project Risk Factors: The Project Management Professionals Perspective", Journal of Computer Information Systems, Vol.47, No.4, pp.61-69, 2007.
  56. H. V. Loon, "A management methodology to reduce risk and improve quality", IT Professional IEEE, Vol.6, pp.30-35, 2007. DOI: 10.1109/MITP.2007.104
  57. S. J. Huang and W. M. Han, "Exploring the relationship between software project duration and risk exposure: A cluster analysis", Information & Management, Vol.45, No.3, pp.175-182, 2008. DOI: 10.1016/j.im.2008.02.001
  58. R. T. Nakatsu and C. L. Iacovou, "A comparative study of important risk factors involved in offshore and domestic outsourcing of software development projects: A two-panel Delphi study", Information & Management, Vol.46, No.1, pp.57-68, 2009. DOI: 10.1016/j.im.2008.11.005
  59. P. K. Dey, B. T. Clegg, and D.J. Bennett, "Managing enterprise resource planning projects", business process management Journal, Vol.16, No.2, pp.282-296, 2010. DOI: 10.1108/14637151011035606
  60. L. Jun, W. Qiuzhen and M. Qingguo, "The effects of project uncertainty and risk management on IS development project performance: A vendor perspective", International Journal of Project Management, Vol.29, No.7, pp.923-933, 2011. DOI: 10.1016/j.ijproman.2010.11.002
  61. C. Lopez, J And L. Salmeron, "Risks response strategies for supporting practitioners decision-making in software projects", Procedia Technology, Vol.5, pp.437-444, 2012. DOI: 10.1016/j.protcy.2012.09.048
  62. S. Sundararajan, M. Bhasi, M. and P. K. Vijayaraghavan, "Case study on risk management practice in large offshore-outsourced Agile software projects", IET software, Vol.8, No.6, pp. 245-257, 2014. DOI: 10.1049/iet-sen.2013.0190
  63. E. Ziemba and I. Kolasa, "Risk factors framework for information systems projects in public organizations-insight from Poland", Computer Science and Information Systems of Federated Conference(IEEE. FedCSIS), pp.1575-1583, 2015. DOI: 10.15439/2015F110
  64. N. I. Dludhlu, J. H. C. Pretorius and C. J. V. Wyngaard, "Risk evaluation in project management implementation: The case of infrastructural development projects", In Industrial Engineering and Engineering Management (IEEM) IEEE International Conference, pp.1743-1747, 2017. DOI: 10.1109/IEEM.2017.8290190
  65. I. Chochliouros, S. Ziegler, L. Bolognini, N. Alonistioti, M. Stamatelatos, P. Kontopoulos and M. Holst, "Enabling Crowd-sourcing-based Privacy Risk Assessment in EU: the Privacy Flag Project", In Proceedings of the 21st Pan-Hellenic Conference on Informatics, ACM, September p.31, 2017. DOI: 10.1145/3139367.3139417
  66. J. H. Back, Y. H. Lim, "Software Engineering : A Measuring Model of Risk Impact on The App Development Project in The Social App Manufacturing Environment", Korea Information Processing Society Transactions on Software and Data Engineering(KTSDE), Vol.3, No.9, pp.335-340, 2014. DOI: 10.3745/KTSDE.2014.3.9.335
  67. A. M. Lima, "Risk assessment on distributed software projects", Proceedings of the 32nd ACM/IEEE International Conference on Software Engineering-Volume 2, pp. 349-350, 2010. DOI: 10.1145/1810295.1810387
  68. S. Sharma and B. Ram, "Causes of Human Errors in Early Risk assesment in Software Project Management", Proceedings of the Second International Conference on Information and Communication Technology for Competitive Strategies, ACM, p.11, 2016. DOI: 10.1145/2905055.2905069
  69. B. Hartono, S. R. Sulistyo, P. P. Praftiwi, and D. Hasmoro, "Project risk: Theoretical concepts and stakeholders' perspectives", International Journal of Project Management, Vol.32, No.3, pp.400-411, 2014. DOI: https://doi.org/10.1016/j.ijproman.2013.05.011
  70. J. Dobaj, "INSpIRA: iNtegrating security into risk assessment: doctoral project paper", In Proceedings of the 13th International Conference on Software Engineering for Adaptive and Self-Managing Systems, pp.183-187, 2018. DOI: 10.1145/3194133.3194159
  71. S. Y. Lee, "Process for Risk Severity Estimation of Weapon System Development Project using Parametric Estimation Method/Linear Kalman Filter", The Journal of Korea Academia-Industrial cooperation Society, Vol.19, No.6, pp. 567-575, 2018. DOI: 10.5762/KAIS.2018.19.6.567
  72. Q. Dai, and J. A. Li, "A Single DEA-based Indicator for Assessing the Multiple Negative Effects of Project Risks", Procedia Computer Science, Vol. 91, pp. 769-773, 2016. DOI: 10.1016/j.procs.2016.07.074
  73. R. Yim, J. Castaneda, T. Doolen, I. Tumer and R. Malak, R. "A study of the impact of project classification on project risk indicators", International Journal of Project Management. Vol.33, No.4, pp. 863-876, 2015. DOI: 10.1016/j.ijproman.2014.10.005
  74. D. Wu, Q. Dai, and X. Zhu, "Measuring the Effect of Project Risks Based on Shapley Value for Project Risk Response", Procedia Computer Science, Vol. 91, pp.774-778, 2016. DOI: 10.1016/j.procs.2016.07.076
  75. N. I. Dludhlu, J. H. C. Pretorius and C. J. van Wyngaard, "Risk evaluation in project management implementation: The case of infrastructural development projects", In Industrial Engineering and Engineering Management (IEEM), 2017 IEEE International Conference, pp.1743-1747, 2017. DOI: 10.1109/IEEM.2017.8290190
  76. J. P. Paquin, C. Gauthier and P. P. Morin, "The downside risk of project portfolios: The impact of capital investment projects and the value of project efficiency and project risk management programmes", International Journal of Project Management, Vol.34, No.8, pp.1460-1470, 2016. DOI: 10.1016/j.ijproman.2016.07.009
  77. A. H. Khameneh, A. Taheri and M. Ershadi, "Offering a framework for evaluating the performance of project risk management system", Procedia-Social and Behavioral Sciences, Vol.226, pp.82-90, 2016. DOI: 10.1016/j.sbspro.2016.06.165
  78. E. Rodney, Y. Ducq, D. Breysse & Y. Ledoux, "An integrated management approach of the project and project risks", IFAC-PapersOnLine, Vol.48, No.3, pp.535-540, 2015. DOI: 10.1016/j.ifacol.2015.06.136
  79. S. Liu, F. Xia, J. Zhang, W. Pan and Y. Zhang, "Exploring the trends, characteristic antecedents, and performance consequences of crowdsourcing project risks", International Journal of Project Management, Vol.34, No.8, pp.1625-1637, 2016. DOI: 10.1016/j.ijproman.2016.09.002
  80. Y. Zhang, "Selecting risk response strategies considering project risk interdependence", International Journal of Project Management, Vol.34, No.5, pp.819-830, 2016. DOI: 10.1016/j.ijproman.2016.03.001
  81. E. N. Desyatirikova, V. E. Belousov, S. P. Fedosova and A. A. Ievleva, "DSS design for risk management of projects. In Quality Management, Transport and Information Security", IEEE International Conference of Information Technologies, pp. 492-495, 2017.
  82. C. Muriana and G. Vizzini, "Project risk management: A deterministic quantitative technique for assessment and mitigation", International Journal of Project Management, Vol.35, No.3, pp.320-340, 2017. DOI: 10.1016/j.ijproman.2017.01.010
  83. D. Wu, J. Li, T. Xia, C. Bao, Q. Dai, "A multiobjective optimization method considering process risk correlation for project risk response planning", Information Sciences, Vol. 467, pp.282-295, 2018. DOI: 10.1016/j.ins.2018.07.013
  84. Y. Hu, J. Du, X. Zhang, X. Hao, E. Ngai, W. T. E., M. Fan and M. Liu, "An integrative framework for intelligent software project risk planning", Decision Support Systems, Vol.55, No.4, pp.927-937, 2013. DOI: 10.1016/j.dss.2012.12.029
  85. Y. Hu, X. Zhang, E. W. T. Ngai, R. Cai and M. Liu, "Software project risk analysis using Bayesian networks with causality constraints", Decision Support Systems, Vol.56, pp.439-449, 2013. DOI: 10.1016/j.dss.2012.11.001
  86. A. Leigh, "Architecture analysis to predict project risks: using containers to aid risk assessment", Proceedings of the 11th European Conference on Software Architecture: ACM Companion Proceedings, pp. 44-47, 2017. DOI: 10.1145/3129790.3129798
  87. Mike Fontaine, 4: Project Risk Management, Enterprise Risk Management, pp.47-58, 2016.
  88. E. J. Jeong, S. R. Jeong, "A Checklist for Assessment of Risks Involved in IT Service Project Contract", KSII Transactions on Internet and Information Systems, Vol. 25, No. 4, pp.57-65, 2014. DOI: 10.7472/jksii.2014.15.4.57
  89. T. D. Kim, "Measurement of S/W Development Processes and Maturity using Agile Methodologies", The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 15, No. 6, pp.147-154. 2015 DOI: 10.7236/JIIBC.2015.15.6.147
  90. S. K. Kim, G. S. Ryu, "Research for improving quality of SI(System integration) development project", jkiiect, Vol. 11 No. 3, pp.215-220, 2018.