I. 서론
1.1 연구 동기 및 목적
우리나라 기술산업의 발전과 다양한 신기술들에 대한 융합 및 기술력 증대로 산업기술에 대한 인지도는 국외에서도 인정받을 만큼 세계적인 수준이 되었다. 우리나라 산업의 규모가 점차 확대됨에 따라 도급회사와의 협업 및 기술교류 비중은 크게 증가하고 있으며 제조, 개발 등을 위한 기술자료 제공 그리고 정보자산에 대한 공유는 필수 불가결한 요소가 되었다. 이러한 환경 속에서 정부는 몇가지 기술산업에 대해 국가 핵심기술로 지정하여 중국을 포함한 다른 나라로 해당기술들이 유출되지 않도록 산업정보에 대한 안전한 관리, 운영을 위한 법적제도 마련 및 다양한 지원 등의 노력을 기울이고 있다. 그러한 노력에도 불구하고, 최근 6년간 산업기술을 유출하다가 적발된 사례가 약 570건으로 나타났으며 최신기술을 해외로 유출하려다 검거된 경우도 약 280건에 달했다. 연도별 검거현황을 보면 2010년 40건, 2011년 84건, 2012년 140건, 2013년 97건, 2014년 111건, 2015년 98건 등으로 유출건수가 줄어들지 않고 있다. 해외유출 시도에 대해 업종별로 분석해 보면 정밀기계가 32.8%, 전기전자가 25.7%, 정보통신 12.5%, 정밀화학이 6.1%, 생명공학 3.6% 기타 19.3% 였다. 이중 중소기업이 64%로 가장 큰 비중을 차지했다[1]. 끊임없이 해외 경쟁업체로의 산업기술 정보유출 사고가 발생 하였으며 이중 90%이상이 도급회사 임직원으로 부터 발생한 사고였다. 이에 따라 정부는 부정경쟁방지 및 영업비밀보호에 관한 법률, 특정 경제범죄 가중처벌 등에 관한 법률들을 제정하여 영업비밀 보호를 위한 법적 제재 방안을 마련하고 있으며 원청업체에서도 도급회사의 기술자료 보안 실태에 대한 점검 등 산업정보 유출방지를 위해 노력하고 있다. 그러나 정부 및 기업의 노력에도 불구하고 도급회사로 부터의 기술자료 유출사고는 줄어들지 않고 있으며 생산성 높이기에만 치중한 도급회사의 현실 및 열악한 경영환경을 고려해 보았을 때 정보보안만 강조하기에는 힘든게 현실이다. 기술자료 보안진단 점수가 높음에도 불구하고 지속적으로 발생하는 산업정보 유출사고를 보았을 때 기술자료 보안진단의 실효성에 대해 생각해볼 필요가 있다.
따라서 본 연구에서는 도급업체의 기술자료에 대한 효율적 보안운영체계 구축 방안을 평가하고 효율성 측정 결과를 토대로 기술자료 점검의 효율성을 개선하기 위한 보안관리체계 모델을 제안하였고, 이를 입증하기 위하여 자동차 분야에 해당 모델을 실제 적용하여 그 유효성을 확인 하였다.
II. 선행연구 및 이론적 배경
2.1 선행연구
2.1.1 정보보호 관리체계 점검 개요 및 필요성
ISO27001(International Organization for Standardization27001) 및 ISMS(Information Security Management System) 등 정보보안 관리체계에 대한 수준진단을 이행하는 것은 각종 위험 및 위협으로 부터 기업의 주요 산업정보 및 정보자산을 지키기 위한 정보보호 관리체계의 운영, 관리방식 등에 대해 확인하기 위해서다. 정보보호관리체계 인증제도 중 하나인 ISMS는 2001년 도입을 시작으로 2002년부터 점검 받은 기업을 대상으로 인증서 발급을 시작하였으며 현재까지 약 400여건 이상의 인증서를 유지하고 있다[2]. 관련 법령은 개인정보보호법 및 정보통신망 이용촉진 및 정보보호 등에 관한 법률 등 이다. ISMS는 정보보호 관리과정 5단계의 요구사항과 12개의 통제사항, 정보보호대책 13개 분야와 92개의 통제사항 모두 104개의 보안진단 항목으로 구성되어져 있으며 인증기관은 한국인터넷진흥원이다[3]. 정보보호관리체계를 평가하는 제도들을 통해 정보보안 및 산업보안에 대한 보안성이 높아지기를 기대하지만 기업들은 단지 인증을 따기 위해 의무적으로 평가 증적 만들기에만 신경 쓰는 경우가 많다. 즉 평가점수가 높다고 해도 그것을 검증할 만한 객관적인 지표는 없다. 이에, 정보보호관리체계 수준진단에 대한 인증 및 각종 제도들의 실효성, 효율성 등을 파악할 수 있는 객관적인 방안 마련에 대한 연구는 활발히 진행되고 있으나 확실히 검증된 보안관리체계 운영, 점검 등에 대한 효율성 및 실효성에 대한 측정 방안은 없다.
2.1.2 DEA의 유용성과 한계성
조직의 정보보호관리체계에 대한 수준진단의 효율성 분석에 대해 절대적인 방법을 사용하여 분석하는 것은 한계가 있으며 상대적인 관점으로 조직간의 비교, 분석 등을 통해 효율성을 파악하여 해결책을 마련하는 것이 효과적일 수 있다. 상대적 효율성 분석에 사용되는 모델 중 하나인 DEA(Data Envelopment Analysis: 자료포락분석)는 다음과 같은 중요한 속성을 지닌다. 첫째, 다수의 투입요소와 산출요소를 사용하여 효율성 평가가 가능하다. 각각의 산출, 투입요소에 대해 가중치를 적용할 필요가 없으며 최대의 효율성을 나타낼 수 있는 가중치를 자동으로 결정한다[4]. 둘째, DMU(Decision Making Unit: 의사결정단위)들의 효율성을 측정하여 효율적 프론티어 그룹을 도출하고 타 DMU들이 프론티어 그룹으로부터 얼마만큼 떨어져 있는지를 확인하여 비효율성을 측정할 수 있다[5]. 셋째 100% 효율성으로 평가된 대상들에 준거집단을 구성하고 비효율적으로 판별된 대상들에게 비효율성에 대한 원인 파악을 통해 실현 가능한 목표를 설정할 수 있도록 벤치마킹의 기회를 제공한다[6].
그러나 DEA 모형은 다음과 같은 한계성이 있다. 첫째, 투입요소와 산출요소에 대해 주관적으로 선정하여 상대적인 효율성을 분석하기 때문에 적절하지 못한 투입, 산출요소에 대한 선정으로 오류를 범할 수 있는 소지가 있다[7]. 둘째, DEA 모형을 사용한 효율성 평가는 절대적인 평가방식이 아닌 상대적인 평가방식이기 때문에 절대적인 가치를 부여하기는 힘들다[8]. 셋째, DEA 모형은 비현실적인 가중치 설정으로 인한 잘못된 측정값을 나타낼 수 있다[9].
2.1.3 DEA를 이용한 효율성 분석에 관한 선행연구
DEA 모형은 상대적 효율성 분석을 위해 다양한 분야의 연구에서 사용되어지고 있으며 이중 제조업 관련 업계에서 DEA 모형이 어떻게 활용되고 있는지를 선행연구를 통해 살펴보고 투입요소 및 산출요소 그리고 연구내용에 대한 확인을 통해 선행연구를 검토하고자 한다.
박정현, 김원중은 제조기업의 경영효율성 분석결과와 재무구조가 좋은 기업과의 연관성을 분석하여, 비효율적인 기업에게 효율성이 100%로 나타난 기업들에 대한 벤치마킹 기회를 제공 하였다. 김창범은 CCR, BCC 모형을 사용하여 특정지역을 대상으로 제조업의 기술효율성, 순수기술효율성, 규모효율성을 분석하고 비효율성의 원인에 대해 확인 하였다. 신정훈, 황승준은 자동차 도급업체의 효율성 분석을 통해 환경이 비슷한 업체 중 효율성이 좋은 벤치마킹 업체를 찾고 로지스틱 회귀분석을 통해 재무적으로 개선해야할 사항들을 제시 하였다. 서용윤, 김문수는 제조업과 서비스업의 혁신활동 등에 대한 효율성을 분석하여 전체 산업에 대한 새로운 분류 체계를 제시하였다. 조형국, 이철규, 유왕진은 DEA모형을 사용하여 자동차 부품 제조업체의 효율성을 분석하였다. 우남수는 151개 자동차 도급업체를 대상으로 공급 네트웍 상의 특성을 고려하여 DEA를 통한 효율성을 분석하였다.
선행연구 검토결과 몇가지 공통점을 확인할 수 있었다. 첫째 연구내용의 대상은 동일업종이거나 사업체임을 확인할 수 있다. 이는 투입, 산출요소를 지정하고 효율성을 분석함에 있어서 그 타당성을 확보하기가 용이하기 때문이다. 둘째 투입요소에서 가장 많이 확인되는 요소는 인력과 자산이다. 이는 어떠한 기업에서든 조직의 운영에 있어서 가장 기본적인 요소라고 할 수 있다. 따라서 두 요소는 투입요소로서 가장 적합한 요소들 중의 하나라고 판단되어 진다. 셋째 산출요소는 최대한 객관적으로 판단할 수 있는 요소들임을 확인할 수 있다. 이는 효율성 평가 결과의 정확성을 확보하기 위함임을 알 수 있다. 넷째 DEA 모형을 사용하여 제조업 관련 효율성을 분석한 연구 중 도급회사 보안운영체계 및 점검에 대한 실효성 측정과 관련된 연구는 없었다. <표 1>은 DEA 모형을 사용하여 연구한 사례들을 요약한 것이다. 본 연구는 제조업 도급회사의 산업보안 운영에 대한 효율성 측면을 연구대상으로 했다는 점에서 기존 연구와 차별화 되며, DEA 모형을 사용하여 상대적 효율성을 분석하기에 적합한 연구라고 할 수 있다.
Table 1. Study in Advance Using the DEA
2.2 도급회사 기술자료 보안관리 수준 진단
2.2.1 도급회사 기술자료 보안실태 점검 개요
우리나라 산업의 발달과 원청업체와 도급회사간의 협업 및 기술교류의 증가로 핵심기술에 대한 자료 공유가 활발히 일어나고 있으며 도급회사에 대한 원청업체의 의존도는 지속적으로 증가하고 있다. 이러한 환경에서 도급회사를 통한 기술자료 유출사고의 빈도는 증가하고 있고 해외 경쟁업체로의 기술 유출이 늘어남에 따라 국가적인 피해가 매년 증가하고 있는 추세이다. 이러한 폐해를 줄이고자 대부분의 원청업체에서는 하청업체를 대상으로 기술자료에 대한 보안수준을 진단하고 개선안을 마련하여 산업정보에 대한 자율적 보안관리 환경을 만들기 위해 노력하고 있다.
Table 2. Inspection on actual management of suppliers(Automotive Industry)
2.2.2 진단 프로세스 및 항목
자동차 원청업체인 A사에서는 매년 도급회사 기술자료 관리에 대한 보안 수준진단 계획을 수립하고 공문을 통해 해당 도급회사에 협조를 요청하며 진단조를 구성하고 도급회사의 특성에 따라 진단일정을 수립한다. 진단일정이 확정되면 각 도급회사에 진단기준 항목이 포함된 진단 리스트를 보내고 자체 진단 및 증적 준비를 요청하여 방문일정 일주일전 까지 해당 자료들을 공유 받는다. 해당 자료에 대한 검토 후 도급회사 방문을 통해 실제 보안 수준진단을 이행하고 결과를 산출하는 프로세스로 기술자료 보안관리 실태에 대한 수준진단을 이행 한다. 기술자료 보안 관리실태 진단 지표는 도급회사의 기술자료 보안관리에 대해 종합적으로 판단할 수 있도록 6개 분야, 30개의 세부 항목으로 구성되어져 있다.
Table 3. Security Checklist for Technical Datas
기술자료 보안 관리실태 진단에 대한 최종 점수는 각 항목에 대해 가중치 없이 4점을 부여하고 기타 항목에 대한 사항이 충족될 경우 추가 4점을 부여하여 합산을 통해 최종 점수를 산정한다. 진단 결과에 대한 점수 산정 방법은 (식1)과 같다.
\(\sum ^{24} _{n=1} [a_n] + \sum ^6 _{i=1} [b_i]\) (1)
2.2.3 기술자료 보안관리 실태 점검의 문제점
자동차 업계의 부품, 설비 도급회사의 환경은 업체의 제조 품목에 따라 그리고 규모에 따라 그 차이가 크다. 모든 업체에 동일한 기준의 기술자료 보안관리 수준을 요구하는 것은 효율적이지 못하다. 또한 기술자료 보안 관리실태 진단 점수가 좋아도 실제로 보안관리가 효율적으로 잘되고 있는지에 대한 실효성을 입증하기에는 충분하지 못하다. 따라서 본 연구에서는 일반적인 도급구조에서의 보안관리체계 효율성 평가 모델을 자동차 원청업체인 A사에서 2016년도에 시행한 기술자료 관리실태 보안진단 및 관리수준 평가를 기준으로 기술자료 관리수준의 효율성 및 기술자료 관리 프로세스, 진단 항목, 최종 결과 점수 산정 방법 등에 적용하여 상대적 효율성을 평가하고자 한다.
2.3 효율성 분석 및 DEA 모형
2.3.1 효율성 분석
효율성(efficiency)이란 개념은 많은 사람들에 의해 다양한 의미로 해석되어져 왔다. 효율성과 비슷한 의미로 사용되는 개념으로는 효과성(effectiveness)을 말할 수 있으나 본질적인 의미는 다르다. 효율성은 일반적으로 제한적인 자원을 사용하여 최대의 산출물을 만들어내는 기술을 의미한다[16]. 반면 효과성은 일반적으로 사전에 설정해 놓은 목표를 달성했는지의 여부에 중점을 둔다[17]. 즉, 목표를 달성하기 위해 한정된 자원의 활용은 효율성, 목표를 달성했는지의 목표 달성정도는 효과성이라고 정의할 수 있다. 유미년은 효율성이란 최소비용을 투자해서 최대의 효과를 이끌어내는 것으로 최소의 자원을 투자해서 목적을 이루어내는 것이라고 하였다[18]. 이러한 효율성을 측정하기 위해, 정홍원은 효율성의 명확한 측정을 위해서는 투입, 산출요소 그리고 목표가 수치화 되어야 한다고 하였다[19]. 산출물을 만들어 내는데 실제 적용하는 최선의 기술적 접근을 기술적 효율성이라고 할 수 있는데 여러가지 외적인 요인에 의해 최선의 기술을 사용하지 못하는 경우가 많다[20]. 기술적 효울성의 측정은 최소의 투입요소를 선택하여 목표의 산출물을 생산해 내거나 정해진 투입요소에 대해 최대의 산출물을 생산해 내는 방식으로 측정할 수 있다[21]. 일반적인 효율성 측정 방식은 다음과 같다.
\(\text {효율성} = \frac {\text {산출(Output)}} {\text {투입(input)}}\) (2)
효율성 측정에 대한 형태는 다양한 방법으로 발전되어 왔는데, 모수적 접근법(parametic approach)과 비모수적 접근법(non-parametric approach)이 대표적이다[22]. 모수적 접근법은 통계학적으로 먼저 함수형태를 구체적으로 정한뒤 효율성을 측정하는 회귀분석법을 말한다. 이는 산출물에 대한 기술들에 대해 통계적 확인이 가능하다는 장점이 있으나 비효율성 측정 시 랜덤함수에 대한 명확한분포들에 대한 가정이 필요하다는 단점을 갖고 있다. 비모수적 접근법은 선형계획법에 근거한 효율적 측정방법으로 평가대상에 대한 경험적 생산요소와 산출요소의 정보를 이용하여 효율적 프론티어를 나타낸다. 효율적 프론티어로 나타난 집단들과 평가대상간의 차이를 분석하여 비효율성을 측정할 수 있다[23]. 이러한 비모수적 접근방식의 대표적인 기법이 DEA 모형이며 다수의 투입요소와 산출요소를 동시에 사용하여 상대적 효율성에 대한 결과를 도출할 수 있다.
2.3.2 DEA 모형
DEA 모형은 Farrell, Charnes, Cooper, Banker, Rhodes 등에 의해 만들어진 생산활동에서의 상대적 효율성을 측정하는 기법으로 선형계획법에 근거한다. 개발된 이래로 다양한 효율성 측정기법들과 연계되어 사용되어지고 있을 정도로 그 효용성이 인정되고 있다. 지금까지 다양한 대상들에 대한 효율성 측정을 위해 여러 DEA 모형들이 연구되어져 왔으며 Charnes, Cooper, Rhodes(1978)가 개발한 CCR 모형과 Banker, Charnes, Cooper(1984년)가 개발한 BCC 모형이 가장 일반적으로 사용되어 지고 있다[24].
2.3.2.2 CCR 모형
CCR 모형은 모든 DMU의 투입요소 대비 산출요소에 대한 비율이 1을 초과해서는 안된다. 각 투입요소 및 산출요소의 가중치가 0보다 크다는 조건 하에 투입요소 대비 산출요소를 최대화 시킬 수 있는 가중치를 결정하는 모형이다.
\(\text { Maximise } E_{k}=\frac{\sum_{r=1}^{s} y_{k r} u_{k r}}{\sum_{i=1}^{m} x_{k i} v_{k i}} \\ \text { Subject to } E_{k i}=\frac{\sum_{i=1}^{s} y_{j r} u_{k r}}{\sum_{i=1}^{m} x_{j i} v_{k i}} \leq 1, j=1,2, \ldots ., n\)
vki ≥ ε > 0, i = 1, 2, ...., n
uki ≥ ε > 0, i = 1, 2, ...., s (3)
Ek는 DMU k의 효율성을 나타내며 ur은 r번째 산출요소에 대한 가중치, ui는 i번째 투입요소에 대한 가중치를 의미한다. yjr은 DMU j의 r번째 산출물의 양, xji는 DMU j의 i번째 투입요소의 양을 나타내며 ε는 non - Archimedean 상수를 n은 DMU의 수, m은 투입요소의 수, s는 산출요소의 수를 의미한다. 이러한 모형을 통해서 구한 최적해가 1이면 산업체 k는 효율적인 산업체이며, 최적해가 1보다 작으면 산업체 k는 비효율적인 산업체라고 할 수 있다.
2.3.2.3 BCC 모형
규모수익변동의 상황을 반영하기 위해 고안된 것으로 BCC 모형은 다음과 같은 식으로 표현할 수 있다.
\(\text { Maximise } E_{k}=\frac{\sum_{r=1}^{s} u_{r} y_{r 0}+u_{0}}{\sum_{i=1}^{m} v_{i} x_{i 0}} \text { Subject to } \\ E_{k i}=\frac{\sum_{i=1}^{s} u_{r} y_{r i}+u_{0}}{\sum_{i=1}^{m} x_{j i} v_{i}} \leq 1, j=1,2, \ldots ., n\)
ur ≥ ε >0, i = 1, 2, ...., s
vi ≥ ε > 0, i = 1, 2, ...., m (4)
위 식을 통하여 최적해를 구한 후 도출되는 u0을 통하여 평가대상 산업체의 규모수익에 대한 현상을 파악할 수 있는데 만약 u0<0이면 규모수익 체증, u0=0이면 규모수익 불변, u0>0이면 규모수익체감을 나타낸다. 즉 CCR 모형은 규모수익불변을 가정하기 때문에 규모의 효율성과 순수 기술적 효율성을 구분하지 못한다는 단점을 가지고 있다. BCC 모형은 규모수익가변을 적용한 효율성 분석 모형으로 순수기술 효율성에 대한 확인이 가능 하다.
III. 투입, 산출요소의 설정 및 DEA 분석 결과
3.1 연구 설계
3.1.1 연구 범위
본 연구는 DEA 모형을 활용하여 도급업체의 기술자료에 대한 효율적 보안운영체계 구축 방안을 평가하고 효율성 측정 결과를 토대로 기술자료 점검의 효율성을 개선하기 위한 보안관리체계 모델을 제안하였다. 모수적접근법인 회귀분석법이나 계층적 분석을 통해 의사결정을 하는 통계적 분석 도구 중 하나인 AHP(Analytic Hierarchy Process)분석 등을 이용하여 보안관리 운영에 대한 평가도 가능하겠지만 도급회사 기술자료 보안관리의 효율성 측정은 투입물과 산출물의 상관 관계를 명확하게 설명하기 힘들다는 점과 다수의 투입물과 산출물을 동시에 고려하여 효율성을 특정하기 어려우며 점검자의 주관적인 개입으로 인해 그 결과가 다르게 나타날 수 있다는 점을 고려해 보았을 때 모수적 방법 보다는 비모수적 방법이 더 적합하다고 판단되어 진다. 이러한 점을 고려해 보았을 때 비모수적 접근법의 대표 분석모형인 DEA 모형은 도급회사 기술자료 보안관리의 효율성 및 기술자료 보안 관리실태 점검의 효율성을 측정하기에 적합하다. 이를 입증하기 위해 자동차 분야에 해당 모델을 실제로 적용하여 그 유효성을 확인 하는데 그 목적이 있다. 자동차 업계 도급회사 총 36개의 1차 부품, 설비사를 대상으로 하였으며 연구 분석의 정확성을 높이고자 업체의 특성별로 승용업체 12개사, 상용업체 12개사, 설비업체 12개사로 분류하여 연구를 진행 하였다. 36개 업체의 특성을 분석해본 결과 일반적 특성은 다음과 같이 나타났다. 기업의 규모별로 중,소기업이 26군대, 중견기업이 9군대, 대기업이 1군대로 나타났으며, 사업 품목별로 샤시가 7군대, 변속기, 엔진이 3군대, 전기, 전자가 2군대 차체, 도장이 11군대, 개발, 수리가 5군대, 금형제작, 자재가 2군대, 의장, 외장이 6군대였다. 그룹, 홀딩사 구분별로 그룹사가 10군대, 홀딩사가 26군대 였다. 해당 특성들을 정리해 보면 <표 4>와 같다.
Table 4. Classification(Company Characteristics)
본 연구에서는 DEA 모형의 CCR, BCC 모형을 모두 활용한다. CCR 모형은 기본적으로 규모수익불변을 가정하기 때문에 DMU의 규모 차이가 크다면 참조 모델 적용에 대한 문제점이 발생하게 된다. 해당 문제를 최소화 하기 위해 업체의 특성별로 유사한 직군끼리 분리하여 CCR 모형을 사용하여 효율성을 분석하였다. 또한 규모수익가변을 적용한 효율성 분석 모형인 BCC 모형을 사용하여 순수기술효율성에 대해 확인 하였다. 마지막으로 CCR 모형과 BCC 모형은 적용방법이나 모형의 특성상 장단점이 존재 하므로, 두 모형을 동시에 활용할 수 있는 규모효율성을 측정하여 연구에 활용 하였다.
Fig. 1. Summary of Research Outline
3.1.2 변수설정
제조업(자동차) 도급회사의 상대적 효율성 분석을 위해 DEA 모형을 사용하였으며 투입변수 및 산출변수를 어떻게 선정하느냐에 따라 효율성 측정값은 크게 달라질 수 있다. 본 연구는 2016년 한해 동안 자동차 1차 부품, 설계 도급회사에 대한 인터뷰 및 기술자료 보안실태 수준진단을 했던 결과를 토대로 투입요소 및 산출요소를 설정 하였다. 투입, 산출요소 선정의 타당성을 검증할 수 있는 고유의 통계적 수단은 제시되지 않았다. DEA 모형 활용 시 투입요소, 산출요소 그리고 DMU의 수를 결정하는 방법에 대한 몇가지 선행 연구 사례가 있다. 첫번째로 DMU의 수를 투입, 산출요소 합의 3배 이상으로 선정하는 방법이다[25]. 예를 들어 투입요소 3개, 산출요소가 2개라면 DMU의 수는 15개 이상이어야 한다. 두 번째로 투입, 산출요소의 곱 이상으로 DMU를 선정하는 방법이다[26]. 투입요소 2개, 산출요소가 2개라면 4개 이상의 DMU를 선정해야 한다. 마지막으로 투입, 산출요소 합의 2배 이상으로 DMU를 선정하는 방법이 있다. 즉, 투입요소가 2개, 산출요소가 3개라면 12개 이상의 DMU를 선정해야 한다[27]. 이와같은 방법들은 DEA 모형을 사용하여 효율성 확인 시 과대측정에 대한 오류를 피하기 위함이다. 본 연구는 투입요소 3, 산출요소 3, DMU 36개(업체 특성 분류에 따라 12개씩 3Set)를 선정하여 상기 조건에 만족되는 범위 內 변수를 설정 하였다.
3.1.3 투입요소 선정
3.1.3.1 매출액
투입요소는 일반적으로 대상기관의 규모를 포함하는 것으로 나타났다. 매출액을 통해 도급회사의 규모를 산정할 수 있으므로 투입요소로 선정 하였으며 해당정보는 대상 도급회사의 홈페이지 공시정보와 인터뷰 등을 통해 확인 하였다.
3.1.3.2 IT 투자예산
기술자료 보안에 필요한 시스템 도입, 보안 컨설팅, 전담인력 확보 등 기술자료 보안관리체계 구축을 위한 근본적인 요소이기에 투입요소로 선정 하였으며 해당 정보는 도급회사와의 인터뷰를 통해 확인 하였다.
3.1.3.3 전체 임직원 수
선행연구 분석 결과, 전체 임직원 수는 일반적으로 투입요소에 포함되는 사항이며 도급회사의 전체 임직원수에 따라 산업보안(도면보안 등) 업무를 위한 전담인력 또는 겸직인력 수를 선정할 수 있는 근본요소이기에 투입요소로 선정 하였다.
3.1.4 산출요소 선정
3.1.4.1 보안담당자 수 및 기술자료 보안시스템 수
산업보안 담당자 수는 기술자료 보안을 위해 가장 기초가 되는 요소이며 회사 규모 및 전체 임직원 대비 산업보안 담당자 수를 확인함으로써 산업보안(기술자료 보안 등)에 대한 의지 확인이 가능 하다. 산업보안 전담 인력, 겸직 인력 여부에 따라 가중치를 두어 효율성 측정에 활용 하였다. 기술자료(도면 등) 보안을 위한 인프라 기반 마련을 위해 어느 정도의 투자가 이루어 졌는지 확인이 가능하며 도급업체의 기술자료 관련 보안수준 진단 시 해당 지표들의 만족 여부에 따라 점수에 차등을 두고 있다.
3.1.4.2 기술자료 관련 보안수준진단 점수
회사의 규모 및 IT예산과 전체인력을 활용하여 기술자료(도면 등) 보안기반 마련 및 보호활동을 했던 이력확인 등을 통해 기술자료 보안관리체계 수준 및 환경을 파악할 수 있기 때문에 산출요소로 선정 하였다. 해당 정보는 도급회사 보안관리실태 수준진단을 통해 측정한 결과를 토대로 설정 하였다.
3.2 연구결과
3.2.1 CCR 측정 결과
CCR 모형은 규모수익불변을 가정하고 있으며 모든 업체가 투입과 산출에 있어서 최적의 규모효율성이 이루어지고 있다는 가정하에 기술효율성을 측정할수 있다. CCR 모형을 사용하여 도급회사의 업종별 기술자료 보안관리에 대한 효율성을 측정한 결과 승용업체의 경우 평균은 66.8%, 최소값은 21.3%로 나타났다. 최대값은 100% 나타났으며 총 4개의 DMU가 효율성이 100%인 것으로 나타났다. 상용업체의경우 평균은 65%, 최소값은 24.3%로 나타났으며 승용업체의 경우와 비슷한 정도로 측정 되었다. 최대값은 100%로 나타났으며 3개의 DMU가 이에 속했다. 설비업체의 경우 평균은 48%, 최소값은 14.1%, 최대값은 2개의 업체에서 100%로 나타났다.
Table 5. Results of CCR Measurement
기업의 특성별로 효율성을 분석한 결과 CCR 모형에서는 승용업체의 경우 그룹사가 홀딩사 보다 효율성이 높은 것으로 나타났으며 상용과 설비업체의 경우 홀딩사가 그룹사에 비해 효율성이 높은 것으로 나타났다. 승용, 상용, 설비 업체 모두 중소기업이 중견기업 및 대기업에 비해 효율성이 높은 것으로 나타났다. 이러한 분석결과는 도급회사 기술자료에 대한 보안관리를 효율적으로 하도록 하는데 기초를 제공할 수 있다.
Table 6. Average Efficiency Measurement for the CCR(Characteristics)
3.2.2 CCR 모형을 사용한 업종별 효율성 분석 결과
<표 7>은 CCR 모형을 사용하여 승용업체의 효율성을 분석한 결과이다. 100%로 나타난 업체들은 효율적으로 기술자료에 대한 보안이 되고 있다고 판단할 수 있다. 효율성이 100% 미만으로 나타난 업체들은 상대적으로 비효율적이라고 할 수 있다. 예를 들어 DMU4의 경우 41.8%로 기술자료에 대한 보안관리를 비효율적으로 하고 있음을 확인할 수 있다. 이번 연구에서는 유사한 투입구조와 산출구조를 갖고 있는 효율적인 기업에 대해 벤치마킹의 기회를 제시함으로써 비효율적인 기업에 대해 개선 시 참조할 수 있는 준거집단을 보여주었다. 즉 DMU4의 경우 DMU3 그리고 DMU11을 참조모델로 활용할 수 있다. 하지만 이는 절대적인 효율성의 의미를 갖는 것은 아니다. 참조횟수가 많을수록 상대적으로 효율성이 높을 가능성이 크다는 것을 의미한다. <표7>을 보면 DMU3은 8회 참조, DMU7은 3회 참조 되었음을 확인할 수 있다. 이는 DMU3이 DMU7에 비해 효율적인 준거집단으로 참조된 횟수가 많으며 상대적으로 효율성이 높은 업체일 가능성이 높다는 것을 의미한다. 상용업체의 경우 DMU6이 9회, DMU11이 4회 참조 되었으며 DMU6이 타 업체에 비해 상대적으로 효율적임을 확인할 수 있었다. 설비업체의 경우 비효율적인 업체들로부터 DMU8이 7회, DMU10이 8회 참조 되었음을 확인할 수 있었다.
Table 7. Efficiency Measurement(Car Company), Reference Company
<표8>과 <표9>는 승용업체에 CCR모형을 적용하여 비효율적으로 판별된 기업들에 대한 투입, 산출요소에 대한 값을 나타낸 표이다. 비효율적인 기업들이 효율적인 기업으로 되기 위해 하기 요소들에 대한 개선이 필요하다. 이는 효율적 준거집단에 속해있는 업체들에 대해 참조한 비율 즉 가중치를 적용한 후 이를 합산하여 계산할 수 있다.
Table 8. Input and Output Value(Car)
Table 9. Input and Output Value(Car)
<표10>, <표11>은 비효율적으로 판별된 승용업체에 대해 효율적인 준거집단 內 속해 있는 기업들을 벤치마킹하여 개선할 수 있는 요소들에 대해 나타낸 것이다. DMU4의 경우 산업보안 전담인력의 수를 2명에서 5명으로 늘리고 기술자료 보안관리 시스템 수를 1대에서 4대로 증설하면 지금보다 효율적으로 기술자료에 대한 보안이 가능할 수 있다는 것을 시사하고 있다. 또한 기술자료 보안관리실태 진단 점수는 19점 정도가 나와야 적당함을 알 수 있다. 상용업체의 경우 9개의 비효율적 DMU에 대해 개선지침을 제공하였으며 설비업체 역시 승용업체와 같은 방법으로 10개의 비효율적 DMU들에 대해 효율적 DMU의 참조집단을 제시하여 개선해야 하는 요소들에 대해 확인할 수 있었다.
Table 10. Reference Value to be Improved(Car)
Table 11. Reference Value to be Improved(Car)
3.2.3 BCC 측정 결과
이번 연구에서는 CCR 모형과 더불어 BCC 모형을 사용하여 순수기술효율성을 측정하였다. CCR 모형은 최적의 규모에서 업체가 기술자료에 대한 보안 운영을 하고 있다는 가정으로 효율성을 측정하였다면 BCC 모형은 규모수익에 대한 변동을 고려하여 효율성을 측정하는 방식이다. 투입요소에 따라서 산출요소가 일정하게 비례하여 증가하기 보다는 변화가 있다는 것이 현실성이 있으므로 BCC 모형을 사용하여 순수기술효율성에 대해 측정이 가능하다. <표12>를 보면 BCC 모형으로 측정한 결과값이 CCR 모형으로 측정한 결과값에 비해 효율적인 DMU가 더 많음을 확인할 수 있다. 이는 규모에 대한 부분이 반영되었기 때문이다.
Table 12. Results of BCC Measurement
BCC 모형을 사용하여 도급회사의 업종별 효율성을 측정한 결과 승용업체의 경우 평균은 79.3%, 최소값은 23.1%로 나타났으며 6개의 업체가 100%로 나타났다. 상용업체의 경우 평균은 86.9%, 최소값은 42.9%로 나타났으며 7개의 업체가 100%로 나타났다. 설비업체의 경우 평균은 78.6%, 33.23%가 최소값으로, 그리고 100%인 업체는 6개로 나타났다.
Table 13. Average Efficiency Measurement for the BCC(Characteristics)
BCC 모형을 사용하여 기업의 특성별로 효율성을 분석한 결과 승용업체의 경우 CCR모형과 동일하게 그룹사가 홀딩사 보다 효율성이 높은 것으로 나타났으며 상용업체의 경우 홀딩사가 그룹사에 비에 효율성이 높은 것으로 나타났다. 반면 설비업체의 경우 CCR 모형과 다르게 그룹사가 홀딩사에 비해 효율성이 높은 것으로 나타났다. 규모 특성별로 분석한 결과 승용업체의 경우 중소기업, 대기업, 중견기업 순으로 효율성이 높은 것으로 나타났으며 그 차이는 크지 않았다. 상용업체의 경우 중견기업이 중소기업 보다 효율성이 높은 것으로 나타났으며 설비업체의 경우도 상용업체와 동일하게 중견기업이 중소기업보다 효율성이 높은 것으로 나타났다. CCR 모형과 다르게 나타난 이러한 분석결과는 규모가 반영된 결과라고 판단되어 진다. 이러한 분석결과는 순수기술효율성 측면에서 도급회사가 기술자료 보안운영을 효율적으로 할 수 있도록 하는데 기초를 제공할 수 있다.
3.2.4 BCC 모형을 사용한 업종별 효율성 분석 결과
BCC 모형을 사용하여 승용업체에 대한 효율성을 분석한 결과를 보면 효율적인 기업으로 새롭게 판명되어 참조된 기업들도 확인할 수 있다. 총 5개의 DMU가 비효율적 DMU로 부터 참조 되어지고 있다. 이는 규모 및 기술에 대한 효율을 적절하게 결합하여 효율적인 기술자료에 대한 보안운영을 하고 있음을 나타낸 결과이다.
Table 14. Efficiency Measurement(Car Company), Reference Company
상용업체의 경우 DMU3이 3회, DMU6이 4회, DMU8이 1회, DMU10이 4회 참조 되었으며 DMU6, 10이 타 업체에 비해 상대적으로 효율적임을 확인할 수 있었다. 설비업체의 경우 비효율적인 업체들로부터 DMU2가 2회, DMU8이 2회, DMU9가 3회, DMU10이 6회 참조 되었음을 확인할 수 있었다. <표17>과 <표18>은 비효율적으로 판별된 업체들이 효율적인 기업으로 개선하기 위한 개선 지침을 나타낸 것이다. BCC 모형을 사용하여 효율성 분석을 해본 결과 비효율적으로 판별된 승용업체에 대해 효율적인 준거집단 內 속해 있는 기업들을 벤치마킹하여 개선할 수 있는 요소들에 대해 나타낸 것이다. DMU10의 경우 산업보안 전담인력의 수를 1명에서 2명으로 늘리고 기술자료 보안관리 시스템 수를 1대에서 3대로 증설한다면 지금보다 효율적으로 기술자료 보안관리 운영을 할 수 있는 가능성이 높다는 것을 시사한다. 상용업체 역시 승용업체와 마찬가지로 BCC모형을 적용하여 5개의 비효율적 DMU에 대해 개선지침을 제공하였으며 설비업체의 경우 6개의 비효율적 DMU들에 대해 효율적 DMU의 참조집단 및 개선해야 하는 요소들에 대한 개선 지침을 제시 하였다.
Table 15. Input and Output Value(Car)
Table 16. Input and Output Value(Car)
Table 17. Reference Value to be Improved(Car)
Table 18. Reference Value to be Improved(Car)
3.2.5 규모 효율성 측정 결과
규모효율성은 DMU의 상태에 대해 비효율성의 원인이 운영 또는 규모에 영향을 받은 것인지 두가지 원인이 복합적으로 작용하여 발생한 것인지에 대해 확인할 수 있다. 규모 효율성은 CCR에 대한 효율성 측정값을 BCC에 대한 효율성 측정값으로 나누어 확인할 수 있다. 규모효율성을 측정한 결과 승용업체의 경우 평균은 84.5%, 최소값은 30.4%로 나타났으며 4개의 업체가 100%의 효율성을 보였다. 상용업체의 경우 평균은 73.2%, 최소값은 33%로 나타났으며 3개의 업체가 효율적 업체로 나타났다. 마지막으로 설비업체의 경우 평균은 62.4%, 최소값은 15.1%로 나타났으며 100%로 나타난 업체는 3곳 이였다.
Table 19. Results of Scale Efficiency
Table 20. Average Efficiency Measurement for the Scale Efficiency(Characteristics)
상기 그래프는 규모효율성 측정 결과 효율적 업체와 비효율적 업체로 판별된 업체들간의 효율성의 차이를 나타낸 것이다. 기업의 특성별로 효율성을 분석한 결과 규모효율성 모형에서는 승용업체의 경우 그룹사와 홀딩사의 효율성이 비슷한 것으로 나타났으며 상용과 설비업체의 경우 홀딩사가 그룹사에 비해 효율성이 높은 것으로 나타났다. 승용, 상용, 설비 업체 모두중소기업이 중견기업 및 대기업에 비해 효율성이 높은 것으로 나타났다. 이는 중소기업들이 중견기업들에 비해, 홀딩사가 그룹사들에 비해 투입량과 산출량을 보다 효율적으로 관리하였다는 것을 알 수 있다.
Fig. 2. Frontier Analysis(Car)
Fig. 3. Frontier Analysis(Commercial vehicle)
Fig. 4. Frontier Analysis(Equipment)
3.2.6 효율성 측정에 대한 분석 결과
DEA 모형의 CCR 모형과 BCC 모형을 이용하여 기술효율성과 순수기술효율성을 측정하였고 규모효율성을 구하여 운영 및 규모에 영향을 모두 고려하여 효율성을 측정 하였다. 비효율적인 기업으로 판명된 기업들이 효율적 기업으로 되기 위해서는 투입요소를 줄이거나 산출요소를 증가 시켜야 한다. 하지만 1차 부품, 설비 도급회사의 경우 투입요소(매출액, 전체임직원수 등)을 조정하기에는 무리가 있으므로 산출요소에 대한 극대화 방안을 마련하여 효율성을 개선하는 방안을 마련해야 한다. 즉 산출요소(보안전담인원, 도면보안관련 시스템 수 등)를 조정해야 한다. 보안 전담인원을 늘리고 기술자료(도면 등)를 보호할 수 있는 시스템을 증가시켜야 하며 기술자료 관련 보안활동에 필요한 인프라 마련 및 다양한 활동들을 통해 기술자료 보안수준을 높이려는 노력이 필요하다.
3.3 기술자료 보안점검 평가방법에 대한 개선모델
3.3.1 개요
원청업체의 도급회사에 대한 기술자료 보안점검은 기업의 특성에 따라 다를 수는 있으나 어떠한 형태로든 대부분의 기업에서 이행되고 있으며, 결과에 따라 우수 도급회사 및 보안수준이 열악한 업체가 선별되고 있다. 하지만 해당 점검의 결과가 신뢰할 수 있는 결과인가에 대원청업체의 도급회사에 대한 기술자료 보안점검은 한 실효성은 입증되지 않았다. 따라서 본 연구에서 제시하는 방법은 기술자료 관리에 대한 보안관점에서의 효율성 측정 결과를 기술자료(도면 등) 관리실태 평가 결과에 활용하는 방법 이다. 현재 자동차 업계 A사와 B사에서 활용하고 있는 기술자료 보안관리 평가 25개 항목 중 9개의 항목에 대한 진단 지표에 가중치를 반영하여 전체 결과를 재산정 하였다. 기술자료 보안수준 평가방법 개선모델은 다음과 같다.
\(\sum ^9 _{n=1} [a_n ^* w_i] + \sum ^{25}_{i=10} [b_i]\) (5)
an은 점검 지표 중 기술자료 보안관리와 직접적으로 관련된 항목에 대한 진단점수를 의미하며 wi는 규모효율성에 대한 측정값이다. bi는 점검 지표 중 기술자료 보안관리와 직접적인 관련성이 떨어지는 항목에 대한 진단점수를 의미한다.
3.3.2 개선모델 활용 결과
본 논문에서 제안한 방법대로 기술자료 보안관리실태 진단 결과, 보안점검 측정 항목에 기술자료 관리에 대한 보안관점에서의 규모효율성 측정 결과를 반영한 점수 변화는 다음과 같다.
Table 21. Improved Model(Car)
Table 22. Improved Model(Commercial vehicle)
Table 23. Improved Model(Equipment)
효율성이 100%인 도급회사는 기존점수와 동일한 것을 확인할 수 있으며 효율성이 100% 미만인 업체 중 점검 지표 내 기술자료 관리에 대한 점수가 반영되어져 있었던 업체들의 결과는 변경된 것을 확인할 수 있다. 비효율적인 업체로 판명된 도급회사 중 15개사가 점수 변동이 되었으며 변동된 점수에 따라 기존의 진단 결과에 대한 순위도 변경 되었다.
IV. 결론
4.1 연구결과 종합
본 연구는 DEA 모형을 사용하여 도급업체의 기술자료에 대한 효율적 보안운영 방안을 평가하고 효율성 측정 결과를 토대로 기술자료 점검의 효율성을 개선하기 위한 보안관리체계 모델을 제안하였다. 이를 입증하기 위하여 자동차 분야에 해당 모델을 실제로 적용하여 그 유효성을 확인 하였다. 연구대상으로 선정된 36개의 1차 부품, 설비 도급회사의 기술자료에 대한 보안관리 및 평가에 대한 효율성에 대해 분석한 결과는 다음과 같다.
첫째, 36개 DMU의 효율성을 측정한 결과, 전반적으로 낮은 효율성을 보이고 있었으며 이는, 효율적 DMU 대비 투입･산출요소의 비효율적 활용에 대해 비교, 분석을 통해 확인 하였다. 업체 특성별 분석 결과 대기업 및 중견기업 보다 중소기업의 효율성이 전반적으로 높게 나타났으며 그룹 및 홀딩사의 경우 비슷한 효율성을 보임을 확인할 수 있었다. 이는 규모가 큰 대기업, 중견기업이라고 해서 보안관리체계에 대한 운영을 효율적으로 하는 것은 아니라는 것을 시사한다. 즉 투입량과 산출량을 보다 효율적으로 관리할 필요가 있다는 것을 알 수 있다.
둘째 CCR 모형, BCC 모형, 규모효율성을 적용하여 측정한 결과 전반적으로 비효율적 업체들이 많았다. 본 연구에서는 비효율적으로 판명된 기업들에게 참조 가능한 효율적 준거집단을 제시하여 효율적 기업으로 되기 위해 개선해야 할 방안들에 대해 개선 지침을 제공 하였다. 제시된 효율적 참조 기업은 유사한 기관간의 상대적 효율성 비교에 의한 결과이므로 실효성의 측면에서도 유용하다고 할 수 있다.
셋째 원청업체 도급회사의 기술자료(도면 등) 보안수준 진단에 대한 효율성 분석 및 결과에 대한 가중치 산정, 평가결과 도출 시 활용할 수 있다. 단지 보안시스템 수가 많고 산업보안 인력이 많다고 하여 점수가 높게 측정되는 등의 보안평가 진단 지표에만 의존하여 평가 결과를 도출하는 문제에 대한 신뢰성 판단을 제고하는데 도움이 될 수 있다.
4.2 연구의 한계 및 향후 연구 방향
본 연구는 도급업체를 통한 산업정보 유출이 크다는 점, 그럼에도 산업정보(기술자료 등) 관리에 대한 효율성 분석이 수행된 사례가 없다는 점 등에서 의미를 가지며, 도급회사 보안수준진단을 통해 분석된 정보를 활용하여 기술자료 보안관리 운영에 대한 효율성을 분석하고 보안관리 체계 평가에 대한 효용성을 측정하는데 활용될 수 있다. 이러한 연구 성과에도 불구하고 다음과 같은 연구의 한계점을 생각해볼 수 있다.
첫째 모든 투입, 산출요소를 설정하여 상대적 효율성을 측정하는 것이 불가하기 때문에 어떠한 변수를 설정하느냐에 따라 DMU의 효율성 측정값이 달라질 수 있다. 절대적인 효율성을 측정하기가 어렵기 때문에 다양한 평가 모형을 사용하여 측정한 결과를 비교, 분석 후 결론을 도출할 필요가 있다.
둘째 설정한 변수에 대한 절대적 신뢰성을 확인하기에 무리가 있다. 예를들어 본 연구에서 산업보안 인력을 산출요소로 두었으나 해당 인력들의 업무롤, 그리고 지식수준, 경험 등에 따라 그 효용성은 차이가 생길 수 있다는 점이다.
셋째 업체의 특성에 따라 그리고 기술자료의 자산중요도에 따라 해당 자산을 보안하는 중요성에 대한 가중치가 다를 수 있다. 그러나 본 연구에서는 그러한 세부적 사항들을 반영하지 못했다.
향후 본 연구를 토대로 도급회사 보안관리의 효율성을 측정하기 위한 다양한 투입･산출요소를 개발하여 보다 포괄적인 보안업무의 효율성을 측정할 필요가 있으며, 나아가 상대적 효율성 측정에 영향을 미칠 수 있는 세부적 사항들을 고려하여 효율성과 평가결과의 일관성을 도모 하는데 폭 넓게 반영될 수 있는 모델의 연구가 필요하다. 다양한 효율성 측정 모형들을 활용하여 연구결과의 유의미성을 검증할 수 있는 방안을 정립할 필요가 있다.
References
- "http://news1.kr/articles/?2775963," Sep. 2016.
- "http://isms.kisa.or.kr/kor/issue/is-sue01.jsp?certType=ISMS," Korea Internet & Security Agency, Dec. 2015.
- Hee-kyung Kong and Tae-sung Kim, "Research trends in economic effects of information security certification: focused on the ISMS," Journal of Korea Institute of information Security & Cryptology, 26(3), pp. 821-835, June 2016. https://doi.org/10.13089/JKIISC.2016.26.3.821
- Ik-jin Jeon and Hak-yeon Lee, "Measuring R&BD efficiency of public R&D projects," KIIE-A'14, pp. 2310-2324, Nov. 2014.
- Jin-gu Jung and Ki-suk Kim, "Measuring relative efficiency of Korean refractory companies using DEA," Journal of Korean Academic Association of Business Administration, 24(4), pp. 2015-2034, Aug. 2011.
- Su-lim Shin and Jin-chul Jung, "Data envelopment analysis on the efficiency of the higher education institutes in Korea," Journal of Agricultural Education and Human Resource Development, 44(2), pp. 97-128, June 2012.
- Suk-kang Park, "The research about the financial Structure of the newly rising emerging markets by the DEA analysis and management efficiency," Journal of Korean Industrial Economic Association, 24(2), pp. 1123-1146, Apr. 2011.
- Geon-wi Kim, "A study on the problem of applying DEA," KAPA-S'05, pp. 83-111, June 2005.
- Jung-ho Lee and Choon-ho Ryu, "A study on an augmented DEA for supplier evaluation," KIIE-S'08, pp. 876-882, May 2008.
- Jung-hyun Park and Won-jung Kim, "A study on the management efficiency analysis of manufacturing industry," Journal of the Society of Korea Industrial and Systems Engineering, 25(5), pp. 22-34, Oct. 2002.
- Chang-bum Kim, "Efficiency and productivity of manufacturing industry in Gwangju city - Jeonnam province," Journal of Regional Development Institute, 46(1), pp. 1-14, June 2014.
- Jeong-hun Sin and Seung-june Hwang, "Efficiency analysis and finance strategy for an automotive parts maker using DEA and logistic regression model," Journal of Management science and financial engineering, 41(1), pp. 127-143, Feb. 2016.
- Yong-yoon Suh and Moon-soo Kim, "A comparative study on efficiency of technologically innovative activities between manufacturing and service industries using DEA," Journal of IE interfaces, 24(4), pp. 330-340, Dec. 2011. https://doi.org/10.7232/IEIF.2011.24.4.330
- Hyung-kook Cho, Cheol-gyu Lee and Wang-jin Yu, "A study on the efficiency analysis for the automotive parts manufacturer using DEA," Journal of the Korea Academia- Industrial cooperation Society, 15(2), pp. 609-615, May 2014. https://doi.org/10.5762/KAIS.2014.15.2.609
- Nam-su Woo, Sang-heum Yoon and Jong-heon Park, "A study on the efficiency analysis for the automobile parts manufactures," Journal of Decision Science, 18(1), pp. 1-20, Nov. 2010.
- Sang-gyu Woo and Woo-yeol Jeong, "Efficiency assessment university operating system using DEA: focusing on the effectiveness diagnosis of University evaluation policy," Journal of Korean Public Administration Quarterly, 27(4), pp. 1265-1285, Dec. 2015.
- Sung-min Park, Heon Kim and Dong-hyun Baek, "Evaluation of R&D projects in electric power industry with efficiency and effectiveness," Journal of IE Interfaces, 22(3), pp. 192-204, Sep. 2009.
- Mi-nyeon Yu, Hyun-woo Tak and Soon-ae Park, "Contracting out: efficiency or service quality?: focusing on municipal solid waste collection service in seoul," Journal of Korean Policy Sciences Review, 12(3), pp. 219-244, Sep. 2008.
- Hong-won Jeong, "A study on improving efficiency and effectiveness of welfare system," Economic and Social Research Institute, 14-02-01, pp. 1-133, Feb. 2014.
- Ho-jung Park, Tae-gi Kim and Ju-mong Na, "Differences in technological efficiency of regional manufacture and its convergence," Journal of Korea Planners' Association, 42(7), pp. 169-182, Dec. 2007.
- Jung-min Kim and Young-seo Jeon, "A study on the measurement of national competitiveness based on technological efficiency," Journal of Korea Academic Society of Industrial Organization, 9(2), pp. 105-127, Dec. 2000.
- Myung-su Jung and Kyung-ho Lee, "A Study on personal information protection management assessment method by DEA," Journal of Korea Institute of information Security & Cryptology, 25(3), pp.691-701, June 2015. https://doi.org/10.13089/JKIISC.2015.25.3.691
- Gui-ryong Ha and Suk-bong Choi, "A study on the efficiency of Korean steel industry using a DEA model: focused on technological innovation aspects," Enture Journal of Information Technology, 11(2), pp.7-20, Aug. 2012.
- Hyun-jun Kim and Kyung-ho Lee, "An analysis of relative efficiency about information security industry using DEA model," Master. Thesis, Korea University, Dec. 2012.
- R. D. Banker, A. Charnes, and W. W. Cooper, "Some models for estimation technical and scale inefficiencies in data envelopment analysis," Management Science, vol. 30, no. 9, pp. 1078-1092, Sep. 1984. https://doi.org/10.1287/mnsc.30.9.1078
- A. Boussofiane, R. G. Dyson, and E. Thanassoulis, "Applied data envelopment analysis," European Journal of Operation Research, vol. 52, no. 1, pp. 1-15, May 1991. https://doi.org/10.1016/0377-2217(91)90331-O
- B. Golany, and Y. Roll, "An application procedure for DEA," OMEGA International Journal of Management Science, vol. 17, no 3, pp. 237-250, Dec. 1989. https://doi.org/10.1016/0305-0483(89)90029-7