DOI QR코드

DOI QR Code

Evaluating the Efficiency of Information Security Organizations in Public Sector Using DEA Models

공공부문 정보보호 담당 조직의 운영 효율성 평가 -자료포락분석 기법을 중심으로

  • Received : 2010.09.25
  • Accepted : 2010.12.14
  • Published : 2010.12.31

Abstract

Evaluating performance in public sector aims to enhance the efficiency of organizations. Evaluating the efficiency which is the ratio between input and output, organizations set directions of improvement. This research applied Data Envelopment Analysis(DEA) useful to evaluating the efficiency of organizations in public sector. Decision Making Units(DMU) of this research are 21 Information Security Organizations of departments/agencies. As the results, the mean of efficiency score of 21 DMUs is a little more than 50%. Means of departments(8 DMUs) and agencies/committees(11 DMUs) are similar to the total efficiency score. For these results, the decision makers of the information security organizations in public sector have to strive to improve the inefficiency.

공공부문 성과평가는 조직의 효율성 증진을 중요한 목적으로 삼고 있다. '투입 대비 산출'로 정의되는 효율성을 평가함으로써 향후 조직의 개선방향을 설정할 수 있다. 공공부문 효율성 평가에 유용한 자료포락분석(DEA) 기법을 적용하여 중앙부처 정보보호 담당 조직 21개 의사결정단위(DMU)에 대한 효율성 평가를 수행하였다. 본 연구 결과에 의하면, 평가대상 21 개 DMU의 효율성점수 평균이 50%를 약간 상회하고 있어 효율성이 매우 낮은 것으로 나타났으며, 21개 DMU를 '부'와 '청 및 위원회'로 구분 비교하였을 경우에도 비슷하게 나타나고 있어 비효율의 개선이 요구된다.

Keywords

I. 서론

정부는 2006년 4월 '정부업무평가기본법'을 시행하면서, 정부업무평가에 관한 기본적인 사항을 정하고 중앙행정기관.지방자치단체.공공기관 등의 통합적인 성과관리체계의 구축과 자율적인 평가역량의 강화를 통하여 국정운영의 능률성 . 효과성 및 책임성의 향상을 도모하고 있다〔1〕. 이는 국가의 예산을 효율적으로 사용함으로써 단기적으로는 한정된 예산을 효율적으로 활용하고 장기적으로는 조직업무 성과를 극대화하는 방향으로 나아가고자 하는 것이다.

정부업무평가기본법 상의 능률성과 효과성 개념은 일반적으로 성과를 도출하기 위한 투입과 산출의 비율로 생각할 수 있다. 다시 말해 예산이나 인력 등 투입요소의 최적결합을 통해 조직이 목적하는 바의 산출을 극대화한다는 의미이다.

공공부문의 정보보호 조직도 마찬가지로 정부업무평가 기본법의 성과관리 대상의 범주에 당연 포함되며, 현재 상태의 정보보호 예산과 정보보호 인력 등을 통해 조직 전체의 정보보호 수준을 향상하는 데 효율성을 기해야 하는 것이다.

그러나 국가정보보호백서〔2〕〔3〕〔4〕〔5〕등의 자료를 보면, 정보보호 예산의 부족’ 전문 인력의 부족 및 전문성 결여, 정보보호에 대한 인식부족 등이 정보보호 업무 수행의 애로사항으로 지적되고 있다. 이는 언급한 원인들로 인해 정보보호 담당 조직이 업무를 효율적으로 수행하기 어려우며 , 목적하는 바를 달성하는데 난관으로 작용한다는 것으로 해석할 수 있다.

그럼에도 불구하고, 공공부문의 정보보호 조직은 한 해 동안 주어진 예산과 인력으로 최대의 성과를 도출해야 하며. 장기적으로 조직 전체의 운영효율을 향상시키기 위해 투입요소와 산출요소의 최적결합을 추구하여야 한다.

이를 위해서는 운영에 대한 정확한 평가가 요구되는데, 현재 공공부문의 정보보호 영역은 정량적인 측면에 초점을 둔 성과평가의 측면보다는 정성적인 측면에 초점을 둔 수준 평가, 관리실태 평가 등이 주로 시행되고 있는 실정이다. 이러한 이유는 먼저 , 공공부문의 업무특성상 공공성 , 투명성 , 민주성 등과 같은 행정의 목적을 계량화하여 평가하기 어렵고, 둘째. 정보보호의 업무특성상 단 한 번의 정보보호 실패라도 그에 따른 파급효과가 매우 클 수 있기 때문에 효율성 논의가 매우 어렵기 때문이다. 그러나 이러한 이유들에도 불구하고 정보보호 조직에 대한 효율성 평가는 정보보호 조직의 성과를 향상시키고 경쟁력을 제고할 수 있다는 측면에서 중요하다.

이에 따라 본 연구는 정보보호 조직의 운영 효율을 평가하기 위해 효율성에 대한 개념을 검토하고. 공공부문의 효율성을 평가하는 데 유용한 도구로 활용되고 있는 자료포락분석 기법을 살펴보며, 이를 실제 적용해 봄으로써 현재의 공공부문 정보보호 조직의 운영효율을 평가해보는 데 일차적인 목적을 가진다. 이를 통해 우리의 공공부문 정보보호 조직의 운영 효율성을 분석하여 정책적 시사점 및 효율성 개선방안을 제시하고자 한다. 또한 정보보호 영역에 효율성 평가에 대한 관심을 유발시키는 데에도 의의를 둔다.

Ⅱ. 이론적 배경

2.1 효율성 개념

효율성은 일반적으로 조직의 운영과정에서 투입물에 대한 산출물의 비율을 의미하며 다수투입 . 다수산출 조직으로서 효율성은 대개 투입요소간의 적절한 결합과 사용에 대해 결정된다. 다시 말해 투입물간의 결합이나 투입물의 효과적인 사용에 관한 문제는 생산과정에서 일정한 산출물을 생산하기 위해 필요한 투입물의 수준과 투입물간의 관계에서 발생한다〔6〕.

김재홍 . 김태일〔7〕은 경영학, 경제힉1 행정학 분야에서 사용되는 효율성 개념을 비교하면서 정부의 개입으로 인하여 사회의 부존자원이 사회전체의 효용 극대화의 의미로서 '목적효율성'과 최소의 비용으로 최대의 효과를 얻어야 한다는 의미의 '수단효율성으로 구분하여 정의하였다.

최일문〔8〕은 사회경제학적 측면에서 파레토 최적성에 의해 대표되며, 이는 '누구의 효용도 저하시키지않고 누군가의 효용을 상승시키는 것은 불가능하다'고하였다.

학자 및 학문분야마다 효율성 개념에 대한 정의에 차이가 있으나, 이를 종합하여 보면 공공부문(정부)의 운영성과를 도출하는 과정에서 발생하는 투입물과 산출물간의 비율관계로 정의하고 있다.

따라서 본 연구에서도 효율성을 일반적으로 사용되는 개념을 도입하고 계량적으로 측정하기 위하여 , '투입 대비 산출' 개념으로 이해하고자 한다.

2.2 효율성의 측정

효율성 측정 방법은 모수적 접근법과 비모수적 접근법으로 구분될 수 있다〔9〕. 모수적 접근법은 생산함수나 비용함수를 특정한 함수형태를 가정하고 모형을 설정해야 하는 제약성을 가지고 있으며 , 계량경제학의 방법을 이용하여 추정한다. 이에 반해 비모수적 접근법은 특정한 함수형태를 가정하지 않고 선형계획법을 이용하여 효율성을 측정하게 되는데, 이러한 점에서 모수적 접근법에 비해 긍정적인 평가를 받고 있다.

모수적 접근법에는 비율분석법, 생산성지수 접근법, 함수적 접근법이 있다. 먼저 비율분석법은 기업의 재무 및 경영실적을 평가하는 데 가장 많이 활용되고 있는 접근법으로 투자수익률, 자산수익률. 자기자본이익률 등이 대표적이다. 생산성지수법은 생산성을 투입량에 대한 산출량의 비율로 보고 효율성과 같은 맥락에서 생산성을 측정하기 위한 방법으로 총생산지수법 . 부분생산성지수법, 총요소생산성지수법 등이 대표적이다. 마지막으로 함수적 접근법은 미시경제학적 입장에서 산업의 규모와 경제성을 검증하기 위한 연구가 주류를 이루고 있으며 , 생산함수접근법과 비용함수 접근법으로 구분할 수 있다.

그러나 효율성 측정의 모수적 접근방법을 공공부문에 도입하는 데 있어서 가지는 한계는 이 부문의 경우 정확한 비용함수의 도줄이 어렵고, 투입물과 산출물과의 상관관계를 객관적으로 규명하기가 어렵다는 점을들 수 있다〔9〕. 또한 공공부문의 조직성과를 측정하기 위한 기준 및 지표의 설정이 주관적일 수 있으며, 산정기준이나 평가자에 따라 평가결과가 다르게 나타날 수도 있다는 단점이 있다.

이러한 모수적 접근방법을 통한 효율성 측정이 가지는 한계들을 극복하고자 사용되는 것이 비모수적 접근 방법이며, 특히 공공부문에 대해서는 자료포락분석 (Data Envelopment Analysis, 이하 DEA) 기법이 널리 사용되고 있다.

따라서 본 연구에서는 정보보호 조직의 효율성을 평가하기 위한 도구로서 DEA를 사용하며, 이하에서 DEA에 대해 살펴보기로 한다.

2.3 자료포락분석(DEA) 기법

2.3.1 DEA의 기본 개념

DEA 모형에서 사용되는 효율성 개념은 Far- rell〔10〕의 효율성 프런티어에 입각하고 있다〔11〕. Farrell은 조직의 효율성은 일정한 투입으로부터 최대의 산출을 얻고자하는 기술적 효율성 (technical efficiency)과 투입요소가격과 생산기술이 주어진 경우에 최적비율로 투입요소를 활용하고자 하는 배분적 효율성 (allocative efficiency)으로 구분된다고 하였다.

(그림 1〕은 투 가지 투입물 XI, X2를 투입하여 하나의 산출물 X(q)를 생산하는 규모수익불변의 조건에 있는 조직의 투입물 효율성에 대한 그림이다.〔그림 1〕에서 곡선 SS'은 산출물 X(q)를 효율적으로 생산하는 조직으로 생산요소의 여러 가지 조합에 대한 등량곡선을 타나내며 , WW'은 주어진 투입요소 가격 하에서의 등비용곡선을 나타낸다.

(그림 1) Farrell 효율성 개념

그림에서 의사결정단위(Decision Making Unit. 이하 DMU) C는 B에 비하여 BC만큼의 투입요소 사용 비율이 많다. 즉 동일한 산출을 하는 데 있어서 의사결정조직 C의 비효율성은 BC/OC가 된다. 한편. 생산비의 측면에서 DMU B는 최적 효율성을 가지는 D에 비하여 생산비 AB/OB의 배분적 비효율을 가지게 된다.

따라서 의사결정조직 C의 전체 효율성은 기술 효율성과 배분 효율성을 합친 것으로 이루어지므로〔12〕 (OB/OC)x(OA/OB)=OA/OC가 된다.

〔그림 1〕의 각 DMU들은 결국 효율성을 확보하기 위하여 최적 효율성을 가지는 DMU。를 참조하여 투입물의 변화를 가져와야 한다. 이러한 논리는 산출물의 경우에도 마찬가지라고 할 수 있다.

2.3.2 DEA의 효율성 측정 방법

비모수적 효율성 측정방법인 DEA는 사전에 구체적인 함수형태를 가정하지 않고, 선형계획법에 근거하여 평가대상의 경험적인 투입요소와 산출물 간의 자료를 이용하여 경험적 효율성 프런티어 라인을 도출한다. 이를 기준으로 각각의 DMU가 효율성 프런티어 라인 위에 있으면 효율적 DMU로 판단한다. 효율성 프런티어 라인 위에 존재하지 않는 DMU에 대해서는 효율성 프런티어 라인과 얼마나 떨어져 있느냐를 기준으로 상대적 효율성을 판단한디'

이러한 DEA 기법은 CCR 모형과 BCC 모형-으로나뉜다.

2.3.2.1 CCR 모형2)

CCR 모형은 Charnes, Cooper, and Rhodes〔13〕가 제시한 모형으로 규모에 대한 수익 불변을 가정하고, 평가대상이 되는 DMU 등의 투입물의 가중합계에 대한 산출물의 가중합계의 비율이 1을 초과해서는 안 되며. 각 투입요소와 산출요소의 가중치들은 0보다 크다는 제약조건하에서 DMU의 투입물 가중합계에 대한 산출물 가중합계의 비율을 최대화시키고자 하는 선형분수계획법이다〔12〕.

#식(1)

식 (1) 에서 Ek는 DMU k의 효율성, ur은 r번째 산출물에 대한 가중치, 而는 [번째 투입물에 대한 가중치, 四/는 DMU j의 r번째 산출물의 양, xij는 DMU j의 i번째 투입물의 양, yrk는 평가대상 DMU k의 r번째 산출물의 양, xik는 평가대상 DMU k의 i 번째 투입물의 양, "은 DMU의 수, m은 투입물의 수, s는 산출물의 수를 가리킨다.

식 (1)에서 첫 번째 제약식은 목적함수에서 동일한가 중치 ur과 vi를 이용하여 계산한 가중합계의 비율이 1보다 작거나 같다는 것을 나타내며 , 나머지 두 제약 조건식은 투입물과 산출물의 가중치는 0보다 커야 한다는 것이며, 목적함수가 비선형, 제약조건이 비 볼록 3)이므로 목적함수의 투입물의 가중합을 1로 고정하고 제약조건식을 변형한 후 개별 DMU에 대해 선형계획법 문제를 풀면 된다.

2.3.2.2 BCC 모형

CCR 모형이 규모에 대한 수익불변을 가정하기 때문에 규모의 효율성과 순수 기술적 효율성4)을 구분하지 못한다는 단점을 가지고 있다〔12〕. 이러한 단점을완화시키기 위하여 Banker, Charnes, and Cooper〔14〕는 규모수익가변이라는 가정을 적용하고 볼록 성 필요조건을 추가하였다. 주어진 투입물 수준을 유지하면서 생산되는 산출물을 극대화하려는 산출 극대화 형태의 투입지향 BCC 모형은 다음과 같은 분수계획법 형태로 주어진다.

#식(2)

각각의 DMU가 수익변화를 가정한다면, BCC 모형에 의한 분석을 통해 CCR 모형에서 나타난 비효율성이 기술적인 원인에 의한 것인지, 규모의 원인에 의한 것인지를 증명해 줄 수 있다.

2.3.3 DEA의 유용성

DEA 모형은 다음과 같은 몇 가지 중요한 속성을 지닌다〔15〕〔16〕. 첫째, 복수의 투입과 복수의 산출이 포함되며, 개별 산출 또는 개별 투입에 대하여 각각의 가중치를 적용할 필요가 없다. 따라서 DEA는 단순 비율분석에서 나타나는 모호성을 회피하면서 분석에 다수의 산출을 포함시킨다. 둘째, DMU들의 실제값이 효율적 프런티어 라인을 형성하기 때문에 비효율적 DMU는 단위비용당 더 낮은 산출을 생산하는 것으로 해석할 수 있다. 셋째, 의사결정자에 의해 투입되는 요소의 양을 통제할 수 있는 경우 효율성의 개선을 위한 관리전략의 개발이 가능하다.

DEA가 본 연구에서 중요한 효용을 가지는 것은 개별조직의 비효율의 정도를 측정함으로써 DMU 간의 비교를 통해 비효율적 조직이 효율성을 확보하기 위한 목표치를 산출하고 조직을 운영할 수 있다는 점이다. 무엇보다 공공부문의 업무가 가지는 무형의 목표는 가격으로 환원하기 어렵기 때문에 계량적 분석이 어려운 점이 존재하나, DEA의 경우 투입요소와 산출요소의 가격을 요구하지 않기 때문에 공공부문의 효율성을 평가하는 데 널리 인정 . 사용된다는 점이다.

2.3.4 DEA의 전제조건과 한계

DEA가 가지는 유용성에도 불구하고 DEA는 DMU의 수가 투입 및 산출요소의 합보다 많아야 한다는 전제가 성립되어야 한다. 학자들에 따라 DMU 의 수는 투입요소의 수와 산출요소의 수의 곱보다 2배 이상 커야 변별력이 있다든지〔17〕. 투입요소 수와 산출요소 수의 합보다 3배 이상 커야 변별력이 있다든지 (14] 등의 연구가 있으나, 이들은 분석에 이용된 자료의 성격, 상황적 특성이 서로 다르기 때문에 절대적 기준으로 사용될 수 없다. DEA 모형을 실제로 적용한 대부분의 연구들은 투입요소 수와 산출요소 수의 합보다 2배 이상 큰 DMU 수에서 수행되고 있다 (12). 이러한 논旧의 연장선상에서 DMU의 수가 많을수록 프런티어가 불안정할 가능성이 줄어든다는 것이다〔18〕.

한편, DEA의 한계는 다음과 같다〔18〕〔19〕〔20〕. 첫째, DEA는 투입요소의 질적 또는 가격적 측면이 고려되지 않기 때문에 동일 산출물에 대해서 서비스 품질이 어떠한지를 알 수가 없다. 둘째. DEA를 통한 효율성 평가는 상대적이기 때문에 효율성 점수를 완벽하게 서열화 하기가 곤란하다. 셋째 . DEA는 투입과 산출요소 간의 동질성이 중요한데 자료의 내용이 서로 다른 기관에 대한 효율성 평가를 동시에 비교할 수 없다. 넷째, DEA는 DMU가 내재적으로 안고 있는 비효율성을 밝혀내지 못한다. 다섯째, DEA는 투입요소와 산출요소에 대한 구체적인 연구를 수행하지 않고, CCR 모형이나, BCC 모형 등의 다양한 모형을 단순적용하는 것이기 때문에 투입요소 및 산출요소:의 정의와 관련된 오류를 범할 위험이 존재한다.

2.4 DEA 기법을 활용한 선행연구

본 연구는 DEA 기법을 활용하여 공공부문의 정보보호 담당조직의 효율성을 평가하는 것을 목적으로 하고 있다. 따라서 공공부문에서 DEA가 어떻게 활용되고 있는지 살펴보고자 한다.

DEA가 주로 공공부문에 있어서 조직의 의사결정자에게 조직운영의 효율성 개선점을 제시하고 있다는 점에서 공공정책 (public policy) 영역에서 많이 연구되고 있디, . 이러한 이유로 기술을 수로 다루는 정보보호 영역의 논문지에서는 DEA를 활용한 관련 연구는 찾아보기가 쉽지 않으며, 행정학과 정책학 분야에서 주로 확인되고 있다. 따라서 선행연구 분석의 대상은 행정학 및 정책학 관련 논문지를 중심으로 살펴보고 이를 통해 도출하는 시사점을 정보보호 영역으로 확대하는 작업을 수행하도록 한다.

선행연구 분석은 한국연구재단의 등재학술지를 중심으로 DEA 기법을 활용하여 공공부문의 조:직 또는 사업의 운영 효율성에 대해 수행된 연구를 대상으로 한다’ 다음〔표 1〕은 선행연구를 정리한 것이다.

(표 1) DEA를 활용한 선행연구

DEA를 활용한 연구는 동질적 성질을 갖는 조직을 대상으로 함에 따라. 주로 지방정부, 보건소 및 대학교의 효율성 측정에 대한 사례가 대부분이다〔29〕. 이는 DEA가 시장가격을 반드시 요구하지 않으며 공공부문에서 평가대상 조직의 상대적 효율성을 평가할 수 있다는 유용성에 기인하는 것으로 판단된다.

본 연구의 효율성 평가대상 조직의 경우에도 공공부문의 정보보호 업무를 담당하는 조직이라는 점에서 DEA를 사용하는 것이 타당하다고 할 수 있다.

한편, 투입변수의 경우, 예산과 인력이 공통 적으로 포함되는데, 체제모형3)의 관점에서 예산과 인력은 조직 운영의 기본적인 원동력이며, 투입된 자원을 전환 또는 변환하여 최종산출물을 만드는 데 필수 불가결한 요소이기 때문이다.

III. 공공부문 정보보호 조직의 효율성 분석

3.1 DMU와 투입 . 산출변수

3.1.1 DMU 및 자료의 수집

본 연구의 의사결정단위(DMU)는 정부조직도 상의 부.처.청.위원회의 정보보호 담당조직을 대상으로 한다. 선행연구로부터 DEA를 활용하여 중앙정부 조직을 대상으로 수행된 연구를 찾아보기 쉽지 않으나, 모든 정부조직은 조직의 정보보호를 담당하는 부서가 존재하며 , 이들의 목적이 보유하고 있는 주요 정보의 보호라는 측면에서 업무수행 목적 및 업무 특성의 동질성이 확보된다고 할 수 있다.

따라서 투입변수와 산출변수를 확보하는 데 있어서 결측치가 없는 각 중앙정부의 정보보호 담당 조직 21 개를 대상으로 한다.

한편, 투입변수와 산출변수의 자료는 국회제출자료, 정보공개청구 및 인터뷰 등을 통하여 확보하였으며, 보다 많은 변수를 활용하기 위해서 정보보호 H/W 및 S/W, 침해건수 대비 처리건수 등 다양한 자료를 청구하였으나 해당 자료는 비공개결정으로 인하여 제외하였다.

3.1.2 투입요소

투입요소는 일반적으로 조직의 비용(cost)을 의미한다〔26〕. 따라서 조직의 운영에 필요최소한의 투입요소는 예산과 인력이다.

정보보호 담당조직의 업무 효율성을 평가하기 위한 투입요소는 조직 운영예산 중 정보보호에 한정된 예산으로 제한하는 것이 타당하다.

인력과 관련해서는 정보보호 전담인력을 포함하여 , 정보보호 담당부서의 직원수를 투입요소로 하되, 문서수발 및 단순서무 등을 담당하여 실제 정보보호 관련 업무에 대한 관련성이 현저히 낮은 인원은 제외하였다 4).

〔표 2〕에서 정보보호 담당부서의 인력의 평균은 약 15명으로 나타났으며, 가장 많은 조직은 56명이며, 정보보호 부서 인력이 가장 작은 조직은 3명으로 조사되었다. 예산의 경우에도 평균은 1, 283, 190천원으로나타났으며, 표준편차가 각각, 11명과 1, 764, 715천원으로 다소 큰 값을 보여주고 있다. 예산의 자료 범위는 7, 127, 000천원으로 조사되었다.

(표 2) 투입요소의 기술통계 요약

3.1.3 산출요소

본 연구는 정보보호 담당조직의 운영 효율성을 평가하는 것으로 조직의 성과를 객관적 수치로 나타낼 수 있는 변수를 설정하고자 하였다. 또한 해당 성과가 정보보호 조직의 수준제고에 영향을 미치는 것으로 인정될 필요가 있으며 , 이를 위 해서 변수가 가지는 측정의 목적성에서 일관성을 갖는 것으로 설정하고자 노력하였다. 또한 변수 선정의 타당성을 확보하기 위하여 정보보호 조직 관련 평가나 실태조사 등에서 사용되는 지표를 활용하였다.

따라서 자료의 수집에서 비공개 되거나 결측치가 존재하는 변수를 제외하고 다음과 같은 정보보호 교육 관련 변수로 한정하였다. 정보보호 조직의 교육업무성과는 외적으로는 조직전체의 정보보호에 대한 인식을 증대시키고, 내적으로는 정보보호 담당인력의 전문성을 증대시키는 것을 목적으로 하고 있기 때문에 정보보호 교육 업무운영 성과로 중요한 지표가 된다.

첫째, 정보보호 담당 조직에서 조직 전체 직원들을 대상으로 수행했던 정보보호 관련 인식교육 횟수를 산출요소로 설정하였다.5)실제 정보보호 관련 사고의 주요 원인으로 지적되는 것이 내부자의 실수나 오류 행위임을 감안하면 정보보호 담당 조직이 조직 내 직원에 대한 보안인식교육은 매우 중요하기 때문이다.

둘째, 정보보호 담당 조직의 전문성 강화를 위해서는 조직원들의 전문성이 요구되며, 이를 위해서는 조직 외부에서 열리는 정보보호 관련 교육에 대한 참여도가 높아야 한다. 왜냐하면 정보보호 영역의 이슈와 기술. 정책 등이 여타의 분야에 비해 二L 변화 속도가 매우 빠르기 때문에 이러한 교육이 제공해 주는 최신의 정보보호 관련 지식을 신속히 습득할 것이 요구되기 때문이다. 또한 조직 외부에서 수행되는 정보보호 관련 교육에 얼마나 많이 참여 하였는가라는 문제는 정보보호 담당 조직의 열의와도 관계있는 부분이라 할 수 있다. 따라서 정보보호 담당 조직의 직원이 외부에서 수행되는 정보보호 관련 교육에 참여한 횟수를 산출요소로 설정하였다.6)

셋째, 조직 외부에서 수행되는 정보보호 관련 교육에 참여한 횟수뿐만 아니라 담당 조직의 직원 중 얼마나 많은 인원이 참여 하였는가도 정보보호 담당 조직의 전문성 강화에 직결되는 문제이다.7)정보보호 담당 조직에 속한 직원은 다른 부서의 직원보다도 정보보호에 대한 책임성과 업무의욕이 높기 때문에 그러한 교육의 참여 인원수가 많을수록 정보보호 담당 조직의 전문성은 높아진다.

한편, 〔표 3〕에서 알 수 있듯이, 정보보호 조직이 업무를 수행하는 데 있어서 정보보호 관련 보안 인식과 전문성 부족이 상당부분 장애 요인으로 작용하고 있다.

(표 3] 국가 - 공공기관 정보보호 업무 수행 애로사항

따라서 정보보호 조직이 업무목적을 달성하기 위해서는 보안인식 개선과 전문성 강화에 많은 노력을 기울여야 할 필.요가 있으며 , 본 연구에서 사용되는 산출요소의 설정이 이러한 장애요인을 제거하는 데 얼마나 효율적으로 업부를 수행하였는지를 실펴볼 수 있는 요소가 될 수 있는 것이기 때문에. 당해 수준에서 효율성을 평가한 후 이를 통해 개선점을 찾는 것이 바람직하다고 할 것이다.

〔표 4〕에서 정보보호 조직이 한 해 동안 부처 내 보안 인식 교육을 수행한 횟수는 평균 약 9회이며, 가장 많은 보안인식 교육을 수행한 조직은 51회였으며, 한 해동 안 한번만 수행했던 조직도 있는 것으로 나타났다.

(표 4) 산출요소의 기술통계 요약

정보보호 조직의 전문성 강화 차원에서 외부에서 열리는 정보보호 교육을 수행받은 횟수와 관련하여서는 평균 약 7회 정도였으며, 18회 수행받은 조직이 가장 많은 교육을 받은 것으로 조사되었다. 또한 외부에서 수행되는 정보보호 관련 교육에 참여한 정보보호 담당 조직의 직원 비율은 전체 정보보호 담당 조직 원수대비 정보보호 조직 내부 피교육자의 비율로 조사되었으며 , 평균 약 68%를 나타내고 있으며, 정보보호 담당 조직의 직원 전체가 최소한 한번은 참석한 조직이 있는가 하면, 정보보호 담당 업무를 수행하는 조직원의 절반도 교육을 받지 않은 경우도 있었다.

3.2 정보보호 담당조직의 효율성 분석 결과

3.2.1 전체 효율성

3.2.1.1 CCR 모형에 따른 효율성

규모에 따른 수익불변을 가정하는 CCR 모형에 의한 정보보호 담당 조직의 효율성 점수는〔표 5〕와 깉・다. 이에 따르면, 전체 21개 DMU의 효율성 평균은 50.3%이며, 이중에서 6개의 DMU가 효율적인 것으로 나타났다. 비효율적이라고 분석된 DMU 중에서는 DMU 21을 제외하고는 50%를 하회하고 있어 투입된 인력과 예산으로 통해 정보보호 조직이 부내 정보보호 인식 제고와 조직 내부 인력의 정보보호 전문성 강화를 위한 교육 업무에 매우 비효율적으로 운영되고 있다는 것을 보여준다.

(표 5) CCR 모형에 의한 공공부문 정보보호 담당 조직의 효율성 점수

(표 6) 비효율적 DMU의 참조 DMU

한편, 비효율적 DMU들이 효율적 DMU로 이동하기 위해서는 효율성 프런티어 라인 상에서 가장 가까이 있는 DMU를 참조하게 된다.

효율적 DMU 3은 1회, DMU 7은 4회, DMU 12는 5회, DMU 13은 10회, DMU 19는 9회, DMU 20은 5회 참조되는 것으로 나타났다.

3.2.1.2 BCC 모형에 따른 효율성

앞서 언급하였듯이, 규모수익 불변을 가정하는 CCR 모형이 규모의 효율성과 순수 기술적 효율성을 구분하지 못한다는 단점을 가지고 있기 때문에, 이를 완화하여 규모수익가변이라는 가정을 적용한 BCC 모형에서의 효율성을 확인해 볼 필요■가 있으며, 결과는 〔표 기과 같다.

〔표 7〕과 CCR 모형에서의 효율성점수를 보여주고있는 〔표 5〕를 비교해 보면, 효율성 점수의 평균이 58.3%로 증가하였으며, DMU 14가 100%의 효율성 점수를 나타내어 효율적 DMU로 분석되었다.

(표 7) BCC 모형에 의한 공공부문 정보보호 담당 조직의 효율성 점수

여기서 CCR 모형에서 비효율적인 DMU 14가 BCC 모형에서 효율적인 것으로 인정되는 것으로 보아 규모의 비효율성이 발생하고 있음을 알 수 있다. 다시 말해 DMU 14의 경우, 인적요인, 예산의 요인 등 공공부문의 기술적 비효율 때문에 발생하는 것이 아니라 규모의 비효율성으로 인해 발생했다는 것을 뜻하며 , 규모에 대한 조정을 통해 CCR 모형에서 나타난 비효율성을 제거할 수 있을 것이다.

한편, CCR 모형에 비해서 BCC 모형에서 효율성 점수가 높게 나타났지만, 전반적으로 평균보다 낮은 점수를 보이고 있어 정보보호 담당조직의 업무 효율성은 낮다店 것을 알 수 있다.

(표 8) 비효율적 DMU의 참조 DMU

참조 DMU에 관해서는 효율적 DMU 3은 1회, DMU 7은 0회. DMU 12는 4회 , DMU 13은 5회 , DMU 14는 1회. DMU 19는 9회’ DMU 20은 12 회 참조되는 것으로 나타났다.

3.2.2 기관 분류에 따른 효율성

본 연구의 효율성 평가대상을 각 부와 '청 및 위원회으로 나눌 수 있다. CCR 모형에 따른 효율성 분석 결과를 각 부와 청 및 위원회로 나누어 비교해 보면 〔표 9〕와 같다.

〔표 9〕에서 '부'의 효율성 점수의 평균은 53.98%이며. 8개 DMU 중에서 DMU 3과 DMU 7이 효율적 DMU로 인정되고 있다.

(표 91 기관 분류에 따른 효율성 비교

청 및 위원회'의 경우에는 효율성 점수의 평균이 55.49%로 나타났으며. 11개의 DMU 중 DMU 12, DMU 13, DMU 19가 효율적으로 인정되고 있다. '청 및 위원회'의 집단이 '부 집단의 효율성 평균보다 약간 높은 수준이며, 각 집단에서 효율성 집단이타나나는 비율은 '부'가 25%. '청 및 위원회'가 27.3% 로 나타났다.

IV. 결론 및 시사점

본 연구는 공공부문 정보보호 담당 조직의 성과평가 필요성을 인식하고, 성과평가에서 중요한 개념인 효율성 검토로부터 이를 평가하기 위한 작업까지 수행되었다.

먼저, 효율성 개념에 대한 관련 문헌을 탐색하고, 이를 측정하기 위한 도구로서 자료포락분석 기법에 살펴보았다. 또한 자료포락분석 기법을 사용한 국내 주요 논문지의 문헌 등을 통해 자료포락분석 기법이 공공부문 효율성 평가의 도구로서 널리 이용되고 있음을 확인하였다.

자료포락분석 기법을 통하여 정부조직도 상의 부처 중 21개 DMU의 정보보호 담당 조직의 교육 업무 운영 효율성을 평가하고자 하였다. 투입 대비 산출의 효율성을 측정하기 위하여 정보보호예산과 정보보호 담당 조직의 인력수를 투입요소로, 부처내 보안인식교육 실시 횟수, 외부에서 수행되는 정보보호 관련 교육에 참여한 횟수와 참여인원비율을 산출요소로 설정하였다.

이러한 투입요소와 산출요소를 사용하여 DEA 기법을 통한 정보보호 담당 조직의 교육업무 운영 효율성 분석을 적용해 본 결과, 수익불변을 가정하는 CCR 모형에서는 6개 DMU가 효율적으로 나왔으며 , CCR 모형의 수익불변 가정을 완화한 BCC 모형에서는 7개 DMU가 효율적인 것으로 인정되었다. CCR 모형에서 비효율적 DMU가 BCC 모형에서 효율적 DMU로 인정된다는 것은 규모의 비효율이 존재하고있다는 것을 보여주었다.

전체 효율성 분석에서는 두 모형에서 각각 50.3% 와 58.3%의 평균을 보이고 있어 인력활용과 예산집행 (투입) 그리고 정보보호 교육 관련 업무성과(산출) 의 효율성 측면에서 매우 비효율적인 모습을 보이고있다고 분석된다. 이러한 결과는 평가대상 DMU를 '부와 '청 및 위원회'의 구분을 통한 비교에서도 비슷하게 나타나고 있다.

이러한 연구의 결과를 볼 때, 첫째, 공공부문 정보보호 담당조직의 의사결정책임자는 정보보호 담당 조직이 부처 내 직원에 대한 보인인식 교육과 정보보호 담당 조직의 내부 직원의 전문성 향상을 위한 교육 관련 업무 운영에 비효율이 존재함을 인식하고, 이러한 비효율의 원인이 어디에 있는지를 면밀히 분석해 보아야 한다. 초과 달성되었다고 판단되는 요소는 줄이고 미진한 것으로 판단되는 업무는 모다 많은 성과를 낼 수 있도록 노력해야 한다. 둘째, 비효율의 원인을 분석하는 데 있어, 투입요소로 인한 비효율인지 산출요소로 인한, 비효율인지를 정확하게 따져보아야 한다. 셋째, '부와 '청 및 위원회'의 효율성이 전반적으로 낮으며, '부'의 효율성점수의 평균이 '청 및 위원회'의 효율성 점수 평균보다 낮다는 사실에서 주요 기관으로서 효율성 개선을 위한 노력을 보다 많이 기울여야 한다는 점을 지적할 수 있다.

어느 공공부문에서와 마찬가지로 정보보호 영역에서도 정량적인 평가가 어려워 불가피하게 정성적인 평가를 통해 파악하여야 하는 부분이 있으며 , 국내 정보보호 담당조직에 대한 평가도 피평가자의 응답에 많은 부분 의존하는 설문과 수준평가가 주를 이루어온 것이 사실이다. 단 한 건의 정보보호 실패가 가져오는 악영향을 고려하면 정보보호 수준의 향상도 매우 중요한 부분인 것이다.

그러나 국가의 예산을 효율적으로 사용해야 한다는 공공기관의 운영 측면에서는 성과평가를 통한 효율성 증진 또한 중요하다고 하겠다. 따라서 보다 효율적으로 운영되고 있는 정보보호 조직이 정보보호 수준 또한 높게 나타날 수 있는 그러한 체계가 구축된다면. 가정보보호 관련 평가의 상관관계에 대한 연구가 필요한 것이다.

한편, 본 연구를 통해 확인된 정보보호 조직의 비효율성이 조직의 본질적인 문제인지 아니면 투입요소의 비효율적 활용인지 또는 투입 . 산출요소의 질적 문제인지에 대하여 미진한 부분은 본 연구가 가지는 방법론적 한계이자 향후 연구가 필요한 부분이기도 하다. 또한 보다 객관적이고 포괄적인 성과평가를 위한 계량적인 효율성 지표의 개발에 대해서도 지속적인 연구가 요구된다 할 것이다.

* 이 연구에 참여한 연구자의 일부는 '2단계 BK21사업'의 지원비를 받았음

References

  1. 정부업무평가기본법
  2. 국가정보원, 정보통신부, 2006 국가정보보호백서, pp. 8-9, 2006년 5월
  3. 국가정보원, 정보통신부, 2007 국가정보보호백서, pp. 7-9, 2007년 5월
  4. 국가정보원, 방송통신위원회, 2008 국가정보보호백서, pp. 319-320, 2008년 4월
  5. 국가정보원, 방송통신위원회, 행정안전부, 지식경제부, 2009 국가정보보호백서, p. 212, 2009년 4월
  6. 현만석, "DEA를 이용한 공공연구기관의 기술이전 효율성 개선전략에 관한 연구," 박사학위논문, 건국대학교, 2008년
  7. 김재홍, 김태일, 공공부문의 효율성 평가와 측정, 서울: 집문당, pp. 26-33, 2003년 11월
  8. 최일문, "조직효율성의 결정요인에 관한 연구," 박사학위논문, 서울시립대학교, 2006년
  9. 엄준용, "DEA를 활용한 대학원의 효율성 분석," 박사학위논문, 고려대학교, 2009년
  10. M. J. Farrell, "The Measurement of Productive Efficiency," Journal of the Royal Statistical Society, vol. 120, no. 3, 1957
  11. 유금록, "효율성 평가를 위한 자료포락분석에 있어서 투입산출요소의 음수자료 처리방법과 적용," 정책분석평가학회보, 15(4), pp. 173-197, 2005년
  12. 박만희, 효율성과 생산성 분석, 경기도:한국학술정보(주), pp. 41-43, 2008년 8월
  13. A. Charnes, W. W. Cooper, and E. Rhodes, "Measurin the efficiency of decision making units," European Journal of Operational Research 2, pp. 429-444, 1978년
  14. R. Banker, A. Charnes, and W.W.Cooper, "Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis," Management Science, vol. 30, no. 9, pp. 1079-1092, 1984년
  15. 이영범, "확률전선비용모형을 이용한 공공병원의 효율성 측정에 관한 연구," 석사학위논문, 연세대학교, 1997년
  16. 문신용, 윤기찬, 성과분석 평가의 이해: 공공서비스의 통합적 분석, 서울: 삼영사, pp. 81-82, 2008년 4월
  17. A. Boussofiane, R.G. Dyson, and E. Thanassoulis, "Applied data envelopment analysis," European Journal of Operational Research, vol. 52, no. 1, pp. 1-15, 1991년 https://doi.org/10.1016/0377-2217(91)90331-O
  18. 윤기찬, "사회복지서비스 능률성에 관한 비교․평가," 한국행정논집, 17(1), pp. 1-30, 2005년
  19. 김용민, "자료포락분석(DEA)에 의한 지역사회복지관의 상대적 효율성 측정," 한국지방자치학회보, 16(3), pp. 133-153, 2004년
  20. 윤경준, "공공부문 효율성 측정을 위한 DEA의 활용," 정부학연구, 9(2), pp. 7-31, 2003년
  21. 문신용, 윤기찬, "사회복지서비스 생산성에 관한 통합적 분석: 자료포락분석(DEA)와 SEVQUAL 기법을 중심으로," 한국행정학보, 38(6), pp.201-224, 2004년
  22. 김건위, "기초자치단체 정보화의 상대적 효율성 측정: DEA를 중심으로," 한국행정학회 춘계학술대회 발표논문집, pp. 171-201, 2004년
  23. 김홍주, 이희연, "자료포락분석을 활용한 지자체 도시개발공사의 효율성 분석," 국토연구, 47, pp.77-88, 2005년
  24. 이환범, 송건섭, 김병문, "지방공기업의 경영성과 관리와 평가지표개발: 자료포락분석(DEA)에 의한 효율성 측정," 서울행정학회, 15(4), pp.275-298, 2005년
  25. 문신용, 윤기찬, "전자정부와 시민참여에 관한 통합적 분석모형의 구성 및 적용 연구: 기초자치단체를 중심으로," 행정논총, 45(3), pp. 259-284, 2007년
  26. 심광식, 김재윤, "DEA 모형을 활용한 지하철 운영기관의 효율성 평가," 산업경제연구, 21(4), pp1697-1723, 2008년
  27. 유금록, "공공도서서비스의 효율성 평가: 부트스트랩 자료포락분석," 한국정책학회 하계학술대회, 2010(2), pp. 259-282, 2010년
  28. 이상수, 한하늘, "DEA와 Tobit 모형을 이용한 대도시 공공도서관의 효율성 영향요인 분석," 정보관리연구, 41(2), pp. 111-131, 2010년
  29. 김태희, 김인호, 안성봉, 이계석, "자료포락분석을 활용한 국가연구개발사업의 효율성 분석: 원자력 연구개발사업을 중심으로," 기술혁신학회지, 12(1), pp. 70-87, 2009년