Information Systems Review (경영정보학연구)

The Korea Society of Management Information Systems (한국경영정보학회)
권호 표지

A Case Study on the Correlation between the Quantitative and the Qualitative Evaluation of IT Investment Performance

IT 투자성과의 정량적 평가와 정성적 평가의 상관관계에 관한 연구

  • Published : 2007.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

As the need for quantitative qualities of IT investment performance heightens, numerous research organizations are developing various measurement methods for the quantitative evaluation and its currency value conversion. Corporations utilizing these methods to evaluate IT investment performance are gradually increasing. However, working-level staff in the corporations that have introduced the quantitative evaluation can not assure if the evaluation sufficiently reflects the actual effect provided by IT since the results arising from the conversion of currency value can't be visibly confirmed. This study tries to identify whether the quantitative evaluation of IT investment performance can be explained in terms of the level of consumer satisfaction proven by the qualitative evaluation by analyzing the level of consumer satisfaction and quantitative evaluation of a case company and identifying the correlation between them. As the result of the case study, the following points have been concluded. Firstly, the currency value of IT effect correlates with the level of consumer satisfaction. Secondly, in order to come up with a rational currency value of IT effect, developing an indicator as well as managing data on currency conversion that will enable the internal system's efficiency to become more quantitative is essential. Thirdly, IT ROI is not appropriate to compare the performance between systems and is utilized as a measurement standard for each system's performance and efficiency. Lastly, quantitative evaluation is still inadequate in the evaluation of the system's strategic side, and consumer satisfaction can be utilized as a supplementary method.

IT 투자성과의 정량화에 대한 필요성이 높아짐에 따라 학계와 연구단체에서 IT 투자성과의 화폐가치 전환 및 정량적 평가를 위한 다양한 측정방법들을 개발하여 제시하고 있으며, 이들 기법을 활용하여 IT 투자성과를 정량적으로 평가하는 기업들이 점차 늘고 있다. 그러나 이와 같은 IT 투자성과의 정량적 평가 기법을 도입한 기업의 실무자들은 화폐가치로 전환되어 도출된 결과들이 가시적으로 확인될 수 있는 것이 아니기 때문에 IT가 제공하는 실 효과를 제대로 반영하여 평가되었는지에 대하여 확신하지 못하고 있다. 이에 본 연구는 IT 투자성과의 정량적 평가 결과를 기존의 많은 연구를 통해 IT 투자성과의 정성적인 평가로 입증된 사용자 만족도로써 설명이 가능한지 파악하여 보기 위하여 기업의 사례 분석을 통해 그 상관관계를 분석하였다. 사례 연구 결과, 다음과 같은 시사점을 도출하였다. 첫째, 정보화 효과금액은 사용자 만족도와 상관관계가 있다. 둘째, 합리적인 정보화 효과금액의 도출을 위해서는 조직 내에서 시스템의 효과를 정량화할 수 있는 지표 개발 및 화폐전환 데이터의 관리가 중요하다. 셋째, IT ROI는 시스템 간의 성과를 비교하는 것에는 부적절하며 개별 시스템의 성과 및 효율성 측정 기준으로 사용하는 것이 적절하다. 넷째, 정량적 평가가 여전히 시스템의 전략적인 부분 등에 대한 평가에는 미흡하기 때문에 이를 보완하기 위한 방법으로 사용자 만족도를 함께 사용하는 것이 바람직하다.

Keywords

References

  1. 강성민, 장강일, '기업의 IT 투자 평가 효율화를 위한 지표 도출 및 투자관리 체계에 관한 사례연구', Information Systems Review, Vol.7, No.1, 2005, pp. 220-224
  2. 김태균, 최경현, 'BSC와 가치사슬을 이용한 정보시스템 성과 측정 방법: 제조업체 사례분석', 한국경영과학회지 ,Vol.27, No.2, 2002, pp. 64-69
  3. 김효근, 유지현, 이현주, '기업 정보기술 투자의 통합 성과모형에 대한 실증연구', 경영정보학연구, 제13권, 제1호, 2003, pp. 120-123
  4. 류현, 균형성과표(BSC)를 활용한 IT의 성과평가, LG경제연구원, 2002
  5. 류현, IT 투자의 가치평가 어떻게 하나, LG경제연구원, 2001
  6. 박충신, 김준석, 임건신, '정보기술 투자의사 결정의 포괄적 고려가 기업 성과에 미치는 영 향', 경영정보학연구, 제15권, 제3호, 2005, pp. 164-167
  7. 서한준, 이정훈, 오부연, 'IT ROI 방법론의 개발 및 적용:L 금융기업 사례를 중심으로', 한국경영정보학회 추계학술대회, 2004, pp. 295-303
  8. 손명호, 김재구, 유태우, 임호순, 이희석, 기업전략에 따른 균형성과표 성과지표 비교분석', 경영정보학연구, 제13권, 제1호, 2003, pp. 3-7
  9. 오강탁, '정보기술 효과성에 대한 사용자들의 인지적 평가', 한국전산원, 2000
  10. 이석준, '정보화 비용/이익분석요인 대한 인식도 연구', 경영정보학연구, 제13권, 제2호, 2003, pp. 68-72
  11. 최완일 외, '정보시스템 원가산정과 관련된 요소 및 효과에 관한 연구', 한국전산원, 2000
  12. Bharadwaj, A. S., S. G. Bharadwaj, and B. R. Konsynski, 'The Moderator Role of IT in Finn Performance: A Conceptual Model and Research Proposition', Proceeding of the Sixteenth International Conference on Information Systems, 1995, pp. 183-188
  13. Bharadwaj, A. S., S. G. Bharadwaj, and B. R. Konsynski, 'Information Technology Effects on Firm Performance as Measured by Tobin's q', Management Science, Vol.45, No.6, 1999, pp. 1008-1024 https://doi.org/10.1287/mnsc.45.7.1008
  14. Davern, M. J. and R. J. Kauffman,'Discovering Potential and Realizing Value from Information Technology Investments', Journal of Management Information Systems, Vol.16 No.4, 2000, pp. 121-143 https://doi.org/10.1080/07421222.2000.11518268
  15. Delone, W. H. and E. R. McLean, 'Information Systems Success: The Quest for the Dependent Variable', Information Systems Research, March 1992, pp. 60-95
  16. Kaplan, R. S. and D. P. Norton, 'The Balanced Scored: Measures That Drive Performance', The Havard Business Review, 1992, pp. 71-79
  17. Kaplan, R. S. and D. P. Norton, The Balanced Scored: Training Strategy into Action, Havard Business School Press, 1996
  18. Kaplan, R. S. and D. P. Norton, The Strategy-Focused Organization: How Balanced Scorecard Company Thrive In The New Business Environment, Havard Business School Press, 2001
  19. Norton, David P., 'Managing Benefits from Information Technology', Information Management & Computer Security, Vol.3, No.5, 1995, p. 29 https://doi.org/10.1108/09685229510793022
  20. Pitt, Leyland F., Watson, Richard T. and Kavan, C. Bruce, 'Service Quality: A Measure of Information Systems Effectiveness', MIS Quarterly, Vol.19, No.2, June 1995, pp. 173-187 https://doi.org/10.2307/249687
  21. Yin, R. K., CASE STUDY RESEARCH: Design and Methods, 3rd Edition, Sage Publication, 2003