Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

Comparison of Major Black-Box Testing Methods in Object-Oriented Software

객체지향 소프트웨어를 위한 주요 블랙박스 테스트 기법들의 비고

  • 서광익 (동국대학교 컴퓨터공학과) ;
  • 최은만 (동국대학교 컴퓨터 멀티미디어공학과)
  • Published : 2006.01.01
Download PDF
⟨ Previous Next ⟩

Abstract

As the size of software is getting huge, it has been impossible for testers to test all of source coed. Therefore, the method which uses information of requirements for testing has been researched and accepted. Although there are a lot of test methods based on requirement specification, each method has a different approach and coverage. So we should consider their various approach and coverage in the stage of test planning. This paper presents the empirical comparison and the result by applying various black-box testing methods to software system. For this experiment we studied five black-box testing methods including UML based specification technique. We applied the five testing methods to application system and evaluated the coverage of extracted test case.

소프트웨어의 규모가 커지면서 시스템 기능 테스트 단계에 일일이 원시코드를 참조하면서 테스트하는 것은 현실적으로 불가능하다. 따라서 시스템 테스트 단계에서 다양한 요구명세 정보들을 이용하는 블랙박스 테스트 방법들이 많이 연구되고 있다. 테스트 기법에 활용한 요구명세는 시스템을 표현하는 기술 방법과 의미의 차이로 인해 테스트 케이스와 커버리지가 크게 달라서 테스트 계획 단계에서 테스트 기법과 그 기법의 적용 결과에 대해 깊이 고려해야 한다. 이러한 필요성으로 인해 본 연구에서는 다양한 블랙박스 테스트 기법들에 대한 실험과 그 결과에 대해 논하였다. 기법의 특성이 미치는 테스트 결과를 분석하고 평가하기 위해 객체지향 시스템의 명세와 모델링 기법으로 가장 잘 알려진 UML을 이용한 테스트 기법을 포함하여 다섯 가지의 블랙박스 테스트 기법을 실행하고 비교하였다. 그리고 다섯 가지 기법들을 서로 다른 두 응용 시스템에 적용하였고 그 결과로 추출된 테스트 케이스의 커버리지를 분석하였다.

Keywords

References

  1. D. Wood, J. Reis, 'Use Case Derived Test Cases,' ST AREAST on Software Quality Engineering, Conf., 1999
  2. 최은만, 'OCL로 기술된 개체지향 설계 명세의 테스트 케이스 생성', 정보처리학회 논문지(D), Vol. 8-D, pp.843-852, December 2001
  3. E.J. Weyuker, S.N. Weiss, D. Hamlet, 'Comparison of Program Test Strategies,' ACM Proc. Symposium on Testing, Analysis, and Verification, Key West, Florida, pp.1-10, October 1991 https://doi.org/10.1145/120807.120808
  4. V.R Basili, RW. Selby, 'Comparing the Effectiveness of Software Testing Strategies,' IEEE Transaction on Software Engineering, Vol.SE-l3, No.12, pp.1278-1296, December, 1987 https://doi.org/10.1109/TSE.1987.232881
  5. R. Hamlet, 'Theoretical Comparison of Testing Methods,' ACM Proc. Third Symposium on Testing, Analysis, and Verification, Key West, Florida, pp.28-37, December 1989 https://doi.org/10.1145/75308.75313
  6. L.A. Clarke, A. Podgurski, D.J. Richardson, S.J. Zeil, 'A Comparison of Data Flow Path Selection Criteria,' 8th IEEE International Conference on Software Engineering, pp.244-251, August 1895
  7. L. Lauterbach and W. Randall, 'Experimental evaluation of six test techniques, Proc. COMPASS'89, Gaitersburg, MD, pp.36-41, June 1989
  8. S. Ntafos, 'A Comparison of Some Structural Testing Strategies,' IEEE Transaction on Software Engineering, Vol. 14, No.6, pp.868-874, June 1988 https://doi.org/10.1109/32.6165
  9. A. Abcturazik, J. Offutt, 'Using UML Collaboration Diagrams for Static Checking and Test Generation.' The Third International Conference on the ？Unified Modeling Language (UML'00), Proc. pp.383-395, York, UK, October 2000
  10. Chun- Yu Chen, 'Constructing Usage-Based Testing On Object-Z Formal Specification Based Specification,' Ph.D. Dissertation Auburn University, 1999
  11. Eun Man Choi, 'Use-Case Driven Test for ObjectOriented System,' Proceedings of the lASTED International Conference, ACTA Press, pp.164-169, August 2001
  12. Y. G. Kim, H. S. Hong, D. H. Bae and S. D. Cha, 'Test cases generation from UML state diagrams,' IEE Proc., Vol. 146, No.4, pp.187-192, August 1999 https://doi.org/10.1049/ip-sen:19990602
  13. S. Ramaswamy, R. Neelakantan, 'Software Design and Testing Using Petri Nets: A Case Study Using a Distributed Simulation Software System,' 2002 Performance Metrics for Intelligent Systems, Natinal Institute of Standards and Technology, NIST Special Publications, August 2002
  14. R. Duke, P. King, G. Rose, G. Smith, 'The Objects- Z specification Language. Version 1,' Technical Report 91-1, Software Verification Research Center, Department of Computer Science, University of Queensland, Australia, May 1991
  15. G.J. Myers, 'The Art of Software Testing,' John Wiley & Sons, Inc., 2004
  16. Stefan Jungmayr, Reviewing Software Artifacts for Testability, Presented at EuroSTAR'99, Barcelona, November 1999
  17. P. Hsia, 'Formal Approach to Scenario Analysis,' IEEE Software, pp.33-41, 1993
  18. K. Koskimies, H, Mossenbok, 'Scene: Using Scenario Diagram and Active Text for Illustrating Object-Oriented Programs,' Proc. Of 18th International Conference. Software Engineering, pp.366-375, March 1996
  19. P. Jorgensen et aI, 'Object-Oriented Integration Testing,' Comm. Of ACM, Vol.37, No.9, pp.30-38, 1994 https://doi.org/10.1145/182987.182989
  20. J. McGregor, T. Korson, 'Integrated ObjectOriented Testing and Development Process,' Comm. Of ACM, Vol. 37, No.9, pp.57-77 1994 https://doi.org/10.1145/182987.184075
  21. E. Weyuker, B. Jeng, 'Analyzing Partition Testing Strategies,' IEEE Transactions on Software Engineering, Vol. 17, No.7, pp.703-711, 1991 https://doi.org/10.1109/32.83906