Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

A Multiple Classifier System based on Dynamic Classifier Selection having Local Property

지역적 특성을 갖는 동적 선택 방법에 기반한 다중 인식기 시스템

  • 송혜정 (한림대학교 컴퓨터공학과) ;
  • 김백섭 (한림대학교 정보통신공학부)
  • Published : 2003.04.01
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a multiple classifier system having massive micro classifiers. The micro classifiers are trained by using a local set of training patterns. The k nearest neighboring training patterns of one training pattern comprise the local region for training a micro classifier. Each training pattern is incorporated with one or more micro classifiers. Two types of micro classifiers are adapted in this paper. SVM with linear kernel and SVM with RBF kernel. Classification is done by selecting the best micro classifier among the micro classifiers in vicinity of incoming test pattern. To measure the goodness of each micro classifier, the weighted sum of correctly classified training patterns in vicinity of the test pattern is used. Experiments have been done on Elena database. Results show that the proposed method gives better classification accuracy than any conventional classifiers like SVM, k-NN and the conventional classifier combination/selection scheme.

본 논문에서는 지역적 특성을 가지는 작은 인식기(마이크로 인식기)의 모음으로 인식기를 구현하는 다중 인식기 시스템을 제안한다. 각 학습패턴에서 k개의 이웃한 학습패턴을 추출해서 학습한 인식기를 마이크로인식기라고 한다. 각 학습패턴에는 한개 이상의 마이크로 인식기를 부여한다. 본 논문에서는 선형 커널을 사용한 SVM과 RBF 커널을 사용한 SVM등 두 가지 형태의 마이크로 인식기를 사용한다. 테스트 패턴이 인가되면 테스트패턴 주변의 마이크로인식기들 중에서 성능이 가장 좋은 것 하나를 선택한 후 선택된 인식기로 최종 클래스를 결정한다. 테스트패턴 주변에 있는 학습패턴들을 인식한 결과를 성능 측정 척도로 사용한다. Elena 데이터 베이스를 사용하여 기존의 단일 인식기, 다중 인식기 결합, 다중 인식기 선택 방법들과 인식률을 비교한 결과 제안된 방법이 우수함을 알 수 있다.

Keywords

References

  1. Xu, L., Krzyzak, A., and Suen, C. Y., 'Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition,' IEEE Trans. on Systems, Man, and Cybernetics, 22(3):418-435, 1992 https://doi.org/10.1109/21.155943
  2. F. Roli, J. Kittler (Eds.): Multiple Classifier Systems, Third International Workshop, MCS 2002, Cagliari, Italy, June 24-26, 2002, Proceedings. Lecture Notes in Computer Science 2364 Springer 2002
  3. Ho, T. K., Hull J. J., and Srihari, S. N., 'Decision Combination of Multiple Classifier Systems,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 16(1), pp. 66-75, 1994 https://doi.org/10.1109/34.273716
  4. 이관용, 백종현, 변혜란, 이일병, 다중인식기의 다단계 결합을 통한 무제약 필기 숫자 인식, 정보과학회논문지 (B) 제 26권 제 1호, pp.93-105, 1999
  5. Kittler, J., Hatef, M., Duin, R. P. W., and Matas, J., 'On Combining Classifiers,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 20(3), pp. 226-239, 1998 https://doi.org/10.1109/34.667881
  6. Woods, K., Kegelmeyer, W. P. Jr., and Bowyer, K., 'Combination of Multiple Classifiers Using Local Accuracy Estimates,' IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(4), pp. 405-410, 1997 https://doi.org/10.1109/34.588027
  7. G. Giacinto and F. Roli, 'Dynamic classifier selection based on multiple classifier behaviour,' Pattern Recognition, Vol. 34, Iss. 9, pp. 1879-1881, September 2001 https://doi.org/10.1016/S0031-3203(00)00150-3
  8. L. Bottou and V. Vapnik. Local learning algorithms. Neural Computation, Vol. 4, No. 6, pp. 888-900, 1992
  9. G. Giacinto and F. Roli, 'Methods for Dynamic Classifier Selection,' ICIAP '99, 10th International Conference on Image Analysis and Processing, Venice, Italy, pp. 659-664, 1999 https://doi.org/10.1109/ICIAP.1999.797670
  10. Jain, A. K., Duin, P. W., Jianchang Mao, Statistical pattern recognition: a review, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, pp. 4 -37, January 2000 https://doi.org/10.1109/34.824819
  11. R. Liu and B. Yuan, Multiple classifiers combination by clustering and selection, Information Fusion, Volume 2, Issue 3, pp. 163-168, September 2001 https://doi.org/10.1016/S1566-2535(01)00033-1
  12. Burges, C. J. C., 1998, 'A tutorial on Support Vector Machines for Pattern Recognition,' Data Mining and Knowledge Discovery, Vol. 2, pp. 121-167 https://doi.org/10.1023/A:1009715923555
  13. J. Platt, N. Cristianini, J. Shawe-Taylor, Large Margin DAGs for Multiclass Classification, in Advances in Neural Information Processing Systems 12, pp. 547-553, MIT Press, 2000
  14. http://www.dice.ucl.ac.be/neural-nets/Research/Projects/ELENA/elena.htm
  15. http://theoval.sys.uea.ac.uk/-gcc/svm/toolbox