Journal of the Institute of Electronics and Information Engineers (전자공학회논문지)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지
DOI QR코드

DOI QR Code

Learning-based Detection of License Plate using SIFT and Neural Network

SIFT와 신경망을 이용한 학습 기반 차량 번호판 검출

  • Hong, Won Ju (Division of Electronic & Information Engineering, Chonbuk National University) ;
  • Kim, Min Woo (Division of Electronic & Information Engineering, Chonbuk National University) ;
  • Oh, Il-Seok (Division of Computer Science & Engineering, Chonbuk National University)
  • 홍원주 (전북대학교 전자정보공학부(컴퓨터공학)) ;
  • 김민우 (전북대학교 전자정보공학부(컴퓨터공학)) ;
  • 오일석 (전북대학교 컴퓨터공학부/영상정보신기술연구소)
  • Received : 2013.01.24
  • Published : 2013.08.15
Download PDF
⟨ Previous Next ⟩

Abstract

Most of former studies for car license plate detection restrict the image acquisition environment. The aim of this research is to diminish the restrictions by proposing a new method of using SIFT and neural network. SIFT can be used in diverse situations with less restriction because it provides size- and rotation-invariance and large discriminating power. SIFT extracted from the license plate image is divided into the internal(inside class) and the external(outside class) ones and the classifier is trained using them. In the proposed method, by just putting the various types of license plates, the trained neural network classifier can process all of the types. Although the classification performance is not high, the inside class appears densely over the plate region and sparsely over the non-plate regions. These characteristics create a local feature map, from which we can identify the location with the global maximum value as a candidate of license plate region. We collected image database with much less restriction than the conventional researches. The experiment and evaluation were done using this database. In terms of classification accuracy of SIFT keypoints, the correct recognition rate was 97.1%. The precision rate was 62.0% and recall rate was 50.2%. In terms of license plate detection rate, the correct recognition rate was 98.6%.

차량 번호판 검출의 기존 연구들은 대부분 높은 성능을 얻기 위해 영상 획득 환경을 제한한다. 본 논문은 제약사항이 적은 환경에서 다양한 종류의 차량 번호판을 검출하기 위해 SIFT와 신경망을 이용한 새로운 방법을 제안한다. SIFT는 영상의 크기, 회전 변화에 불변하는 지역특징으로서 처리해야 할 환경이 고정되지 않은 경우에도 분별력이 뛰어나다. 영상에서 추출한 SIFT를 번호판 내부의 것(내부 부류)과 외부의 것(외부 부류)으로 나누어 2부류 분류기를 학습한다. 분류기는 신경망을 사용하며, 찾고자 하는 번호판의 종류를 학습 집합에 포함하는 것으로 다양한 종류의 번호판을 동일한 알고리즘으로 검출할 수 있다. 제안하는 방법은 입력 영상에서 지역특징을 추출하고 미리 학습한 분류기로 번호판 내부 부류를 가려낸다. 분류기의 성능이 높지 않더라도 분류 결과 내부 부류는 번호판 내부에 밀집하여 나타나고 번호판 외부에서는 흩어져 나타난다. 이러한 특성을 이용해 지역특징 맵을 만들고, 이 맵에서 임계값 이상인 전역 최댓값을 번호판 영역으로 검출한다. 다양한 환경에서 데이터 베이스를 수집하고 지역특징 분류와 번호판 검출 알고리즘을 실험한다. 지역특징을 분류기로 분류한 결과 정인식률은 97.1%, 정확률은 62.0%, 재현율은 50.2%를 보였다. 정인식률에 비해 정확률과 재현율은 낮았지만, 번호판 검출 결과 98.6%의 높은 검출 성능을 보였다.

Keywords

References

  1. D. Zheng, Y. Zhao, and J. Wang, "An efficient method of license plate location," Pattern Recognition Letters, vol. 26, pp. 2431-2438, 2005. https://doi.org/10.1016/j.patrec.2005.04.014
  2. 전영민, 차정희, "차량번호판 색상모델에 의한 번호판 영역분할 알고리즘," 전자공학회논문지, 제43권 CI편, 제2호, 21-32쪽, 2006년 3월.
  3. S. L. Chang, L. S. Chen, Y. C. Chung, and S. W. Chen, "Automatic license plate recognition," IEEE Transactions on Intelligent Transportation System, vol. 5, no. 1, pp. 42-53, March 2004. https://doi.org/10.1109/TITS.2004.825086
  4. 이득용, 오일석, "숫자 인식에 기반한 자동차 번호판 추출," 한국컴퓨터종합학술대회 논문집, 제34권, 제1호, 407-411쪽, 2007년.
  5. 김재도, 한영준, 한헌수, "에지 기반 영역확장 기법을 이용한 다양한 크기의 번호판 검출,"정보과학회논문지, 제36권, 제2호, 122-130쪽, 2009년 2월.
  6. C. Wu, L. C. On, C. H. Weng, T. S. Kuan and K. Ng, "A macoa license plate recognition system," Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, pp. 4506-4510, Guangzhou, China, August 2005.
  7. D. G. Lowe, "Object recognition from local scale-invariant features," Proceedings of the Seventh IEEE International Conference on Computer Vision, pp. 1150-1157, Kerkyra, Greece, September 1999.
  8. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," Internationl Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004. https://doi.org/10.1023/B:VISI.0000029664.99615.94
  9. K. Mikolajczyk and C. Schmid, "Scale & affine invariant interest point detectors," International Journal of Computer Vision, vol. 60, no. 1, pp. 63-86, 2004. https://doi.org/10.1023/B:VISI.0000027790.02288.f2
  10. U. Iqbal, S. W. Zamir, M. H. Shahid, K. Parwaiz, M. Yasin and M. S. Sarfraz, "Image based vehicle type identification," International Conference on Information and Emerging Technologies, pp. 1-5, Karachi, Pakistan, June 2010.
  11. 김상철, 이제민, 김대윤, 낭종호, "겹침과 훼손, 회전에 강건한 교통표지판 인식을 위한 SIFT 적용방법," 한국컴퓨터종합학술대회 논문집, 제39권, 제1호, 351-353쪽, 2012년.
  12. W. T. Ho, H. W. Lim and Y. H. Tay, "Two-stage license plate detection using gentle Adaboost and SIFT-SVM," First Asian Conference on Intelligent Information and Database Systems, pp. 109-114, Dong Hoi, Vietnam, April 2009.
  13. H. W. Lim and Y. H. Tay, "Detection of license plate characters in natural scene with MSER and SIFT unigram classifier," IEEE Conference on Sustainable Utilization and Development in Engineering and Technology, pp. 95-98, Petaling Jaya, Malaysia, November 2010.
  14. D. Yang, J. Kong, N. Du, X. Li and X. Che, "A novel approach for license plate localization based on SVM classifier," 2nd IEEE International Conference on Information Management and Engineering, pp. 655-660, Chengdu, China, April 2010.
  15. 오일석, 패턴인식, 교보문고, 110-132쪽, 2008년.

Cited by

  1. A smart camera for the surveillance of vehicles in intelligent transportation systems vol.75, pp.17, 2016, https://doi.org/10.1007/s11042-015-3151-y