Journal of the Institute of Electronics Engineers of Korea CI (전자공학회논문지CI)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Film Line Scratch Detection using a Neural Network based Texture Classifier

신경망 기반의 텍스처 분류기를 이용한 스크래치 검출

  • Kim, Kyung-Tai (Dept. of Computer Eng., Konkuk University) ;
  • Kim, Eun-Yi (Dept. of Internet and Multimedia Engineering, NITRI, Konkuk Univ.)
  • 김경태 (건국대학교 컴퓨터정보통신공학과) ;
  • 김은이 (건국대학교 인터넷미디어학부)
  • Published : 2006.11.25
Download PDF
⟨ Previous Next ⟩

Abstract

Film restoration is to detect the location and extent of defected regions from a given movie film, and if present, to reconstruct the lost information of each region. It has gained increasing attention by many researchers, to support multimedia service of high quality. In general, an old film is degraded by dust, scratch, flick, and so on. Among these, the most frequent degradation is the scratch. So far techniques for the scratch restoration have been developed, but they have limited applicability when dealing with all kinds of scratches. To fully support the automatic scratch restoration, the system should be developed that can detect all kinds of scratches from a given frame of old films. This paper presents a neurual network (NN)-based texture classifier that automatically detect all kinds of scratches from frames in old films. To facilitate the detection of various scratch sizes, we use a pyramid of images generated from original frames by having the resolution at three levels. The image at each level is scanned by the NN-based classifier, which divides the input image into scratch regions and non-scratch regions. Then, to reduce the computational cost, the NN-based classifier is only applied to the edge pixels. To assess the validity of the proposed method, the experiments have been performed on old films and animations with all kinds of scratches, then the results show the effectiveness of the proposed method.

영화복원은 오래된 필름으로부터 손상된 영역을 자동으로 검출하여 복원하는 것이다. 영화복원은 고화질의 멀티미디어 서비스를 위한 필수작업이기 때문에, 현재 많은 연구자들로부터 관심을 받고 있다. 필름은 flick, dust, 스크래치 등의 원인으로 손상이 이루어지는데, 이 중 가장 주된 요인은 스크래치이다. 스크래치로 손상된 데이터의 복원연구는 지난 몇 년간 활발히 수행되고 있다. 스크래치 복원을 위해서는 위치 및 길이 등의 기준에 따라 나타나는 다양한 종류의 스크래치들을 모두 검출할 수 있어야만 한다. 본 논문에서는 영화의 각 프레임 상에 나타나는 다양한 종류의 모든 스크래치를 자동으로 검출할 수 있는 신경망 기반의 검출 방법을 제안한다. 다양한 높이와 폭을 가진 스크래치들을 검출하기 위해 pyramid를 이용하여 입력 영상은 다양한 해상도의 영상으로 변환된다. 각 변환된 영상에 대하여 신경망기반의 텍스처 분류기를 이용하여 스크래치와 비스크래치의 영역으로 분류한다. 이때, 처리속도의 향상을 위해 에지로 분류된 화소에 대하여만 신경망을 적용한다. 제안된 방법의 평가를 위해 다양한 종류의 스크래치를 가진 영화 및 애니메이션 데이터에 대해 실험이 이루어졌고, 그 결과, 제안된 방법의 강건함과 효율성이 입증되었다.

Keywords

References

  1. Schallauer, P, Pinz, A. and Hass, W., 'Automatic restoration algorithms for 35mm film.' VIDERE: J. Comput, Vis. Res., vol. 1, No. 3, 1999
  2. Joyeux, L., Boukir, S. and Besserer, B., 'Film line scratch removal using Kalman filtering and Bayesian restoration.' WACV2000, Palm Springs, CA, Dec. 2000
  3. Bruni, V. and Vitulano, D., 'A generalized model for scratch detection. IEEE Transactions on Image Processing, Vol. 13, No. 1 44-49, 2004 https://doi.org/10.1109/TIP.2003.817231
  4. Joyeus, L. et al., 'Film line scratch removal using Kalman filtering and Bayesian restoration.' IEEE Workshop on the Application of Computer Vision. 2000
  5. Tegolo, D. and Isgro, F., 'Scratch detection and removal from static images using simple statistics and genetic algorithms.' IEEE ICIP'2001. 265-268, 2001
  6. Maddalena, L.,' Efficient methods for scratch removal in image sequences. IEEE ICIP'2001, 547-552, 2001 https://doi.org/10.1109/ICIAP.2001.957067
  7. Kokaram, A. C., 'Detection and removal of line scratches in degraded motion picture sequences.' Signal Processing, Vol. 1. 5-8, 1996
  8. Kokaram, A. C., 'Motion Picture Restoration: Digital Algorithms for Artifact Suppression in Degraded Motion Picture Film and Video.' Springer-Verlag., 1998
  9. Juyeux, L. et al., 'reconstruction of degraded image sequences. Application to film restoration.', Image and Vision Computing, Vol. 19, 503-516, 2001 https://doi.org/10.1016/S0262-8856(00)00091-3
  10. Vittoria Bruni et al., 'a Generalized Model for Scratch Detecion' IEEE transactions on image processing, Vol 13, no.1 january 2004 https://doi.org/10.1109/TIP.2003.817231