Journal of Broadcast Engineering (방송공학회논문지)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지
DOI QR코드

DOI QR Code

Image Restoration using GAN

적대적 생성신경망을 이용한 손상된 이미지의 복원

  • 문찬규 (연세대학교 컴퓨터과학과) ;
  • 어영정 (연세대학교 컴퓨터과학과) ;
  • 변혜란 (연세대학교 컴퓨터과학과)
  • Received : 2018.05.10
  • Accepted : 2018.07.11
  • Published : 2018.07.30
Download PDF
⟨ Previous Next ⟩

Abstract

Restoring of damaged images is a fundamental problem that was attempted before digital image processing technology appeared. Various algorithms for reconstructing damaged images have been introduced. However, the results show inferior restoration results compared with manual restoration. Recent developments of DNN (Deep Neural Network) have introduced various studies that apply it to image restoration. However, if the wide area is damaged, it can not be solved by a general interpolation method. In this case, it is necessary to reconstruct the damaged area through contextual information of surrounding images. In this paper, we propose an image restoration network using a generative adversarial network (GAN). The proposed system consists of image generation network and discriminator network. The proposed network is verified through experiments that it is possible to recover not only the natural image but also the texture of the original image through the inference of the damaged area in restoring various types of images.

손상된 영상의 복원은 디지털 영상 처리기술이 등장하기 이전부터 시도되었던 근원적 문제이다. 컴퓨터의 연산 능력과 다양한 기술의 발전에 따라 손상된 영상을 복원하는 다양한 연구가 소개되었으나 그 결과는 사람에 의한 수동적 결과물과 비교하여 낮은 복원 결과를 보여 왔다. 최근 심층 신경망 (DNN, Deep Neural Network)의 발전으로 이미지 복원에 이를 적용한 다양한 연구가 소개 되고 있지만, 광범위한 영역이 손상된 경우 근접한 화소를 활용하는 방법으로 해결이 어렵다. 이와 같은 경우는 주변의 영상의 문맥적 정보를 통해 손상된 영역을 추론을 통한 복원이 필요하다. 본 논문에서는 심층 신경망 기술 중 하나인 적대적 생성신경망(GAN, Generative Adversarial Network)을 이용한 이미지 복원 네트워크를 제안한다. 제안하는 시스템은 이미지 생성 네트워크, 생성 결과 판별 네트워크로 구성 된다. 본 논문에서는 제안하는 방안을 통해 다양한 종류의 이미지를 복원함에 있어서 훼손된 영역의 추론을 통하여 자연스러운 영상 복원뿐 아니라 원본 영상의 질감까지 복원이 가능함을 실험을 통해 확인 하였다.

Keywords

References

  1. I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville and Y. Bengio, "Generative Adversarial Nets," International Conference on Neural Information Processing Systems, pp. 2672-2680, 2014.
  2. G. E. Hinton and R. R. Salakhutdinov, "Reducing the dimensionality of data with neural networks," Science, Vol. 313, pp. 504-507, 2006. https://doi.org/10.1126/science.1127647
  3. D. Pathak, P. Krähenbühl, J. Donahue, T. Darrell and A.A. Efros, "Context Encoders: Feature Learning by Inpainting," IEEE International Conference on Computer Vision and Pattern Recognition, pp.2536-2544, 2016.
  4. S. Iizuka, E. Simo-Serra and H. Ishikawa, "Globally and locally consistent image completion," ACM Transactions on Graphics, Vol. 36, No. 4, 2017.
  5. O. Ronneberger, P. Fischer, and T. Brox. "U-net: Convolutional networks for biomedical image segmentation," International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 234-241, 2015.
  6. C. Doersch, S. Singh, A. Gupta, J. Sivic, and A. A. Efros, "What makes paris look like paris?," ACM Transactions on Graphics, Vol. 31, No. 4, 2012.
  7. T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar and C. L. Zitnick, "Microsoft COCO: common objects in context," European Conference on Computer Vision, pp. 740-755, 2014.
  8. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770-778, 2016. 3,
  9. G. Huang, Z. Liu, K. Q. Weinberger, and L. van der Maaten. Densely connected convolutional networks. arXiv preprint arXiv:1608.06993, 2016
  10. J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In ECCV, 2016.
  11. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In International Conference on Learning Representations (ICLR), 2015.
  12. C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Aitken, A. Te- jani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super-resolution using a generative adversarial network. In CVPR, 2017