DOI QR코드

DOI QR Code

Fast Simulated Annealing with Greedy Selection

Greedy 선택방법을 적용한 빠른 모의 담금질 방법

  • 이충열 (한국과학기술원 전자전산학과) ;
  • 이선영 (한국과학기술원 전자전산학과) ;
  • 이수민 (University of Illinois, 전자전산학과) ;
  • 이종석 (한국과학기술원 전자전산학부) ;
  • 박철훈 (한국과학기술원 전자전산학부)
  • Published : 2007.12.31

Abstract

Due to the mathematical convergence property, Simulated Annealing (SA) has been one of the most popular optimization algorithms. However, because of its problem of slow convergence in the practical use, many variations of SA like Fast SA (FSA) have been developed for faster convergence. In this paper, we propose and prove that Greedy SA (GSA) also finds the global optimum in probability in the continuous space optimization problems. Because the greedy selection does not allow the cost to become worse, GSA is expected to have faster convergence than the conventional FSA that uses Metropolis selection. In the computer simulation, the proposed method is shown to have as good performance as FSA with Metropolis selection in the viewpoints of the convergence speed and the quality of the found solution. Furthermore, the greedy selection does not concern the cost value itself but uses only dominance of the costs of solutions, which makes GSA invariant to the problem scaling.

모의 담금질 방법은 널리 사용되는 최적화 알고리즘들 중의 하나로서, 그 해의 수렴성이 수학적으로 증명되어 있는 장점이 있다. 하지만 원래의 모의 담금질 방법은 수렴 속도가 매우 느리기 때문에 복잡한 문제에 적용하기 힘들고, 이를 해결하기 위해서 빠른 모의 담금질 방법과 같은 다양한 방법이 연구되고 있다. 본 논문에서는, greedy 선택방법을 적용한 모의 담금질 방법을 제안하고, 이 알고리즘이 연속적인 공간에서의 최적화 문제에 대해서 전역 최적점을 찾아낸다는 것을 확률적으로 증명한다. greedy 선택방법은 무조건 좋은 해를 선택하기 때문에, 확률적으로 좋지 않은 해를 선택할 가능성이 있는 Metropolis 선택방법에 비해 빠른 수렴속도를 얻을 수 있다. 컴퓨터 모의 실험 결과, greedy 선택방법을 사용한 모의 담금질 방법이 기존의 빠른 모의 담금질 방법과 비슷한 성능을 보이는 해를 더 빠른 속도로 찾을 수 있음을 보인다. 또한, greedy 선택방법에서는 선택 가능한 상태들의 비용함수 값의 우열관계만을 이용하여 선택하기 때문에 비용 함수의 크기 조정에 무관하게 적용할 수 있다는 장점이 있다.

Keywords

References

  1. P. J. M. Laarhoven and E. H. L. Aarts, 'Simulated Annealing: Theory and Applications', Kluwer Academic Publishers, 1987
  2. S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi, 'Optimization by Simulated Annealing,' Science, Vol.220, pp.671-680, 1983 https://doi.org/10.1126/science.220.4598.671
  3. H. H. Szu and R. L. Hartley, 'Fast Simulated Annealing,' Physics Letters A, Vol.122, pp.157-162, 1987 https://doi.org/10.1016/0375-9601(87)90796-1
  4. H. H. Szu and R. L. Hartley, 'Nonconvex optimization by fast simulated annealing,' Proceedings of the IEEE, Vol 75, No.11, Nov. 1987
  5. T.-C. Chen and Y.-W. Chang, 'Modern floorplanning based on fast simulated annealing,' Proceedings of the ACM International Symposium on Physical Design, pp.104-112, San Francisco, California, Apr. 2005 https://doi.org/10.1145/1055137.1055161
  6. S. A. Kravitz and R. A. Rutenbar, 'Placement by Simulated Annealing on a Multiprocessor,' IEEE trans. on computer-aided design of Integrated Circuits and Systems, Vol.6, No.4, pp.534-549, 1987 https://doi.org/10.1109/TCAD.1987.1270301
  7. P. Moscato and J.F. Fontanari, 'Stochastic versus Deterministic Update in Simulated Annealing,' Physics Letters A, Vol.146, No.4, pp.204-208, 1990 https://doi.org/10.1016/0375-9601(90)90166-L
  8. http://en.wikipedia.org/wiki/Greedy_algorithm
  9. R. L. Yang, 'Convergence of the simulated annealing algorithm for continuous global optimization,' Journal of Optimization Theory and Applications, Vol.104, pp.691-716, 2000 https://doi.org/10.1023/A:1004697811243
  10. K. D. Jong, 'An analysis of the behaviour of a class of genetic adaptive systems', Ph.D. Dissertation, University of Michigan, 1975
  11. http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/area s/genetic/ga/systems/genesys/0.html
  12. D. Nam, J.-S. Lee and C. H. Park, 'N-dimensional Cauchy neighbor generation for the fast simulated annealing,' IEICE Trans. on Information and Systems, Vol.E87-D, No.11, pp.2499-2502, Nov. 2004
  13. W. Ben-Ameur, 'Computing the Initial Temperature of Simulated Annealing,' Computational Optimization and Applications, Vol.29, No.3, pp.369-385, 2004 https://doi.org/10.1023/B:COAP.0000044187.23143.bd
  14. D. Mitra, F. Romeo and A. L. Sangiovanni-Vincentelli, 'Convergence and finite-time behavior of simulated annealing,' Advances in Applied Probability, Vol.18, No.3, pp.747-771, 1986 https://doi.org/10.2307/1427186