The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

HTCaaS(High Throughput Computing as a Service) in Supercomputing Environment

슈퍼컴퓨팅환경에서의 대규모 계산 작업 처리 기술 연구

  • 김석규 (상명대학교 게임학과) ;
  • 김직수 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소) ;
  • 김상완 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소) ;
  • 노승우 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소) ;
  • 김서영 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소) ;
  • 황순욱 (한국과학기술정보연구원 국가슈퍼컴퓨팅연구소)
  • Received : 2014.02.04
  • Accepted : 2014.03.12
  • Published : 2014.05.28
Download PDF
⟨ Previous Next ⟩

Abstract

Petascale systems(so called supercomputers) have been mainly used for supporting communication-intensive and tightly-coupled parallel computations based on message passing interfaces such as MPI(HPC: High-Performance Computing). On the other hand, computing paradigms such as High-Throughput Computing(HTC) mainly target compute-intensive (relatively low I/O requirements) applications consisting of many loosely-coupled tasks(there is no communication needed between them). In Korea, recently emerging applications from various scientific fields such as pharmaceutical domain, high-energy physics, and nuclear physics require a very large amount of computing power that cannot be supported by a single type of computing resources. In this paper, we present our HTCaaS(High-Throughput Computing as a Service) which can leverage national distributed computing resources in Korea to support these challenging HTC applications and describe the details of our system architecture, job execution scenario and case studies of various scientific applications.

슈퍼컴퓨팅 자원들은 주로 MPI와 같은 메시지 교환 인터페이스에 기반한 통신 집적도가 높은 고성능 컴퓨팅(HPC: High Performance Computing) 응용 분야를 지원하는데 활용되어 왔다. 반면에, 대규모 계산처리 컴퓨팅(HTC: High Throughput Computing) 방식의 패러다임은 주로 계산 집적도가 높고(상대적으로 적은 I/O 연산), 독립적인(작업들 간의 통신이 적음) 많은 수의 작업을 처리하는 것을 요구하고 있다. 국내에서도 고에너지 물리, 신약개발, 핵물리와 같은 연구 분야를 중심으로 대규모 컴퓨팅 자원을 요구하는 계산처리에 대한 수요가 증가하고 있다. 본 논문에서는 이러한 HTC 과학 응용들에 대한 효율적인 지원을 국가차원의 슈퍼컴퓨팅 분산 환경에서 제공하기 위해 연구/개발되어진 대규모 계산처리 서비스(HTCaaS: High Throughput Computing as a Service)의 전체 구조 및 구성 요소, 실행 시나리오 및 실제 응용 적용 사례 등에 대해 서술한다.

Keywords

References

  1. http://www.egi.eu/
  2. http://boinc.berkeley.edu/
  3. http://www.plsi.or.kr
  4. 김성준, 성진우, 장지훈, 이상동,"국가 슈퍼컴퓨팅 공동활용 환경을 위한 통합 모니터링 환경 구축", 한국콘텐츠학회 추계 종합학술대회 논문집, 제5권, 제2호(하), pp.517-521, 2007.
  5. 우준, 박석중, 이상동, 김형식,"국가 슈퍼컴퓨팅 공동활용체제 구축을 위한 글로벌공유파일시스템 성능 분석", 한국콘텐츠학회 추계 종합학술대회 논문집, 제5권, 제2호(하), pp509-512, 2007.
  6. http://research.cs.wisc.edu/htcondor/
  7. D. Thain, T. Tannenbaum, and M. Livny, "Distributed Computing in Practice: The Condor Experience," Concurrency and Computation:Practice and Experience, Vol. 17, Issue 2-4, pp.323-356, 2005. https://doi.org/10.1002/cpe.938
  8. A. Casa jusetal,"DIRAC Pilot Framework and the DIRAC Workload Management System," Journal of Physics:Conference Series, Vol.219, No.6, p.062049, 2010. https://doi.org/10.1088/1742-6596/219/6/062049
  9. http://lhcb.web.cern.ch/lhcb/
  10. I. Raicu, Y. Zhao, C. Dumitrescu, I. Foster, and Mike Wilde,"Falkon: a Fastand Light-weight tasK executiON framework," ACM/IEEE conference on Supercomputing (SC'07), 2007.
  11. I. Raicu, I. Foster, and Y. Zhao, "Many-Task Computing for Grids and Supercomputers," ACM Workshop on Many-Task Computing on Grids and Supercomputers (MTAGS'08), 2008.
  12. www.cern.ch/alice/
  13. http://alien2.cern.ch/
  14. http://cern.ch/DIANE
  15. http://autodock.scripps.edu
  16. T. T. Nguyen, H. J. Ryu, S. H. Lee, S. Hwang, V. Breton, J. H. Rhee, and D. Kim,"Virtual screening identification of novelsevere acute respiratory syndrome 3C-like protease inhibitors and in vitro confirmation," Bioorganic & Medicinal Chemistry Letters, Vol. 21, No. 10, pp.3088-3091, 2011. https://doi.org/10.1016/j.bmcl.2011.03.034
  17. T. T. Nguyen, H. J. Ryu, S. H. Lee, S. Hwang, J. Cha, V. Breton, and D. Kim, "Discovery of novel inhibitors for human intestinal maltase: virtual screening in a WISDOM environment and in vitro evaluation," Biotechnology Letters, Vol. 33, No. 11, pp.2185-2191, 2001.
  18. http://madgraph.hep.uiuc.edu/
  19. http://pythia6.hepforge.org/
  20. G. Shainer, T. Liu, J. Layton, and J. Mora, "Scheduling Strategies for HPC as a Service (HPCaaS)," IEEE Cluster Computing and Workshops, 2009.