Pitch Estimation Method in an Integrated Time and Frequency Domain by Applying Linear Interpolation

선형 보간법을 이용한 시간과 주파수 조합영역에서의 피치 추정 방법

  • Kim, Ki-Chul (Dept. of Information and Communication Engineering, Sejong University) ;
  • Park, Sung-Joo (Korea Electronics Technology Institute) ;
  • Lee, Seok-Pil (Korea Electronics Technology Institute) ;
  • Kim, Moo-Young (Dept. of Information and Communication Engineering, Sejong University)
  • 김기출 (세종대학교 정보통신공학과) ;
  • 박성주 (전자부품연구원 디지털미디어연구센터) ;
  • 이석필 (전자부품연구원 디지털미디어연구센터) ;
  • 김무영 (세종대학교 정보통신공학과)
  • Received : 2010.07.05
  • Published : 2010.09.25

Abstract

An autocorrelation method is used in pitch estimation. Autocorrelation values in time and frequency domains, which have different characteristics, correspond to the pitch period and fundamental frequency, respectively. We utilize an integrated autocorrelation method in time and frequency domains. It can remove the errors of pitch doubling and having. In the time and frequency domains, pitch period and fundamental frequency have reciprocal relation to each other. Especially, fundamental frequency estimation ends up as an error because of the resolution of FFT. To reduce these artifacts, interpolation methods are applied in the integrated autocorrelation domain, which decreases pitch errors. Moreover, only for the pitch candidates found in a time domain, the corresponding frequency-domain autocorrelation values are calculated with reduced computational complexity. Using linear interpolation, we can decrease the required number of FFT coefficients by 8 times. Thus, compared to the conventional methods, computational complexity can be reduced by 9.5 times.

본 논문은 피치를 추출하는 방법으로 자기상관을 이용하였다. 시간과 주파수 영역의 자기상관은 서로 다른 특성을 가지고 있으며, 각각 피치주기와 기본주파수에 대응된다. 본 논문에서는 시간과 주파수 영역에서의 자기상관을 결합하는 방법을 이용하였다. 이 방법은 자기상관에서 발생하는 피치 doubling과 having 에러를 크게 개선시킬 수 있었다. 하지만, 시간과 주파수 영역에서 유성음의 주기적 특성인 피치주기와 기본주파수는 서로 역수 관계이며, 특히 기본주파수의 에러는 FFT의 분해능에 의하여 발생된다. 이러한 영향을 줄이기 위하여 시간 영역과 주파수 영역에서의 자기상관 결합에 보간법을 적용함으로써 피치 검출율을 향상 시킬 수 있었다. 자기상관을 결합할 때 시간영역에서 찾은 피치후보들에 대해서만 주파수영역의 자기상관을 구함으로써 계산량은 감축될 수 있었다. 또한, 선형보간을 이용하여 기존방법 보다 FFT 계수를 8배 줄일 수 있었다. 그 결과, FFT 연산량과 주파수영역의 자기상관 계산량을 크게 감축하여 기존 방법 대비 알고리즘 처리시간을 약 9.5배 줄일 수 있었다.

Keywords

References

  1. 손상목, 홍성훈, 배명진, "IMBE VOCODER의 피치검색시간 단축에 관한 연구," 대한전자공학회 학술대회 논문집, vol. 10, no. 1, pp. 271-274, 1997.
  2. Y. J. Kim and J. H. Chung, "Pitch synchronous cepstrum for robust speaker recognition over telephone channels," IET Electronics letters, vol. 40, no. 3, pp. 207-209, 2004. https://doi.org/10.1049/el:20040146
  3. H. Singer and S. Sagayama, "Pitch dependent phone modelling for HMM based speech recognition," in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, vol. 1, pp. 273-276, 1992.
  4. S. -P. Heo, M. Suzuki, A. Ito, and S, Makino, "An effective music information retrieval method using three-dimensional continuous DP," IEEE Trans. MULTIMEDIA, vol. 8, no. 3, pp. 633-639, 2006. https://doi.org/10.1109/TMM.2006.870717
  5. J.-S. R. Jang and H. -R. Lee, "A general framework of progressive filtering and its application to Query by Singing/Humming," IEEE Trans. Audio, Speech, Language process., vol. 16, no. 2, pp. 350-358, 2008. https://doi.org/10.1109/TASL.2007.913035
  6. 박호종, 윤제열, "오디오 신호의 다중 피치 검출 기술," 대한전자공학회 전자공학회지, vol. 37, no. 1, pp. 63-72, 2010.
  7. ITU-T Recommendation G.729, Coding of Speech at 8 kbit/s using Conjugate-Structure Algebraic-Code-Excited Linear-Prediction (CS-ACELP).
  8. M. Antonelli and A. Rizzi, "A Correntropy-based voice to MIDI transcription algorithm," in Proc. IEEE int. Multimedia Signal Processing Workshop, pp. 978-983, 2008.
  9. Y. D. Cho, M. Y. Kim, and S. R. Kim, "A spectrally mixed excitation (SMX) vocoder with robust parameter determination," in Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing, vol. 2, pp. 601-604, 1998.
  10. 한민수, 강동규, "유성음의 프레임별 피치검출," 대한전자공학회 학술대회 논문집, vol. 9, no. 1, pp. 491-494, 1996.
  11. A. de Cheveigne and H. Kawahara, "YIN, a fundamental frequency estimation for speech and music," J. Acoust. Soc. Amer., vol. 111, no. 4, pp. 1917-1930, 2002. https://doi.org/10.1121/1.1458024
  12. A. Klapuri, "Multipitch analysis of polyphonic music and speech signals using an auditory model," IEEE Trans. Audio, Speech, Language Process., vol. 16, no. 2, pp. 255-266, 2008. https://doi.org/10.1109/TASL.2007.908129
  13. A. M. Noll, "Cepstrum pitch determination," J. Acoust. Soc. Amer., vol. 44, no. 6, pp. 1585-1968, 1968. https://doi.org/10.1121/1.1911300
  14. C. DeBoor, "A Practical Guide to Splines", New York: Springer-Verlag, 1978.
  15. J.-S. R. Jang, "QBSH: A Corpus for designing QBSH (query by singing/humming) systems", Available at the "QBSH Corpus for Query by Singing/Humming" Link of the "Corpus page" at the organizer's homepage. [Online]. Available: http://www.cs.nthu.edu.tw/~jang