Journal of KIISE:Software and Applications (한국정보과학회논문지:소프트웨어및응용)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

EEG-based Subjects' Response Time Detection for Brain-Computer-Interface

뇌-컴퓨터-인터페이스를 위한 EEG 기반의 피험자 반응시간 감지

  • 신승철 (한국전자통신연구원 인체정보처리팀) ;
  • 류창수 (한국전자통신연구원 인체정보처리팀) ;
  • 송윤선 (한국전자통신연구원 인체정보처리팀) ;
  • 남승훈 (한국전자통신연구원 인체정보처리팀)
  • Published : 2002.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose an EEG-based response time prediction method during a yes/no cognitive decision task. In the experimental task, a subject goes through responding of visual stimulus, understanding the given problem, controlling hand motions, and hitting a key. Considering the subject's varying brain activities, we model subjects' mental states with defining CT (cut time), ST (selection time), and RP (repeated period). Based on the assumption between ST and RT in the mental model, we predict subjects' response time by detection of selection time. To recognize the subjects' selection time ST, we extract 3 types of feature from the filtered brain waves at frequency bands of $\alpha$, $\beta$, ${\gamma}$ waves in 4 electrode pairs combined by spatial relationships. From the extracted features, we construct specific rules for each subject and meta rules including common factors in all subjects. Applying the ST detection rules to 8 subjects gives 83% success rates and also shows that the subjects will hit a key in 0.73 seconds after ST detected. To validate the detection rules and parameters, we test the rules for 2 subjects among 8 and discuss about the experimental results. We expect that the proposed detection method can be a basic technology for brain-computer-interface by combining with left/right hand movement or yes/no discrimination methods.

본 논문에서는 인지적 긍정/부정 선택 과제의 수행 시 뇌파를 이용하여 피험자의 반응시간 RT(response time)를 예측하는 방법에 관하여 기술한다. 실험 task에서 피험자는 시각적 자극에 대한 반응, 문제의 해석, 손 움직임의 조절, 손동작 등과 관련된 뇌활동을 한다. 이와 같은 피험자의 정신상태의 변화를 CT(cut time), ST(selection time), RP(repeated period) 등을 정의하여 모델링하고, 선택시간 ST를 감지하여 피험자의 반응시간 RT를 예측한다. ST를 감지하기 위하여 측정한 뇌파로부터 $\alpha$, $\beta$, ${\gamma}$파를 분리하고, 공간적인 관계를 고려하여 설정한 4쌍의 전극들로부터 3가지의 특징들을 추출한다. 추출한 특징들을 분석하여 각 피험자별로 나타나는 상세 규칙(specific rule)과 공통적인 특징들로 구성된 일반 규칙(meta rule)들을 설정한다. 8명의 피험자를 대상으로 설정한 규칙들을 적용하여 평균 83%의 ST 감지 성공률을 보이고, ST 감지 이후 약 0.73초에서 RT가 나타나는 것을 보인다. 설정한 규칙들의 타당성을 검증하기 위하여 8명 중 2명의 피험자에 대해서 재실험을 하고, 이들 데이타에 적용한 결과를 보인다. 본 논문에서 제안한 방법을 기존의 인지적인 정신상태 판별을 위한 방법들이나 왼손/오른손 동작구분 방법들과 결합하여 사용할 경우 BCI를 위한 기반 기술로 활용될 것으로 기대한다.

Keywords

References

  1. J. L. Andreassi, Psychophysiology -Human behavior & physiological response, Second Edition, Lawrence Erlbaum Associates, Publishers, Hillsdale, New Jersey, 1989
  2. R. E. Isaacs, D. J. Weber, and A. B. Schwartz, 'Work Toward Real-Time Control of a Cortical Neural Prothesis,' IEEE Transactions on Rehabilitation Engineering, vol. 8, no. 2, pp. 196-198, June 2000 https://doi.org/10.1109/86.847814
  3. E. Donchin, K.M. Spencer, and R. Wijesinghe, 'The Mental Prosthesis: Assessing the Speed of a P300-Based Brain-Computer Interface,' IEEE Transaction on Rehabilitation Engineering, vol. 8, no. 2, pp. 174-179, June 2000 https://doi.org/10.1109/86.847808
  4. P. R. Kennedy, R. R. E. Bakay, M. M. Moore, K. Adams, and J. Goldwaithe, 'Direct Control of a Computer Form the Human Central Nervous Systems,' IEEE Transaction on Rehabilitation Engineering, vol. 8, no.2, pp198-202, June 2000 https://doi.org/10.1109/86.847815
  5. L. Kirkup, A. Searle, and A. Craig, 'EEG-based system for rapid on/off switching without prior learning,' Medical Biological Engineering Computing, vol. 35, pp. 504-509, 1997 https://doi.org/10.1007/BF02525531
  6. 황재호, '생체신호처리에 의한 인간 감성 파라미터 추출-피검자 영상제시물 직접 선정기법에 의하여', 한국감성과학회지, vol. 4, no. 1, pp. 61-67, August 2001
  7. 강동기, 김동준, 김홍환, 고한우, '뇌파를 이용한 4가지 감정 분류에 관한 연구', 한국감정과학회 추계학술대회논문집, pp. 87-90, 2001
  8. I. R. Fasel, K. D. Bollacker, and J. Ghosh, 'A neural network based classifier and biofeedback device for improving clarinet tone-quality,' International Joint Conference on Neural Networks, vol. 3, pp. 1924-1928, 1999 https://doi.org/10.1109/IJCNN.1999.832676
  9. O. Jafarova and M. Shtark, 'Computer biofeedback: trends of development,' Proceedings of 4th International Conference on Actual Problems of Electronic Instrument Engineering, APEIE-98, vol. 1, pp. 162-164, 1998 https://doi.org/10.1109/APEIE.1998.768936
  10. C. W. Anderson, E. A. Stolz, and S. Shamsunder, 'Multivariate Autoregressive Models for Classification of Spontaneous Electroencephalographic Signals During Mental Tasks,' IEEE Transactions on Biomedical Engineering, Vol. 45, No. 3, March 1998 https://doi.org/10.1109/10.661153
  11. A. Schloegl, B. Schack, G. Florian, K. Lugger, M. Pregenzer, and G. Pfurtscheller, 'Classification of single trial EEG: A comparison of different parameters,' TM, Graz University, Austria, 1996
  12. G. Pfurtscheller, Ch. Neuper, D. Flotzinger, and M. Pregenzer, 'EEG-based discrimination between imagination of right and left hand movement,' Electroencephalography and clinical Neurophysiology, 103, pp. 642-651, 1997 https://doi.org/10.1016/S0013-4694(97)00080-1
  13. 신승철, '뇌파기반 휴먼-컴퓨터 인터페이스를 위한 인지적 정신상태의 분별', 대한전자공학회 하계종합학술 대회논문집-V, 24권, 1호, pp. 61-64, 2001
  14. M. J. Km, S. C. Shin, Y. S. Song, C. S. Ryu, 'Yes/No Discrimination with Spatio-Temporal Characteristics of EEG', Proceedings of IEEE Engineering in Medicine and Biology Society, Istanbul, Turkey, Oct. 25-28, 2001
  15. 경북대학교 사범대학 교육심리학 연구실, 전국 표준화 지능진단 검사 (고등학교-성인용, 15세-성인용), 중앙적성출판사, 1985
  16. E. Basar, Brain Function and Oscillations, Volume 1: Brain Oscillations - Principle and Applications, Springer-Verlag, 1998
  17. 최지연, 이경화 정희윤, 김기홍, 김현빈, 손진훈, '연령별 긍/부정 판단 과제시의 뇌파 특성', 한국감성과학회 추계학술대회논문집, pp. 255-259, 2001
  18. M. G. H. Coles, G. Gratton, and M. Fabiani, 'Event-related brain potentials' in the book, Priniples of pschophysiology-Physical, social, and inferential elements, Chapter 13, Edited by J. T. Cacioppo and L. G. Tassinary, Cambridge University Press, 1990
  19. T. Shibata, I. Shimoyama, T. Ito, D. Abla, H. Iwasa, K. Koseki, N. Yamamouchi, T. Sato, and Y. Nakajima, 'Event-related dynamics of the gamma-band oscillation in the human brain: information processing during a GO/NOGO hand movement task,' Neuroscience Research, vol. 33, pp. 215-222, 1999 https://doi.org/10.1016/S0168-0102(99)00003-6
  20. Neuroscience Research v.33 Event-related dynamics of the gamma-band oscillation in the human brain: information processing during a GO/NOGO hand movement task T. Shibata;I. Shimoyama;T. Ito;D. Abla;H. Iwasa;K. Koseki;N. Yamamouchi;T. Sato;Y. Nakajima https://doi.org/10.1016/S0168-0102(99)00003-6