서 론

설문조사란 설문지 등 여러 가지 구조화된 도구를 사용하여 자료를 수집하고 분석하는 대표적인 양적 연구이다1). 설문조사가 선호되는 이유는 그것이 필요한 정보를 수집할 수 있는 매우 효과적이고 효율적인 방법이기 때문이다2).

설문조사의 방법으로는 설문조사의 기획, 문항의 작성 및 척도 개발, 설문지 구성 및 설계, 표본, 자료 수집방법 결정 및 자료수집, 자료 분석의 과정을 거친다. 이 등3)은 이 중 설문지 개발과 관련하여 수집정보의 결정, 수집방법 결정, 개별 문항내용 결정, 응답능력과 의도를 고려한 문항설계, 질문형태의 결정, 개별문항의 표현완성, 문항순서 결정, 설문지 외형 결정, 사전조사, 오류수정, 설문지 완성의 단계를 거쳐야 한다고 하였다 이러한 과정에서 개발된 설문지의 신뢰도와 타당도를 평가하는 것은 해당설문지가 제대로 사용할 수 있는지를 알려주는 지표로 매우 중요한 의미를 지닌다4). 따라서 좋은 설문지란 결국 좋은 신뢰도와 타당도를 지닌 설문지라 할 수 있으며, 신뢰도와 타당도가 확보된 설문을 이용하는 것이 제대로 된 조사를 위한 기초라 하겠다.

변증(Pattern identification; PI)은 동양전통의학에서 활용되는 핵심적 진단기술로서5,6), WHO 에서는 환자의 주관적 증상과 객관적 징후의 포괄적 분석을 통해 질병의 위치, 병리, 원인, 환자의 상태, 즉 병위, 병성, 병인, 병상, 병기 및 치료법을 결정하고자 하는 진단행위 라고 규정하고 있다7).

그 동안 한의학 변증 연구에서는 설문을 이용해서 진단평가도구를 개발하는 연구가 꾸준히 진행되어왔다. 한국질병분류(Korea Classification of Disease; KCD) U코드 대분류 분류로 볼 때 한의병명에 따른 설문이나, 한의병증에 따른 설문, 체질병증 및 기타 변증시스템 관련한 설문지 등이 그것이다8-11). 한의학에서 변증을 시행하는데 설문지를 이용하는 방법이 많이 활용되고 있지만, 현재까지는 다른 보건학적 설문지 개발방법을 한의변증 설문지 개발에 적용하고 있다. 변증설문지 역시 설문도구의 한 종류이나, 한의학 변증분야의 특성을 잘 반영하는 방법에 대한 고려는 필요하다.

최근 의료계는 근거중심의학을 중요시 하고 있고, 한의학계에서도 표준임상진료지침을 개발하는 등 임상과 연구에서도 기준과 근거를 구축하는 추세이다12). 따라서 한의 변증 설문지 개발에서도 개발 과정과 개발 시 유의해야 할 점들을 정립할 필요가 있다.

이에 본 연구에서는 기존 한의 변증 설문지 개발과정을 조사하고, 전문가 자문을 통해 한의 변증 설문지 개발의 표준 프로세스를 제시하고 신뢰성과 타당성이 높은 변증설문지 개발의 표준지침을 제안하고자 하였다.

연구대상 및 방법

본 연구는 한의 변증 설문지 개발 표준프로세스를 정립하기 위해 기 개발된 설문지를 리뷰하여 개발 과정을 조사, 정리하였으며13)(별첨 1), 이를 임상, 연구, 통계 전문가들에게 자문 받는 과정을 거쳐, 표준프로세스와 체크리스트를 제안하는 형태로 진행되었다(Fig. 1).

Fig. 1.The order in developing Standard process and checklist. of the Questionnaire of Pattern Identification

1. 기 개발 변증설문지 개발과정 리뷰

본 연구에서는 임상에서 활용할 수준까지 개발된 기 개발된 변증설문지의 개발과정을 리뷰 하였다. 변증 설문지 개발과정은 기 개발된 변증도구 개발논문 최종 본을 기준으로 살펴보았으며, 내용이 불충분하면 관련 논문의 참고자료를 추적해 들어가서 개발과정을 찾았다.

2. 전문가 기반 한의변증 설문지 개발과정 검토 및 의견수렴

기 개발된 한의변증설문지 개발과정 및 순서에 대해 전문가들의 의견을 청취하였다. 검토는 크게 두 가지 범주로 진행되었다. 첫 번째는 기 변증설문지 개발 과정의 적절성 검토와 설문지 개발단계 의견수렴이었고, 두 번째는 도구개발에서 중요시하는 신뢰도와 타당도 평가방법의 변증활용 중요성과 향후 변증도구의 활용방향에 대한 의견수렴이었다.

참가한 전문가들은 한의 진단분야 전문가 4명, 한의 연구 분야 전문가 3명, 통계분야 전문가 1명으로 구성하였다. 전문가들의 평균 연령은 44.9세였고, 평균 경력은 18.6년으로 모두 남성이었다.

3. 한의변증설문지 개발을 위한 표준프로세스 및 체크리스트 제안

한의 변증 설문지 개발 표준프로세스 및 체크리스트는 전문가의 의견을 기반으로 개발하였다. 기 개발된 설문지의 개발과정을 참고하여 전문가들이 제안한 변증설문지 개발프로세스와 세부논의사항을 정리하였다. 이 정리한 부분을 2차례에 걸쳐 다시 피드백 하여 전문가들의 의견을 취합하여 한의변증 설문지 개발을 위한 표준프로세스와 체크리스트를 수정하는 과정을 거쳤다. 이후 내부 논의를 거쳐, 한의 변증 설문지 개발 표준프로세스 및 체크리스트를 확정지었다.

4. 통계분석

기 개발 변증설문지의 개발과정 수행 여부를 빈도분석(Frequency Analysis)을 통해 실수와 %로 표시하였다. 전문가가 검토한 의견은 100점을 기준으로 중요도를 평균으로 제시하였다. 한의변증설문지 개발 표준지침은 연구진이 초안을 만들고 2회에 걸쳐 내 외부 전문가들의 의견을 취합하여 설문개발과정과 체크리스트를 정리하였다.

결 과

1. 타당도가 확보되어 임상에서 활용되고 있는 설문지

본 연구에 활용된 설문지는 한의병명 분야에서 중풍 설문지(Korean standard pattern identification for stroke; K-SPI-Stroke), 비만변증설문지(Obesity Pattern Identification Questionnaire; OPIQ), 화병 변증 및 평가 설문지(Pattern Identifications for Hwa-byung; PIH), 식적설문지(Food Retention Questionnaire; FQ) 등 4개, 한의병명 분야에서 기혈음양허손변증설문지(Qi-Blood-Yin-Yang Deficiency Questionnaire; QBYYDQ), 어혈설문지(Blood stasis questionnaire; BSQ), 담음설문지(Phlegm patten questionnaire; PPQ), 음허설문지(Yin Deficiency Questionnaire; YDQ), 노권설문지(Lao Juan Questionnaire; LJQ) 등 5개, 사상체질변증분야에서 QSCCⅡ(Questionnaire for Sasang Constitution Classification; QSCCⅡ), SSCQ-P(Sasang Constitution Questionnaire for Patient; SSCQ-P), 의사결정나무 설문지(Decision Tree Questionnaire; DTQ), 2단계 의사결정나무 설문지(Two-Stage Decision Tree Questionnaire; TS-DTQ), 단축형 사상체질설문지(Korea Sasang Constitutional Diagnostic Questionnaire; KS-15), 2단계 체질진단 설문지(The Two-Step Questionnaire for the Constitution Diagnosis; TS-QSCD) 등 6개, 기타 분야에서 한열설문지(Cold-Heat patten questionnaire; CHQ), 한방진단시스템(Diagnosis System of Orietal Medicine; DSOM) 등 2개였다(Table 1).

Table 1.Korean standard pattern identification for stroke; K-SPI-Stroke, Obesity Pattern Identification Questionnaire; OPIQ, Pattern Identifications for Hwa-byung; PIH, Food Retention Questionnaire; FQ, Qi-Blood-Yin-Yang Deficiency Questionnaire; QBYYDQ, Blood stasis questionnaire; BSQ, Phlegm patten questionnaire; PPQ, Yin Deficiency Questionnaire; YDQ, Lao Juan Questionnaire; LJQ, Questionnaire for Sasang Constitution Classification; QSCCⅡ, Sasang Constitution Questionnaire for Patient; SSCQ-P, Decision Tree Questionnaire; DTQ, Two-Stage Decision Tree Questionnaire; TS-DTQ, Korea Sasang Constitutional Diagnostic Questionnaire; KS-15, The Two-Step Questionnaire for the Constitution Diagnosis; TS-QSCD, Cold-Heat patten questionnaire; CHQ, Diagnosis System of Oriental Medicine; DSOM.

2. 변증 설문개발 연구에서 사용하고 있는 설문개발 절차 리뷰결과

기 개발되어 임상에서 활용되는 한의 변증 설문지 개발단계는 대부분 문헌을 통한 지표 발굴, 전문가 자문위원회 구성, 지표의 타당성 검토, 언어학적 자문, 가중치 부여, 신뢰도 평가, 타당도 평가의 과정을 밟고 있었다(Fig. 2).

Fig. 2.The Developing Process in Developed Questionnaire of Pattern Identification. Korean standard pattern identification for stroke; K-SPI-Stroke, Obesity Pattern Identification Questionnaire; OPIQ, Pattern Identifications for Hwa-byung; PIH, Food Retention Questionnaire; FQ, Qi-Blood-Yin-Yang Deficiency Questionnaire; QBYYDQ, Blood stasis questionnaire; BSQ, Phlegm patten questionnaire; PPQ, Yin Deficiency Questionnaire; YDQ, Lao Juan Questionnaire; LJQ, Questionnaire for Sasang Constitution Classification; QSCCⅡ, Sasang Constitution Questionnaire for Patient; SSCQ-P, Decision Tree Questionnaire; DTQ, Two-Stage Decision Tree Questionnaire; TS-DTQ, Korea Sasang Constitutional Diagnostic Questionnaire; KS-15, The Two-Step Questionnaire for the Constitution Diagnosis; TS-QSCD, Cold-Heat patten questionnaire; CHQ, Diagnosis System of Oriental Medicine; DSOM.

3. 한의변증 설문지 개발과정과 전문가 평가

기 개발되어 임상에서 활용되는 한의 변증 설문지는 대부분 문헌을 통한 지표 발굴과 타당도 평가과정을 100% 진행하였고, 전문가 자문위원회 구성, 문항타당성 검토 88%, 신뢰도 평가 71% 중요지표 설정 및 가중치 부여과정 59%, 지표의 국문학적 검토가 18%를 차지하였다. 이에 대해 전문가들은 기 개발된 설문지가 제안한 대부분의 개발과정을 중요하게 보고 있었다. 특히 타당성 평가 과정 98%, 신뢰성 평가 과정 97%, 지표의 타당성 검토과정 91%, 가중치 부여과정 85%, 언어학적 자문 73%, 연구자문위원회 구성과정은 71%로 평가하였다(Fig. 3).

Fig. 3.The Evaluation of the Experts for Developing Process of Questionnaire of Pattern Identification.

4. 전문가 기반 한의변증 설문지 개발 절차 및 체크리스트

1) 한의변증 설문지 개발 절차

기 개발설문지가 취하고 있는 방식을 기초로 전문가들의 자문을 받아 개발한 설문지 개발 절차는 아래와 같다.

⓵ 연구진 구성, ⓶ 변증설문지 개발목표 설정, ⓷ 선행연구 조사, ⓸ 중요 지표 발굴, ⓹ 지표 검토 및 선정, ⓺ 지표를 이용한 문항개발, ⓻ 초안 개발, ⓼ 신뢰도/타당도 평가(1차), ⓽ 문항개선, ⓾ 신뢰도/타당도 검증(2차), ⑪ 개발완료 과정을 제안하였다(Fig. 4).

Fig. 4.The Developing Process for Questionnaire of Pattern Identification.

2) 전문가 기반 한의변증 설문지 개발 체크리스트

각 절차에 대해서 체크해야 할 리스트는 33개의 항목으로 설정되었다. 각 단계별로 보면 목표 설정단계에서 5개. 연구진 구성단계에서 3개. 이론, 선행연구 조사단계에서 3개. 중요 지표 발굴단계에서 3개. 지표 검토 및 선정단계에서 4개. 지표를 이용한 문항 개발단계에서 5개. 초안 개발단계에서 2개. 신뢰도/타당도 평가(1차)단계에서 2개. 문항개선단계에서 1개. 신뢰도 타당도 검증(2차)단계에서 2개. 개발완료단계에서 3개였다(Table 2)[별첨 2].

Table 2.The Checklist in Each Phage for Developing Korean Pattern Identification

5. 설문지 개발에서의 신뢰도 타당도 및 활용

그 결과 신뢰도는 검사-재검사법, 내적일치도 검사법이 중요하게 사용된다고 하였고, 타당도는 내용타당도, 이해타당도, 수렴타당도, 동시타당도, 예측타당도, 판별타당도 순으로 중요하게 평가해야 한다고 언급하였다.

1) 전문가들이 설문지 개발에서 중요하게 생각하는 신뢰도 타당도 종류

한의 변증 설문지 개발과정에서 연구자들이 신뢰도/타당도 평가를 할 때 주로 사용하는 방법에 대해 전문가들의 생각을 조사하였다. 전문가들은 신뢰도는 검사-재검사법, 내적일치도 검사법이 중요하게 사용된다고 하였고, 타당도는 내용타당도, 이해타당도, 수렴타당도, 동시타당도, 예측타당도, 판별타당도 순으로 중요하게 평가해야 한다고 언급하였다. 기타의견으로 검사도구의 특성에 따라 신뢰도, 타당도 평가방법이 달라지므로 중할 검사방법을 정하는 것은 불가능하다는 의견이 있었다(Fig. 5).

Fig. 5.The Suggested important Reliability and Validity from the Experts.

2) 한의변증 설문지 활용 방향의 전문가 견해

검사도구의 특성에 따라 신뢰도와 타당도 평가방법이 달라진다는 점에서 한의변증 설문지 활용방향에 대해 조사한 결과 전문가들은 건강평가, 변증진단, 치료평가 순으로 그 활용을 제안하였고, 이 외에 미병 예방, 임상시험 적용, 치법 수립 등에 활용할 수 있다는 의견이 있었다.

고 찰

본 연구에서는 기존 한의 변증 설문지 중 임상에서 활용 가능한 타당도가 확보된 변증설문지의 개발과정을 살펴보고, 전문가 자문을 통해 한의 변증 설문지 개발 표준 지침을 제안하는데 그 목표가 있다.

기존의 개발된 변증 설문은 한국표준질병사인분류(Korean Standard Classification of Diseases; KCD) U 코드 대분류에 따르면 체질병증에서 체질을 진단하는 설문개발이 8개로 가장 많았고, 한의병증 5개, 한의병명 4개, 기타 2개 순으로 나타났다. 체질의 경우 모든 사람을 대상으로 하기 때문에 대상자가 비교적 많고, 질병이전에 사람의 유형을 구분해야만 치료로 이어질 수 있어 체질진단의 객관화가 필요하다는 연구, 임상가들의 인식에서 나온 것으로 보인다14).

개별 설문지 개발과정을 간략히 고찰해 보면, 한방진단설문지(DSOM)15)의 경우 문헌과 기존 연구논문을 기반으로 지표를 발굴하는 단계를 거치고, 설문지 초안을 만들어 이의 신뢰도, 타당도를 평가하는 과정을 거쳐 개발되었다. 이런 과정에 전문가 위원회 구성 과정이 추가된 것이 중풍변증 설문지16,17), 식적설문지18,19), 어혈설문지20,21), 담음설문지22-24), 음허설문지25-27), 한열설문지28,29)였다. 또, 여기에 가중치 부여과정이 추가된 것이 또한 화병평가 설문지30-32) 비만변증설문지33-35)기혈음양허손 설문지36,37)였고, 노권 설문지38,39)는 이런 과정에 언어학적 검토과정도 있었다. 노권설문지를 제외한 대부분의 한의병명과 한의병증 영역의 설문은 문헌을 통한 지표발굴과정, 전문가 구성 및 자문과정, 신뢰도, 타당도 평가과정을 공유하였고, 혹은 가중치를 두거나 혹은 가중치를 두지 않고 개발되었다.

사상체질설문지(QSCC2)40)의 경우 문헌을 참고하여 지표를 발굴하고, 언어학자, 심리학자, 국어학자 등 다양한 전문가 구성단계를 거쳐 지표 타당성을 검토하였으며, 가산점 방식을 적용하여, 문항 신뢰도, 타당도 평가과정을 진행하였다. 이에 반해 SSCQ-P 설문지41,42), 의사결정나무 설문43), 2단계 의사결정나무 분석 설문44), KS 15 설문45), TS-QSCD 설문46)의 경우 국문학적 검토과정과 신뢰도 분석과정이 제외되었다. 전반적으로 사상체질설문지 개발과정은 앞서 언급한 설문지 개발과정과 비교해 볼 때 신뢰도 평가과정이 배제된 측면이 있다. 이는 설문지가 체질별 성향을 반영하므로 문항의 내적 일치도가 높지 않아 기록에서 배제되었을 가능성과 더불어 사상체질 전문가들이 체질이 변하지 않는 값으로 인식하여 검사 재검사법에 의한 체질변화 신뢰도를 살펴보지 않았을 가능성이 있다. 하지만 설문지 문항뿐 아니라 결과 값의 신뢰성을 확인하는 것은 진단도구로서의 필수적 과정이다3). 향후 체질 값의 신뢰성 확보를 위해서는 이 과정이 필요하다고 생각하며, 후속연구가 이어져야 할 것이다.

기존의 설문지개발과정에서 언어학적 검토과정이 17.6%를 차지한데 반해 본 연구 참여 전문가들은 언어학적 검토과정의 중요도를 73.1%로 다소 중요하게 보고 있었다. 전문가들은 고문헌 한자의 본래 의미를 제대로 해석하고, 더불어 대상자가 그 말을 문항에서 제대로 이해하기 위해서 국문학자의 자문이 중요하다고 생각한 것으로 보인다. 이는 최근 서양의 삶의 질 연구에서 환자들을 설문지 개발에 참여시킴으로서 환자들에게 적합한 언어표현을 찾는 것과 같이 환자의 이해와 표현을 중요시하는 것과 궤를 같이한다 하겠다47).

본 연구에서는 기 개발 변증 설문지의 개발과정을 기초로 하여 전문가 기반으로 한의변증설문개발 표준지침을 개발하였다. 그 결과 전문가들은 개발위원연구진 구성, 변증설문지 개발목표 설정, 선행연구 조사, 중요지표 타당성 검토 및 지표설정, 설문지 초안 개발, 1차 조사 후 문항 수정, 2차 조사를 통한 신뢰도, 타당도를 제안하였다. 이 등이 제안한 설문지 개발과정이 일반적 보건의료에 일반적인 과정을 제안한 것이라면48) 본 과정은, 한의학적 변증특성을 고려한 설문지 개발 지침이라는 점에서 큰 의미가 있다고 하겠다.

한의변증설문지 개발에 도움을 주고자 각 11단계 과정별로 체크리스트를 두어 33항목의 체크리스트를 개발하였다. 한의변증체계는 KCD 내 U코드로 존재하며, 이는 다시 한의병명, 한의병증, 사상체질병증으로 나뉜다. 따라서 설문지를 개발할 때 U 코드 내 어떤 분류의 변증설문지로 개발되는지 정하는 것은 중요한 부분이다. 이를 논의하고 정하기 위해 첫 번째 단계로 연구진을 구성하는 단계를 설정하였다. 연구진 구성단계에서는 적절한 연구진 구성을 세부항목으로 두었다. 연구진 구성 전문가로 주관연구자, 언어학자, 심리학자, 통계학자, 연구대상자 대표, 해당분야 기초한의학 전문가, 임상한의학전문가, 관련학회 전문가, 기타 연구자가 중요하게 판단한 사람으로 구성하였다. 다양한 분야의 전문가를 참가케 하되, 통계학자과 해당분야 전문가를 반드시 포함한 4개 분야 이상의 전문가가 참여를 필수요건으로 두었다. 본 연구에서는 연구대상자(환자), 국어학자, 심리학자 등이 들어있는데, 이는 서양의 삶의 질 연구가 의사보고 중심에서 환자보고중심으로 흘러가는 것처럼 대상자(환자)중심의 설문지 개발에 도움을 주기 위해서이다. 다만, 필수로 포함시키기에는 아직 현실적인 부분이 따라가지 못하는 점을 감안하여 비필수로 설정하였다. 변증설문지 개발 초기에 그 개념과 목표, 범주를 설정하는 것은 매우 중요하다고 생각된다. 또한 각 텍스트마다 다를 수 있는 변증개수, 현대적으로 적용할 대상자 범주는 그 목표와 범주에 맞게 고려해야 한다. 더불어 향후 변증설문지 데이터를 어떻게 모을 것인가를 논의하는 것은 기존의 설문지 기법에서도 중요하게 다루고 있는 부분으로 개발목표설정에서 논의하는 것이 적절하다고 판단하였다48). 한의변증설문지 개발 첫 번째 목표 설정단계에서는 이런 점을 감안하여 5개의 체크리스트가 만들어졌다.

연구진이 구성되고 목표가 정해지면, 해당 변증이 어떤 이론을 가지고 있고, 어떤 연구들이 있어왔는지 선행연구 조사가 필요하다. 이 단계의 목표는 변증도구의 선행연구의 흐름을 정확히 파악하기 위함으로, 이를 위해 고문헌과 현대문헌, 그리고 기 연구된 연구결과를 조사하는 것을 체크리스트로 두었다. 다만, 설문지를 개발하는 목표와 범주를 설정하기 위해 이런 조사활동들이 목표설정단계에서 선행되어도 괜찮을 것으로 생각된다. 이론과 선행연구가 조사되면, 고대의 경험이론과, 현재의 임상실제가 중요지표 발굴에 중요할 것으로 판단된다. 따라서 중요 지표 발굴단계는 선행연구 조사단계와 연계하여 고대문헌과 교재의 후보지표와 임상현장에서 중요한 후보지표 발굴, 그리고 선행연구의 지표 활용하도록 하였다.

이렇게 변증후보지표가 발굴되면, 이를 검토하여 이들 후보 중 변증설문지에 사용할 중요지표를 선정해야 한다. 이를 위해 내용 타당성, 중요성을 확인해야 하며, 이를 어떤 범주로 묶을 것인지를 논의하는 과정이 필요하다고 보았다. 따라서 지표 검토 및 선정단계에서 이를 체크하는 세 단계를 두었다. 이렇게 지표가 확정되면, 이를 문항화하는 과정을 진행하는데, 문항화 과정에서 대상자가 이를 잘 이해하고, 응답하기 쉽게 표현할 필요가 있다. 또한 목표에 적합한 질문형태를 결정하고 문항의 특성을 고려하여 위치를 배치하는 것이 중요하다. 이를 위해서 언어학적 검토를 통한 이해력을 높이고, 심리학적 검토를 통해 대상자의 응답능력과 이해능력을 향상시키는 노력이 경주되어야 하며, 긍정 혹은 부정적 질문의 질문형태를 결정되어야 한다. 이런 부분을 체크리스트 문항으로 두었다.

문항이 개발되면, 설문형태로 편집하여 초안으로 개발하고, 대상자가 해야 할 부분에 대한 설명 및 지시가 필요하다. 이를 위해 초안개발 단계에 대상자의 응답범위를 지시하고, 설문지 크기, 색깔, 무게, 글자체 등 제본방식을 설정하도록 하였다. 이후 이렇게 개발된 설문초안이 실제 잘 개발되었는지를 소수의 대상자를 상대로 파일럿 조사를 하는 것을 권장토록 하였다. 설문지 초안이 개발되면, 이 설문지의 신뢰도와 타당도 평가하게 된다. 신뢰도는 안전성과 일관성과 관계가 있고, 타당도는 설문지와 그것이 측정한다고 주장하는 개념 사이에서 얼마나 좋은 적합도와 일관성을 가지는지를 말해준다. 따라서 변증도구 설문지를 활용하기 위해서는 반드시 거쳐야 하는 과정이다. 다만, 변증설문지마다 그 특성이 달라 신뢰도와 타당도 평가법 중 적절한 방법을 선택해야 한다. 통상적으로 신뢰도 평가법으로 많이 활용하고 있는 검사-재검사법, 동형검사법, 반분검사법, 내적일치도 검사법이 많이 활용되고 있고, 타당도 평가법으로 내용타당도, 동시타당도, 예측타당도, 이해타당도, 수렴타당도, 판별 타당도가 이용되고 있다.

허 등은 일반적으로 통계학적으로 정규분포를 만족하기 위해서는 30명 이상의 대상자가 필요하다고 하였다48). 하지만, 변증유형에 따라 그 대상자 군이 적어지는 경우도 있어, 가능하면 변증유형별로 적절한 수의 대상자가 포함될 수 있도록 하는 것이 중요하다. 실제 조사 시 이 부분을 고려하여 모집 대상자수를 정해야 한다. 이렇게 신뢰도와 타당도가 평가되었을 때 고칠 부분이 없으면, 바로 설문지 개발을 완료할 수 있다. 하지만, 통상의 경우 한 번에 설문지 개발이 완료되는 경우는 거의 없다. 따라서 이 과정을 통해 수정해야 할 설문문항, 보완할 설문문항을 선정하고 문항이 너무 많을 경우 문항을 축소하게 된다. 1차 신뢰도/타당도 평가에서 나온 문제점과 수정사항의 피드백을 통하여 임상자료를 통계 분석하여 신뢰도를 떨어뜨리는 문항을 삭제, 수정, 보완하고 타당도를 떨어뜨리거나, 영향이 미미한 문항을 삭제, 수정, 보완한다. 이는 보다 완성도 높은 변증도구 설문지를 만들기 위해 다듬는 작업으로 매우 중요하다. 이런 과정을 통해 설문지가 수정되면, 수정된 변증설문지의 신뢰도와 타당도를 다시 검증해야 한다. 이 때 대상자의 수는 전과 유사하거나 더 많이 하는 것을 권장하였다. 이렇게 해서 신뢰도와 타당도가 검증되면. 이제는 설문개발을 종료하고 이를 적용할 수 있도록 하였다.

신뢰도와 타당도는 해당설문지가 제대로 사용할 수 있는지를 알려주는 지표로 매우 중요한 의미를 지닌다49).

전문가 자문결과 한의변증 설문지에서 많이 사용하는 신뢰도 방법으로 검사-재검사법과 내적 일관성 분석법을 많이 사용한다고 하였다. 검사-재검사법은 동일한 측정도구를 이용하여 동일한 상황에서 동일한 대상에게 일정기간을 두고 반복 측정하여 최초의 변증결과가 동일해야 신뢰성이 있다고 보는 것이다. 더불어 개별문항을 하나하나의 검사점수로 하여 상관관계를 구하고 이들의 평균상호상관관계가 일관성이 있어야 한다는 의미라고 할 수 있다.

내적 일관성은 검사를 구성하고 있는 부분검사, 또는 문항간의 일관성의 정도를 말한다50). 이를 변증에 적용해 보면, 한 사람이 어떤 변증인 상태라면 그 변증의 증상들이 늘 함께 나타난다는 전제가 필요하다. 그러나, 체질에서 체질별로 성향이 매우 다를 수 있는 것처럼 변증유형별로도 계통별 성향과 변증의 성향이 다를 수 있어 내적 일치도 검사법을 어떤 형태로 묶어서 봐야할지는 충분히 고려되어야 할 것이다.

타당도 검사는 측정하고자 하는 개념을 얼마나 실제에 가깝게 정확히 측정하고 있는가의 정도를 나타내는 것으로 내용타당도, 기준타당도, 구성타당도로 구성되며, 기준타당도는 다시 동시타당도, 예측타당도로, 구성타당도는 수렴타당도, 판별타당도, 이해타당도로 구성된다49). 전문가들은 한의변증에서 많이 사용하는 방법으로 내용타당도, 이해타당도, 동시타당도, 예측타당도 순으로 중요하게 사용할 것을 제안하였다. 내용타당도는 검사의 문항들이 그 검사가 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 말하는 것으로 해당 변증문항의 지표를 설문화 하는데, 중요한 영역이라 할 수 있다. 이해 타당도는 이론을 통해 만들어진 측정 항목개념끼리의 관계가 실제 조사를 진행 했을 시에도 체계적으로 나타나는지를 보는 것으로 요인분석으로 묶인 설문이 해당변증의 특징을 나타내는 것을 의미한다고 볼 수 있다. 동시타당도는 새로 개발한 검사와 기존검사를 동시에 측정하여 상관계수를 구하는 방법으로 흔히 전문가가 진단한 값을 설문지가 얼마만큼의 상관성을 가지는지 보고나 기 개발된 도구를 대체할 목적으로 사용할 수 있다. 예측타당도는 실제 대상자를 얼마만큼 예측하는 지를 보는 것으로, 변증도구에 의한 진단 값이 참값에 얼마만큼 근접하는지를 평가한다고 하겠다. 변증별로 추구하는 타당도 평가법이 다를 수 있다. 전문가 의견에서 나왔듯이 변증설문지의 신뢰도와 타당도 검증은 변증설문지가 목표하는 바에 따라 달라질 수 있으므로, 상황에 맞는 접근을 고려해야 할 것이다.

이렇게 개발한 변증설문지는 다양한 분야에 활용할 수 있을 것으로 보인다. 기존의 변증설문지가 제안한 변증진단, 건강평가, 치료평가 외 임상시험분야, 등으로 확대될 수 있을 것으로 생각한다.

본 연구에서는 한의변증설문지를 개발하고자 하는 연구자들에게 도움을 줄 한의변증설문지 개발 표준지침을 국내 최초로 제안하였다. 이는 한국에서 타당도가 확보된 변증설문지가 전체 변증설문지의 42% 수준이라는 것과, 중국에서도 신뢰도와 타당도가 확보된 변증설문지 개발이 미미하다는 현실을 고려할 때13),51) 국내외 연구자들이 변증 설문지 개발의 시행착오를 줄이고, 개발 성공률을 높이는데 기여할 것이라 생각한다. 또한 향후 한의학 변증설문지 개발 방법론의 길잡이가 되는데 도움이 될 것이다.

그럼에도 불구하고, 본 연구는 몇 가지 제한점이 있다. 첫 번째로 기존의 설문지 개발과정을 철저히 리뷰하였으나 변증설문지 개발 과정에 언급되어 있지 않은 부분들이 있을 수 있다. 그로 인해 전문가들에게 보낸 원시자료 내용이 부정확했을 가능성이 있다. 둘째로 본 연구에서 한의변증설문지 개발 표준지침이 한의계에서 처음 제안되었으나, 범용적 개념의 지침을 제안했을 뿐, 각 변증체계별 혹은 변증 범주별 특성을 고려한 개발 지침과 변증지표 선정을 위한 구체적인 방법론을 담지 못했다. 마지막으로 각 변증체계별로 적절한 신뢰도와 타당도 평가 방법을 제시하지 못했다.

최근 대전대학교 둔산한방병원은 중부권 한의약 임상시험센터에 선정되어 한의약 임상시험기술을 개발하고 있다. 이 과정에서 다양한 질환의 한의변증설문지의 개발을 계획하고 있는데, 본 연구의 변증설문지 개발프로세스를 실제 적용할 예정이다. 이를 통해, 설문지 개발순서의 적합성, 변증유형 설정, 변증지표선정 방법론, 변증의 신뢰도, 타당도 평가 등의 여러 가지 문제점들이 보완될 것으로 생각한다. 이런 과정을 통해 한국의 변증설문지 개발절차가 보완되어 전세계적으로 변증 연구자들에게 도움을 주길 기대한다.

결 론

본 연구에서는 기존 한의 변증 설문지 중 임상에서 활용 가능한 변증설문지의 개발과정을 살펴보고, 전문가 자문을 통해 한의 변증 설문지 개발의 표준 프로세스를 제안하고자 하여 다음과 같은 결론을 얻었다.

기존에 개발된 설문지는 대부분 문헌을 통한 지표 발굴, 지표의 적절성에 대한 전문가 평가, 설문지표에 대한 국문학적 자문, 가중치 부여, 신뢰도, 타당도를 조사하는 과정을 취하고 있었다.

전문가들이 제안한 한의변증 설문지 표준개발절차는 연구진 구성단계(3), 개발목표 설정단계(5), 선행연구 조사단계(3), 중요 후보지표 발굴단계(3), 지표 검토 및 선정단계(4), 지표를 이용한 문항개발단계(5), 설문지 초안 개발단계(2), 1차 신뢰도/타당도 평가단계(2), 문항개선단계(1), 2차 신뢰도/타당도 검증단계(2), 마지막으로 개발완료단계(3)를 제안하였다.

설문개발과정에서 전문가들은 신뢰도/타당도 평가를 할 때 주로 사용하는 방법으로, 신뢰도는 검사-재검사법, 내적일치도 검사법을 중요하게 평가하였고, 타당도는 내용타당도, 이해타당도, 수렴타당도, 동시타당도, 예측타당도, 판별타당도 순으로 중요하게 평가하였다.

본 연구는 기 개발된 설문지의 개발과정을 살펴 한의변증설문지를 합리적으로 개발하는 과정을 제안하였다. 본 과정은 한의변증 설문지 개발에서 놓치기 쉬운 부분을 제안한 최초의 연구란 측면에서 그 의미가 깊다고 하겠다. 향후 한의 변증 설문지를 개발할 때 본 과정프로세스를 활용하여 보다 의미 있는 변증설문지 개발 연구가 되기를 희망한다.