Inter-rater Reliability and Training Effect of the Differential Diagnosis of Speech and Language Disorder for Stroke Patients

Distinguishing aphasia in stroke patients and observing the subtle linguistic characteristics associated with it primarily requires the use of instruments that provide reliable assessment results. Additionally, examiners should be fully aware of how to use those instruments. This study examined 46 stroke patients for aphasia and assessed the reliability of their diagnoses according to examiners whose medical fields were different from each other. Furthermore, a comparison was made between the reliability before training and that after training. To this end, 46 stroke patients were tested for aphasia and in terms of their speech disorder degree by 3 groups, each of which consisted of 12 professionals (3 SLP, 3 neurologist, and 3 nurse). In the result, a rating of 'acceptable' was given for speech intelligibility tasks and the voice quality of /ah-/ prolongation, and other sub-tests were marked as 'good-excellent' by the experts with different areas of medical expertise. For the tasks marked as 'acceptable', the subjects were video-trained for 3 weeks and the differences were compared before and after their training. Consequently, the differences in the examiners' ratings in the speech intelligibility tasks showed a significant decrease and the accuracy of their voice quality ratings showed a significant increase. In the result of research on the correlation between the accuracy of the sub-test ratings and the amount of clinic experience, speech therapists developed more accuracy in rating a picture description task and a speech intelligibility task as their experience accumulated. Meanwhile, doctors and nurses showed more accurate ratings in picture description tasks with greater clinical experience. The results of this study suggest that assessing the neurologic-communicative disorders of stroke patients requires ongoing training and experience, especially for speech disorders. It was also found that the rating reliability in this case could be improved by training.

뇌졸중 환자의 말, 언어장애 선별에 대한 검사자간 신뢰도 및 훈련효과

뇌졸중 환자의 실어증 유무를 정확히 판별하고 환자의 미세한 언어적 변화를 적절히 관찰하기 위해서는 일차적으로 신뢰로운 검사도구를 사용하여야 하고, 또한 검사자가 해당 도구의 사용에 있어 충분히 숙지하고 있어야 한다. 본 연구에서는 뇌졸중 환자의 실어증 및 말장애 유무의 진단에서 검사자의 전공영역에 따른 관찰자간 신뢰도를 살펴보고 훈련 전과 후의 차이를 비교해보고자 하였다. 이를 위해, 침상에 있는 뇌졸중 환자 46명을 대상으로 언어치료사, 신경과 전공의, 그리고 간호사 각각 4명씩 총 12명이 동시에 실어증 및 말장애 유무를 평가하였다. 연구 결과, 서로 다른 전공 영역의 전문가들 간에 말명료도 과제와/아/모음연장발성 과제의 '음질' 영역에서만 'acceptable'로 나타났고, 나머지 하부검사 영역에서는 'good-excellent'로 나타났다. 관찰자간 신뢰도가 'acceptable'로 나타난 과제들에 대해 3주간의 비디오 훈련 전후의 점수 차이를 비교하였다. 그 결과, 훈련 후 말명료도 과제에서 검사자들 간의 평정 점수의 차이는 유의하게 줄어들었으며, '음질' 평정의 정확성도 유의하게 증가하였다. 임상 경험 정도와 각 하부검사에 대한 평정 정확성 간의 상관관계를 알아본 결과, 언어치료사들은 임상 경험 정도가 증가할수록 그림설명하기 과제와 말명료도 과제에서, 그리고 의사 및 간호사들은 그림설명하기 과제에서 판정 정확도가 높아지는 것으로 나타났다. 결론적으로, 이 연구 결과는 뇌졸중 환자의 의사소통장애 진단에 있어 신경언어장애 환자 중, 특히 말장애환자에 대한 꾸준한 경험과 훈련이 반드시 필요하며, 훈련을 통해 평정 신뢰도를 확보할 수 있음을 시사한다.