Estimating the Accuracy of Polygraph Test

폴리그라프 검사의 정확도 추정

  • Jin-Sup Eom (Department of Psychology Chungbuk National University) ;
  • Hyung-Ki Ji (Forensic section S.P.P.O. in Korea ) ;
  • Kwangbai Park (Department of Psychology Chungbuk National University)
  • Received : 2008.08.05
  • Accepted : 2008.10.10
  • Published : 2008.11.30

Abstract

The present study examined the accuracy of polygraph tests through two types of statistical methods with unknown ground truth. One method evaluated the accuracy based on the rates of agreements between polygraph test results of crime suspects and prosecutors' indictment decisions for them. Those crime suspects were tested with polygraph by the Prosecutors' Office of the Republic of Korea between 2000 and 2004. The other method estimated the accuracy by using the latent class analysis based on the frequency distributions of the polygraph results and indictments during 2006. Excluding cases that were 'inconclusive' on the polygraph test, the study showed that the accuracy of the polygraph tests is .914 (SE=.004) for the 2000-2004 data, and .885 (SE=.021) for the 2006 data. With the inclusion of 'inconclusive' cases in the 2006 data, the results from the latent class analysis showed the accuracy in the range between .707 and .734 (SE=.027~.031), with false positives between .078 and .087 (SE=.019~.023), and false negatives between .029 and .078 (SE=.010~.023). The probability that the polygraph test correctly classifies subjects appeared to be in the range between .912 and .925 (SE=.013-.016) for those who lie, and in the range between .867 to .955 (SE=.011-.040) for those who tell the truth.

본 연구에서는 실체적 진실을 알지 못하는 상황에서 두 가지의 통계적인 방법을 이용하여 폴리그라프 검사의 정확도를 추정하였다. 한 가지는 대검찰청과 지방검찰청에서 2000년부터 2004년까지 범죄피의자를 대상으로 수행한 폴리그라프 검사와 검찰처분(기소여부)의 일치율을 이용하여 폴리그라프 검사의 정확도를 추정하였으며, 다른 한 가지는 대검찰청과 지방검찰청에서 2006년에 수행한 폴리그라프 검사결과와 검찰처분의 빈도분포를 가지고 잠재계층분석을 이용하여 정확도를 추정하였다. 판단불능으로 결정된 사례를 제외하고 산출한 일치율로 폴리그라프 검사의 정확도를 추정한 결과, 2000-2004년 자료의 경우는 정확도가 .914(SE=.004)로 산출되었으며, 2006년 자료의 경우는 정확도가 .885(SE=.021)인 것으로 산출되었다. 2006년 자료에 판단불능 사례를 포함한 후 잠재계층분석을 이용하여 폴리그라프 검사의 정확도를 추정한 결과, 정확도가 .707~.734(SE=.027~.031)인 것으로 산출되었으며, 오류긍정율과 오류부정율은 각각 .078~.087(SE=.019~.023)과 .029~.078(SE=.010~.023)으로 추정되었다. 거짓을 말하는 사람을 정확하게 판별할 확률은 .912~.925(SE=.013~.016)로 높게 나타났고, 진실을 말하는 사람을 정확하게 판별할 확률은 .867~.955(SE=.011~.040)이었다.

Keywords

Acknowledgement

이 논문은 2007년도 정부(과학기술부)의 재원으로 한국과학재단의 지원을 받아 수행된 연구임(M10740030003-07N4003-00310)

References

  1. 김 혁, 박판규, 이강희, 김현택 (2008). 관련자극과 무관련자극에서 사건관련전위 비교분석연구, 2008 한국심리학회 연차학술대회 논문집, 122-123.
  2. 김시업, 전우병, 김경하, 김미영, 전충현 (2005). 용의자의 거짓말 탐지를 위한 비언어적 단서탐색, 한국심리학회지: 사회 및 성격, 19(1), 151-161.
  3. 김시업, 전우병, 전충현 (2006). 군 수사현장에서 용의자의 비언어적 행동을 이용한 거짓말 탐지, 한국심리학회지: 사회문제, 12(2), 101-114.
  4. 노진아, 현명호 (2008). 거짓말의 음성 및 발화 행동 특징 연구, 한국심리학회지: 일반, 27(1), 119-137.
  5. 대검찰청 (2008). 2007년 종합심사분석. 서울:대검찰청.
  6. 박광배 (2002). 법심리학. 서울:학지사
  7. 박광배 (2006). 범주변인분석. 서울:학지사
  8. 전우병, 김시업 (2005). 이해득실 상황에 따른 거짓말 탐지에 대한 주관적 지표 - 대학생, 교도관, 재소자들을 대상으로 -, 한국심리학회지: 사회문제, 11(4), 1-22.
  9. 정도연 (2006). 거짓말 탐지기 검사의 신뢰성 확보와 적절한 운영 방안. 경북대학교. 석사학위논문.
  10. 조은경 (2006). 폴리그라프 검사의 타당성 및 행동분석과의 상관성 연구. 2006 대검찰청 정책연구용역과제 최종보고서.
  11. 지형기, 정재영, 강민국, 김재홍, 김미영, 정규희, 이장한 (2008). 폴리그라프 검사의 타당성에 관한 연구, 제4회 심리생리검사 관세미나자료집, 57-81.
  12. 함지선, 이장한 (2007). 가상의 범죄환경과 뇌파를 이용한 거짓말 탐지 연구, 2007 한국심리힉회 연차학술대회 논문집, 524-525.
  13. Abrams, S. (1973). Polygraph Validity and Reliability-a Review. Journal of Forensic Sciences, 18, 313-326.
  14. Albert, P. S., McShane, L. M., & Shih, J. H. (2001). Latent class modeling approaches for assessing diagnostic error without a gold standard: With applications to p.53 immuno- histochemical assays in bladder tumors. Biometrics, 57, 610-619.
  15. Albert, P. S., & Dodd, L. E. (2004). A Cautionary Note on the Robustness of Latent Class Models for Estimating Diagnostic Error without a Gold Standard. Biometrics, 60, 427-435.
  16. Altman, D. G. (1991). Practical statistics for medical research. London: Chapman and Hall.
  17. Ansley, N. (1990). Validity and Reliability of Polygraph decisions in Real Cases. Polygraph, 19(3), 169-181.
  18. Ben-Shakhar, G., & Furedy, J. (1990). Theories and applications in the detection of deception. New York: Springer-Verlag.
  19. Clark, J. P., & Tifft, L. L. (1966). Polygraph and interview validation of self reported deviant behavior, American Sociological Review, 31, 516-523.
  20. Clogg, C. C. (1977). Unrestricted and restricted maximum likelihood latent structure analysis: a manual for users. Working paper 1977-09, Pennsylvania State University, Population Issues Research Center.
  21. Crocker, L. M., & Algina, James. (1986). Introduction to Classical and Modern Test Theory. New York: Holt, Rinehart and Winston, Inc.
  22. Efron, B. Tibshirani, R. (1993). An Introduction to the Bootstrap. New York: Chapman and Hall.
  23. Faraone, S. V., & Tsuang, M. T. (1994). Measuring diagnostic accuracy in the absence of a "gold standard". American Journal of Psychiatry, 151, 650-657.
  24. Horvath, F. S., & Reid, J. E. (1971). The reliability of polygraph examiner diagnosis of truth and deception. The journal of Criminal Law, Criminology and Police Science, 62, 276-281.
  25. Kassin, S. M. (1997). The psychology of confession evidence. American Psychologist, 52, 221-233.
  26. Kircher, J. C., Horowitz, D. W., & Raskin, D. C. (1988). Meta-analysis of mock crime studies of the control question polygraph technique. Law and Human Hebavior, 12, 79-90.
  27. Lykken, D. T. (1998). A Tremor in the Blood: Uses and Abuse of Lie Detection. Now York: Plenum Trade.
  28. Morris, R. A. (1989). The admissibility of evidence derived from hypnosis and polygraph. In D. C. Raskin (Eds.), Psychological Methods in Criminal Investigation and Evidence. New York: Springer.
  29. National Research Council. (2003). The Polygraph and Lie Detection. Washington, D.C.: National Academies Press.
  30. Pepe, M. S., & Janes, H. (2007). Insight into latent class analysis of diagnositic test performance. Biostatistics, 8, 474-484.
  31. Raskin, D. C. (1987). Methodological issues in estimating polygraph accuracy in field applications. Canadian Journal of Behavioural Science, 19, 389-404.
  32. Raskin, D. C., & Honts, C. R. (2002). The Comparison Question Test. In Murray Kleiner (Ed.), Handbook of Polygraph Testing. San Diego: Academic Press.
  33. Rindskope, D., & Rindskopf, W. (1986). The Value of Latent Class Analysis in Medical Diagnosis. Statistics in Medicine, 5, 21-27.
  34. Spencer, B. D. (2007). Estimating the Accuracy of Jury Verdicts. Journal of Empirical legal Studies, 4, 305-329.
  35. U.S. Congress, Office of Technology Assessment. Scientific Validity of Polygraph Testing: A Research Review and Evaluation -A Technical Memorandum. OTA-TM-H-15, November, Washington D.C.: U.S. Government Printing Office. 1983, p.52.
  36. Wasserman, S., & Bockenholt, U. (1989). Bootstraping: Applications to Psychophysiology. Psychophysiology, 26, 208-221.