A Quality Assessment of Meta-Analyses Research in Social Work

This study was conducted to evaluate the quality of meta-analysis of social work in South Korea using the Assessment of Multiple Systematic Review (AMSTAR). Electronic databases including the Korean Studies Information Service System (KISS), DBpia, and RISS4U were searched for 'meta-analysis', 'social work', and 'social welfare' from 2000 to December 2015, and 42 meta-analysis studies were included. Data were analyzed using descriptive statistics, t-tests, and ANOVA. The mean score for AMSTAR evaluation was $4.766{\pm}1.66$, while 19 studies (45.2%) were classified at the low-quality level, and 22 (52.4%) were at the moderate-quality level. The scores of quality assessment were analyzed by publication year, participants, number of studies included, number of DB, reporting study quality, extraction diagram and topics. The findings indicated that the following changes should be implemented to improve the quality and reliability of meta-analysis results in social work research: 1) common reporting guidelines should be provided for the social work field, 2) quality analyses of each study should be conducted to achieve a high level of evidence of effectiveness of social work interventions, 3) the characteristics of the included studies should be provided, and 4) a consensus and procedure based on at least two independent data extractors should be reported.

국내 사회복지 관련 메타분석 연구의 질 평가

본 연구의 목적은 사회복지관련 메타분석 연구를 대상으로 Assessment of Multiple Systematic Reviews (AMSTAR) 도구를 이용하여 질 평가를 하기 위한 서술적 조사연구이다. '메타분석', '사회복지', '사회사업'을 키워드로하여 2000년부터 2015년에 KISS, DBpia, RISS4U 데이터베이스를 이용하여 출판된 연구 중 42개의 메타분석 연구에 대해 질 평가를 실시하였다. 수집된 자료는 기술통계, 독립집단 t-test, 일원분산분석으로 분석되었다. 평균 AMSTAR 질 평가점수는 $4.76{\pm}1.66$점이었고, 낮은 수준이 19개(45.2%), 중간 수준이 22개(52.4%), 높은 수준이 1개(2.4%)이었다. 질 평가점수는 연구의 특성인 출판년도, 대상자, 분석논문의수, DB의 수, 저널유형, 재정지원 유무, 연구의 질 평가유무, 분석대상논문을 추출흐름도 유무, 주제에 따라 차이가 분석되었다. 질 평가점수는 출판년도, DB의 수, 연구의 질 평가유무, 분석대상논문을 추출흐름도 유무에 따라 통계적으로 유의한 차이가 있었고, 4개 요인이 메타분석 연구의 질에 영향을 미치는 요인으로 51.9%의 설명력이 있었다. 본 연구는 메타분석 연구의 질을 향상시키기 위해 필요한 가이드라인을 제시하는데 기여하고 있다. 본 연구는 사회복지 분야 메타분석 연구의 질 향상과 분석 결과의 신뢰성 확보를 위하여 첫째, 메타분석 보고를 위한 공통적이고 구체적인 가이드라인을 마련하고 공유하는 것, 둘째, 근거기반의 실천적 개입을 위해서는 질 평가를 통해 근거강도가 높은 논문의 결과를 메타분석으로 합성하는 것, 셋째, 분석대상 논문의 연구특성을 제시하는 것, 마지막으로 문헌선택과 자료추출 과정에서 두 명이상의 연구자에 의한 독립적 실시와 최종 문헌추출을 위한 합의과정과 이해상충여부가 보고되어야 함을 제안하고 있다.