I. Introduction
2020년 우리는 흑사병, 스페인 독감 이후로 21세기 사상 최초의 대유행 질병인 코로나19를 경험하게 되었다. 현재, 전세계가 종식 선언을 하고 난 지금도 여전히 질병의 잔재는 남아있다. 코로나19는 우리의 생각과 생활방식까지 바꾸어 놓았으며, 앞으로도 이러한 대유행 질병들이 다시 창궐할 수 있다는 두려움을 안겨주었다. 대중들은 코로나19를 겪으면서, 질병보도에 대한 관심이 더 커지게 되었고, 건강 관련 보도는 모두의 주된 관심사가 되었다.
코로나의 발생부터 확산, 그리고 대응방안의 핵심인 코로나19 백신의 등장에 발맞추어 언론도 일련의 상황에 주의를 기울이며 관련 내용을 계속해서 쏟아내고 있다. 하지만 언론은 사실 및 현상을 보도할 때, 단순히 우리에게 정보전달의 역할만 행하지는 않는다. 언론은 사건을 전달할 때, 의견이나 의도 등을 포함한 일련의 틀, 즉 프레임을 만들어 재구성하기 때문이다.
다시 말해, 언론은 사건을 객관적으로 전달해주는 역할이 아닌, 일정한 틀로 재구성해서 전달하는 매개체라고 할 수 있다(우형진, 2006; Entman, 1993; Gamson & Modigliani, 1989; Pan & Kosicki, 1993)[1][2][3][4]. 버거와 루크만(Berger & Luckmann, 1966)이 제시한 ‘현실의 사회적 구성 이론’처럼 언론 보도는 인식 틀에 의해 생산되기도, 현실을 재구성하는 역할이 되기도 한다[5]. 언론의 보도가 사실을 있는 그대로 전달하는 것이 아니라, 각각의 프레임(Frame, 틀)이라는 특정한 방식을 갖고 보도된다는 뉴스 프레임은 이미 많은 학자들에 의해 연구되었다. 아이엔가(Iyengar, 1991)에 의하면 프레임은 현실을 바라보는 다양한 시각 중에서도 특정한 측면을 선택하고 부각시키는 도구로 설명되어 진다[6]. 또, 갬슨과 모딜리아니(Gamson & Modigliani, 1989)는 특정한 시각으로 재 구성한 프레임이 뉴스를 통해 전달된다고 말하고 있다.
서로 다른 언론 보도 프레임을 접한 수용자들은 같은 사안에 대해서도 해석이 달라질 수 있으며, 사회적 문제를 대하는 태도까지 크게 영향을 받을 수 있다는 점에서 언론 보도 프레임의 중요성을 생각해 볼 수 있다(손지형, 하승태, 이범수, 2013)[7]. 치열하고 경쟁적인 보도 환경에 놓여있는 언론사들은 뉴스를 ‘상품’이자 ‘콘텐츠’로 생산해야 한다는 부담이 있다. 하지만 질병보도라는 특성상 뉴스는 반드시 과학적인 근거에 기반한 정확한 보도를 통해 사회혼란의 가능성을 최소화시켜야 한다(송해룡, 조항민, 2015)[8].
미디어가 어떤 프레임으로 질병을 다루는지에 대한 연구는 쉽게 찾아볼 수 있다. 질병 보도에서의 내용적 보도 프레임은 공중 의제 중심 프레임, 재난인식 프레임, 신종플루 발생원인 프레임, 경제적 결과 프레임, 갈등적 프레임, 인간적 흥미 프레임, 책임·도덕 프레임과 불안·공포 프레임 등 다양하게 모습을 나타내고 있다(김효경, 권상희 2011; Xie Siqi, 2016)[9]. 선행연구에서 H1NⅠ 바이러스, 이른바 신종플루를 대상으로 한 분석 연구를 많이 볼 수 있는데, H1NⅠ백신 프로그램에 대한 캐나다 신문 기사의 내용(content)과 톤(tone)을 분석한 라울(Rachul, et. al., 2011)의 연구는 캐나다의 인쇄 매체들이 백신 프로그램에 대해 긍정적인 반응을 나타냈으나 기사가 백신의 안전이나 효과를 알릴 수 있는 증거에 대해서는 거의 보도하지 않은 점을 꼬집고 있다[10]. 또 국내 연구에서도 보건과 관련된 이슈는 미디어의 역할이 개인 및 지역사회의 건강관리 의제 설정 및 태도 변화에 있어 중요한 촉진제 역할을 한다고 강조하고 있다(주영기, 유명순, 2010)[11].
이렇듯 코로나19 백신과 관련된 언론 보도들도 각 언론사마다 단순히 정보를 전달하는데 그치는 것이 아니라 여러가지 프레임을 통해 현실을 재구성하고 있으며, 이는 사람들에게 큰 영향을 끼치고 있다. 전대미문의 긴박한 보건위기 속에서 코로나19의 백신 개발과 접종이라는 행위 역시 전 세계적으로 충분한 수준의 준비 시간이 주어지지 않았기 때문에, 이를 보도하는 언론의 사회·윤리적 타당성 및 방향성에 대한 합리적인 평가와 숙의의 시간 또한 부족한 것이 사실이다. 따라서 본 연구에서는 코로나19 백신과 관련된 언론 기사들이 주로 어떠한 프레임을 통해 보도되고 있는지 살펴보고, 이러한 프레임이 가지는 궁극적인 의도와 목적을 확인함으로써 향후 질병 보도의 바람직한 방향성에 대해 고찰해보고자 한다.
이를 위해 본 연구는 귀납적 방법을 통해 프레임을 분석하였는데, 이는 연구자가 사전에 프레임을 정의하고 뉴스에 해당 프레임이 얼마나 제시되고 있는가를 검증하는 연역적 방법이 가지는 한계를 극복하기 위함이다. 코로나19 백신의 경우 전례 없는 특수한 상황에서 이전의 백신 보도와는 다르게 장기간에 걸친 대량의 보도가 나오고 있는데, 선행 연구의 유목을 활용하는 연역적 방법만 사용하는 연구로는 부족하기 때문이다.
따라서 본 연구는 대량으로 생산되는 코로나19 백신 보도가 가지는 프레임을 빅데이터 기반의 귀납적 방법을 통해 분석하고, 이를 통해 도출된 새로운 형태의 프레임들이 가지고 있는 목적성과 방향성을 면밀하게 도출함으로써, 기존에 통용되는 프레임들과의 관계까지 확인해보고자 한다. 이를 위해 본 연구는 최근 다양한 분야에서 활용되고 있는 빅데이터 분석방법 중 ‘구조적 토픽 모델링(STM)’ 및 ‘의미연결망 분석’을 통해 코로나19 백신 관련 언론 보도의 의제 설정 및 프레임 분석의 시각화를 시도하였다. 이는 다양한 이슈를 시시각각 매우 빠른 속도로 양산하고 있는 코로나19라는 위기 상황에서, 사람들의 관심도가 집중되고 있는 ‘백신’이라는 구체적인 주제를 중심으로 언론보도 이면에 자리한 프레임의 면모를 확인하는 가장 효과적인 수단이라고 판단된다.
우리나라도 코로나19 백신 접종률이 70%를 돌파하였고, 세계 각국에서는 점차 위드 코로나 시대가 도래하고 있다. 하지만 언제든지 제2의 코로나가 또다시 등장할 것이라는 전문가들의 의견이 뒤따르는 만큼, 인류는 또 다른 형태의 ‘팬데믹(pandemic, 전염병의 대유행)’을 준비할 수밖에 없다. 따라서 본 연구를 통해 향후 발생할지도 모르는 또 다른 팬데믹에 대한 언론 보도가 보다 올바른 프레임을 기반으로 양산되기를 기대한다.
II. Preliminaries
1. Related works
1.1 News Frame
뉴스 프레임은 연역적 방법 및 귀납적 방법(Semetko & Valkenburg, 2000; 김춘식, 이영화, 2008)의 두 가지 연구방법을 통해 도출할 수 있다[12]. 먼저 연역적 방법이란 특정한 프레임을 미리 정의한 후에, 관련 뉴스를 특정 프레임 항목에 적용함으로써 이를 논리적으로 검증하는 방법이다. 지금까지 대부분의 프레임 연구는 연역적 방법으로 이루어져 왔다. 즉, 연구자가 먼저 가설을 정하고 만들어진 유목을 통해 뉴스 보도의 프레임이 나타난 것이다. 세멧코와 발켄버그(Semetko & Valkenburg, 2000)가 유형화한 다섯 가지의 프레임이 일반적이고 보편적인 속성을 가지고 있지만, 우리 사회에 발생하는 사건이나 사고는 일반적 프레임만으로 규정 짓기에는 한계가 있어 보인다. 즉, 연역적 방법을 활용하는 경우에는 프레임의 종류가 제한적일 수 있어 특정 프레임에 맞지 않는 기사를 그 프레임 속에 억지로 끼워 맞추어 버리는 문제점들이 발생하기도 한다(Iyengar, 1991; Iyengar & Simon, 1993; 김선남, 2002; 김춘식, 이영화, 2008; 양정혜, 2001; 우형진, 2006)[13][14][15][16]. 대표적인 예로 2014년 발생한 세월호 사고에 대한 뉴스 프레임 연구에서는 뉴스 정보, 사고평가, 책임 소재, 문제해결 등 몇 가지의 제한적이고 편향성 항목으로 분석했다는 점에서 사고의 실체를 전체적으로 파악하는 데는 한계가 있다고 말했다(이완수, 배재영, 2015)[17]. 그러면서 향후 연구에서는 언론 보도 내용에 대한 질적 분석을 통해 사고의 실체적 맥락과 구성 및 재현에 대한 관찰의 필요성을 언급했다. 또, 프레임 연구가 기존에 도출된 프레임의 틀로 특정 보도를 일반화 한 점에 대하여 설정부터 연구자의 주관이 많이 개입되는 한계를 지니는 만큼, 향후 연구에서는 정밀하게 프레임을 도출하는 것이 필요하다고 언급함으로써 연역적 방법에 대한 한계점 및 개선 방안을 제시하였다(손지형, 하승태, 이범수, 2013). 김원용과 이동훈(2005) 역시 프레임 연구가 언론 보도의 심층적 · 거시적 분석이 가능한 장점을 갖고 있지만, 보편적 프레임 유형화로 인해 사건을 다양한 주제로 접근하지 못한 점을 한계로 보고, 추가 연구의 필요성을 주장했다[18]. 즉, 정해진 프레임으로 뉴스 보도를 분석하는 연역적 방법은 전통적인 프레임 연구방법으로서 보다 논리적이고 체계적인 연구와 분석을 할 수 있다는 분명한 장점이 있지만, 그에 따른 한계도 존재한다고 볼 수 있다.
그에 반해, 귀납적 방법이란 각각의 개별적인 뉴스 기사에 대한 세부적인 내용, 주제, 관점 등을 고려한 후에 이들을 종합하여 프레임을 도출하는 방법이다. 귀납적 방법은 관찰된 많은 사실 중에서 공통적인 유형을 찾아내고 유형들을 객관적으로 증명하기 위한 기술적 분석방법을 적용하는데, 이는 특정 전제를 가지고 시작하는 연역적 방법에 비해 객관적이고 중립적인 관찰로 파악한다는 특징이 있다. 이는 사회현상의 복잡성, 불확실성, 모호한 관계를 분석하는데 적합하다.
이에 본 연구에서는 기존의 연역적 연구방법이 아닌 귀납적 연구방법을 통하여 연구방법의 확장을 가져오고자 한다. 이는 연역적 방법이 주로 사용되었던 뉴스프레임 연구가 새로운 방법으로 어떻게 나타나는지 살펴보고, 기존 연구방법이 갖는 한계를 풀어 보는데 의미가 있다. 특히 최근 새롭게 부각되고 있는 빅데이터를 활용한 귀납적 연구를 통해 기 구축한 프레임 외에 새로운 종류의 프레임이 도출되는지 살펴보고자 한다. 즉, 연역적 연구에서 프레임 가설을 설계하는데 연구자의 주관이 많이 들어간 점과 많은 양의 데이터를 처리하기 어려웠던 한계점을 보완하고 개선하기 위해 빅테이터 기반의 귀납적 연구방법을 적극 활용하는데 의의가 있다고 하겠다. 이는 탐색적 연구로서의 빅데이터 연구를 실행함으로써 가설 없이 언론 보도에 담긴 프레임을 정확하게 파악하고, 우리가 놓치고 있을지도 모르는 프레임까지 다양하게 찾을 수 있는 장점을 가져오는 새로운 프레임의 시각화 시도라고 할 수 있다.
1.2 Risk Communication and Health
효과적인 위기관리를 위해서는 진행 단계에 따라 전략의 변화가 필요하다(김영욱, 2008). 스터지스(Sturges, 1994)가 주장한 효율적 커뮤니케이션 전략에 의하면 위기가 발생했을 시, 가장 중요한 것은 정보 중심의 커뮤니케이션이다.
위기가 불가피한 특징이 있는 반면, 어떻게 관리하느냐에 의해 기회의 요소가 되기도 한다(김영욱, 2008). 카메론과 그의 동료들(Cameron, et al., 2008)의 4단계 모델은 위기 커뮤니케이션이 공중들 간의 대화를 통해 피해를 최소화 시킬 수 있다고 나타내었다.
위기 상황에서 피해가 확대되는 데에는 많은 이유들이 있으나, 이 중 언론 보도, 즉 미디어가 핵심 역할을 한다. 조정열(2004)은 위기는 언론이 선호하는 취재 대상이며, 뉴스의 주요 공급원이라고 했다. 부정적인 뉴스는 희귀하고 예측이 어려운 사건이라는 점에서 긍정적인 뉴스에 비해 가치가 더 있다고 보고있다(지원배, 2001). 이 때문에 뉴스 미디어는 개인 혹은 조직의 위기에 더 관심을 보인다. 또 뉴스는 언론에 의해 사실과는 전혀 다르게 묘사되는 위기상황의 모습으로도 나타난다. 이 때문에 공중의 반감을 수반하기도 한다(조정열, 2004)[19]. 따라서 언론이 부정적 혹은 왜곡된 보도로부터 통제되고 정보전달과 커뮤니케이션의 장으로서 역할을 하기 위해서는 경계심을 가져야한다.
한편 언론은 위기 확산뿐만 아니라 위기를 진정시키는 역할을 하기도 한다. 펀-뱅크스(Fearn-Banks, 1996)는 위기 발생 시, 언론을 통해 적극적인 대응이 필요하다고 했다[20]. 언론은 특정 사건에 있어 수용자들에 의한 공론의 장으로서 역할을 하기도 하며, 사회적 가치나 행동 유형을 촉구하는 역할을 하기도 한다. 특히 언론의 역할은 국가 정책에 따른 구성원들의 갈등과 대립이나 천재지변 등의 위기 상황에서 중요성이 더 부각된다. 특히 정부는 재난으로부터 국민의 생명, 재산 및 안전을 보호하는 책임과 의무가 있는데, 2010년 천안함 침몰, 2014년 세월호 침몰과 같은 국가적 위기상황에서 위기관리 시스템의 부재와 언론의 오보 및 늑장 보도의 문제점으로 인해 정부의 기능이 제대로 작동하지 않은 점은 많은 시사점을 제공한다.
대중이 건강에 관련한 정보를 얻고 위험(risk)정보를 얻는 주된 출처는 매스미디어라고 할 수 있다(N. Abdelmutti and L. Hoffman-Goetz, 2009)[21]. 언론의 코로나19 백신 관련 보도 내용을 통해 수용자들은 백신 관련한 위험 요인의 인식을 형성하기도 하며, 어떻게 반응하고 행동할 것인지를 예측하기도 한다. 다시 말해 대중들이 코로나19 백신 접종에 적극적인 행동을 취할 것인지 혹은 그렇지 않을 것인지에 대한 인식 형성의 기준이 되는 것이 언론 보도라 할 수 있다. 이처럼 예방백신의 경우 대중들의 관심 및 관여도가 높고, 정보를 얻기 위해 적극적으로 참여한다. 코로나19 백신 정보와 같이 새롭고 전문성이 높은 경우, 대중들은 이해하기 어렵고, 전문가와 언론의 설명을 통하여 알 수 있다는 특징이 있다(S. N. Soroka, 2002)[21]. 특히 코로나19 백신의 안전성과 부작용에 대한 우려와 논란이 계속되는 상황에서 집단면역을 위한 정부 정책의 효율적인 실행을 위해서는 언론이 이를 어떻게 보도하고 있는지 분석하는 것이 매우 중요하다.
호프만-고츠는 HPV와 자궁경부암, HPV백신에 대한 보도의 내용분석을 실시한 결과, HPV백신에 대한 부정적인 내용 보도가 증가 되는 것을 지적했다(N. Abdelmutti and L. Hoffman-Goetz, 2009)[22]. 이미나와 홍주현 (2018)은 언론이 자궁경부암 예방백신의 안전성 및 부작용 사례 등에 관한 정보를 어떻게 보도하였는지 분석하였다 [23]. 언론의 자궁경부암 백신 논란 관련 보도의 중요성을 강조하며, 선택한 단어와 자주 등장한 단어 등으로 프레임 분석을 시도했다. 백신의 언론 보도 빈도가 높을수록 수용자들에게 의제가 중요하다는 인식을 준다는 점에 주목할 필요가 언급되었다(S. C. Zyglidopoulos and A. P. Georgiadis, 2006)[24]. 언론 보도의 빈도가 높은 것은 그 메시지나 인물의 중요성을 전달하는 동시에 긍정적 보도의 경우 신뢰감을 형성한다(S. D. Reese and P. J. Shoemaker, 2016)[25].
유석조 등(2010)은 신종 인플루엔자 예방 접종 의도에 대한 영향 요인들을 연구하면서 건강신념모델(Health Belief Model)과 계획된 행동 이론(TPB)을 적용했다[26]. 이는 건강 관련 캠페인을 계획하는데 심리적 안정감과 같은 백신의 이익을 강조하는 메시지를 담는다면 접종률 증가에 기여할 수 있을 것이라 말한다. 이처럼 백신 보도에 관련하여 어떻게 메시지를 담는가에 따라 나타나는 수용자의 반응을 분석한 연구들을 찾아볼 수 있었다. 이렇듯 코로나19 라는 특수한 상황 속에서 코로나19 백신이라는 주제를 두고 장기간 논쟁이 이어지는 시점에서 코로나19 백신 보도를 둘러싼 프레임의 형태와 언론 보도 경향성을 살펴봄으로써 새로운 측면에서의 백신 보도 연구를 제시할 수 있을 것이다.
본 연구는 보도기사에서 주로 언급된 단어가 무엇인지 나타내는 현저성(salience)과 단어들 사이의 연결성(connectivity)에 대해 네트워크 접근을 기반으로 살펴보고자 한다. 이 연구는 언론 보도에서 핵심 단어들의 연결 형태를 연결성으로 정의하고, 단어 간의 관계를 바탕으로 내재 된 의미가 무엇인지 밝히려고 한다. 프레임 연구는 오래전부터 시행된 고전적 연구로 치부될 수 있겠으나, 백신 보도 프레임과 관련하여 장기간에 걸쳐 논의된 사례는 없었다. 코로나19 상황은 21세기 인류가 경험하는 최초의 바이러스 위기 사례이며, 그 기간이나 피해 등 이전 사례와 비교하는 데에는 어려움이 있다. 이러한 점에 미루어 코로나19 백신 보도 프레임 역시 새로운 각도로 살펴보는 것에 시사점을 가질 수 있다.
1.3 Issues of COVID19 Vaccine in Korea
전 인류가 코로나19의 위기를 극복하기 위해 백신의 등장을 기다린 만큼 우리나라에서도 이에 대한 관심이 높았다. 백신 개발이 발표된 후 우리 정부가 이를 언제, 어떻게 그리고 얼마나 확보할 것인지에 대한 언론 보도가 양산되기 시작했다. 그리고 백신의 종류에 따른 이송 및 보관 등과 관련된 보도 내용이 등장했고, 이와 동시에 우리나라 정부와 외국의 백신 대응의 비교는 물론 백신을 둘러싼 여러 가지 음모론도 제기되었다. 특히 백신의 접종이 시작되면서 K-주사기와 문재인 대통령 논란이 불거졌고, 아스트라제네카 백신 부작용의 언급과 함께 화이자 및 모더나 백신의 선호 현상에 관련한 기사도 뒤를 이었다. 코로나19 백신 접종이 확대되면서 교육계의 움직임이나 백신 관련 주식 투자 등까지 이슈의 범위도 확대되었다. 백신 접종의 추이에 대한 기사가 계속되면서 그 속에서도 변이 바이러스와 부스터 샷, 화이자 백신 접종 중단 논란의 기사도 여러번 나타났다. 이어서 백신 접종 인센티브나 오접종 논란에 관련한 기사들도 계속 출현하였다. 그러면서 한미 정상회담, 대구시 화이자 구매 사기 사건 등에 대한 기사들도 크게 이슈가 되었다.
이렇듯 코로나19 백신에 대한 사람들의 관심도가 높은만큼 다양한 보도 이슈들이 등장했는데, 특히 주목할 부분은 상당수의 이슈가 정부의 정책적 결정이나 행정 집행과 관련되어 있다는 점이다. 이는 백신에 대한 권한과 책임이 전적으로 정부에 있기 때문일 것이다. 이에, 본 연구를 통해 코로나19 백신과 관련된 언론 보도의 의제 및 프레임을 분석하는데 있어 정부와의 관련성을 살펴보는 것도 큰 의미가 있을 것으로 생각된다.
III. The Proposed Scheme
코로나19 백신과 관련된 언론 보도는 그 양에 있어 빅데이터라고 할 수 있다. 그리고 언론 보도는 위기커뮤니케이션에서 핵심적인 기능을 수행함으로써 사람들에게 상당한 영향을 끼칠 수밖에 없다. 하지만 언론은 사실 및 현상을 보도할 때, 단순히 우리에게 정보전달의 역할만 행하지 않고, 각자의 의견이나 의도 등을 포함한 일련의 틀, 즉 프레임을 만들어 재구성한다. 그러므로 본 연구를 통해 이러한 언론 보도의 프레임들이 바람직한 방향성을 가지고 있는지 분석하고, 이러한 프레임이 가지는 궁극적인 의도와 목적을 확인함으로써 향후 질병 보도의 바람직한 방향성에 대해 고찰하는 것은 큰 의의가 있다. 특히 장기간에 걸쳐 대량의 보도가 양산되고 있는 상황에서, 사전에 프레임을 정의하는 방식의 연역적 연구의 한계를 극복하기 위해서는 빅데이터 분석 기법을 활용한 귀납적 연구가 보다 적합하다. 또한 프레임이란 뉴스 기사들이 각각의 의제 속에 함의하고 있는 속성을 의미하므로 프레임 분석에 앞서 먼저 뉴스 기사들의 의제에 대한 연구가 선행될 필요가 있다. 이에 연구문제 1은 다음과 같다.
연구문제 1. 조선일보, 중앙일보, 동아일보, 한겨레의 코로나19 백신 관련 뉴스는 각각 어떤 의제를 구성하고 있는가?
이어서 연구문제 1을 통해 도출된 각 의제들 중 핵심 의제를 설정하여 그것이 가지고 있는 속성, 즉 프레임을 분석하고자 한다. 여기서 핵심 의제는 연구 결과에 따른 비중값의 높이와 지속 기간을 통해 판단하고자 한다. 이에 연구문제 2는 다음과 같다.
연구문제 2. 조선일보, 중앙일보, 동아일보, 한겨레는 코로나19 백신과 관련하여 어떤 프레임을 가지고 있는가?
마지막으로 이러한 프레임이 본 연구에 활용된 주요 언론사들 간에 어떠한 차이를 보이고 있는지 비교하고자 한다. 왜냐하면 해당 언론사들은 국내에서 가장 신뢰도 및 이용도가 높은 언론사들므로, 이들이 각자 어떠한 시각과 틀을 통해 정보를 재구성하고 있는지 비교 분석할 필요가 있다고 판단된다. 이에 연구문제 3은 다음과 같다.
연구문제 3. 조선일보, 중앙일보, 동아일보, 한겨레 간 프레임의 차이가 있는가 ?
IV. Method
1. Procedures
본 연구를 수행하기 위해 먼저 대상 언론사를 조선일보, 중앙일보, 동아일보 그리고 한겨레로 선정하였다. 해당 언론사를 선정한 근거는 한국언론진흥재단과 영국 옥스퍼드대(University of Oxford) 부설 로이터저널리즘연구소(Reuters Institute for the Study of Journalism)가 2020년 6월 17일 발간한 디지털 뉴스 리포트 2020(Digital news Report 2020)에서 조사된 한국 언론 매체의 신뢰도 및 이용도 순위를 기반으로 하였다. 이 중 뉴스 텍스트 기사에 대한 빅데이터 분석의 용이성을 위해 방송사 및 인터넷 포털 서비스를 제외하고 신문사만을 조사 대상으로 선정하였다. 분석 기간은 첫 번째 이슈인 코로나19 백신 개발 보도가 등장한 2020년 11월 01일부터 2021년 상반기인 6월 30일까지로 설정하였다.
본 연구의 조사 분석은 의제 추출 과정으로 크게 두 가지 과정으로 나눌 수 있다. 첫 번째는 뉴스 수집 및 전처리 과정이다. 빅카인즈에서 2020년 11월 10일부터 코로나19 백신으로 검색된 자료를 수집한 후, 시간별, 언론사별 분류와 전처리를 시행하려 한다. 이는 빅데이터 분석방법론의 한 분야인 구조적 토픽 모델링(STM) 분석을 활용한다. 해당 분석결과를 참고하여 특징적으로 나타나는 주요 의제들을 추출한다. 이후, 도출된 여러 의제 중 가장 높은 비중값을 일정하게 나타낸 대표적인 핵심 의제 1개를 기반으로 각각의 프레임을 분석해 비교한다. 본 과정에서는 매체간 의제설정, 네트워크 의제설정 모델을 기반으로, 의미연결망 분석(중심성, 군집분석)을 활용한다. 연구의 분석절차에 대한 개요도 및 구체적 설명은 아래 그림과 같다.
Fig. 1. Overview of the primary research analysis process (classification by process)
Fig. 2. Overview of secondary research analysis procedures (including detailed procedures)
2. Structural Topic Modeling
텍스트와 같이 일정한 형식과 규칙을 가지지 않은 비정형 데이터(unstructured data)의 경우 처리와 분석이 상대적으로 복잡하다. 뉴스 기사가 바로 대표적인 비정형 데이터이다. 문제는 전 세계적으로 사용되는 빅데이터 중 약 80%가 비정형 데이터로 구성되어 있다는 점이다(Chakraborty & Pagolu, 2014)[27].
최근 들어 머신러닝 기반의 인공지능(AI) 기술이 발달함에 따라 비정형 데이터로부터 정보를 효과적으로 분석하는 텍스트 마이닝 기법이 활발히 활용되고 있다. 텍스트마이닝이란 정리되거나 구조되지 않은 대규모의 비정형 텍스트에서 의미있는 정보를 발견하고 이를 추출함으로써, 단순한 정보 탐색 그 이상의 결과를 도출하는 대표적인 빅데이터 분석방법이다(김수연, 정영미, 2006, Fan, Wallace, Rich, & Zhang, 2006)[28][29]. 특히 구조화되지 않은 방대한 양의 문서들로부터 유의미한 주제를 찾아내는 확률 모형 알고리즘인 토픽 모델링(Topic Modeling) 분석이 데이터 마이닝의 대표적인 분석 기법이다(남춘호, 2016; 백영민, 2017, Blei, Ng, & Jordan, 2003)[30][31][32]. 토픽 모델링은 문서를 구성하고 있는 단어의 분포를 활용하여 서로 유사한 의미를 가지고 있는 단어들의 집합을 클러스터링 함으로써 주제를 추론하는 방식을 사용한다(송민, 2017)[33]. 즉 복수의 단어와 문서로 구성된 문서단어행렬(DTM, Document Term Matrix)을 통해 문서 속에 잠재된 주제의 등장 확률을 추정하는 방식이 바로 토픽 모델링인 것이다(백영민, 2017).
토픽 모델링 기법은 초기에는 각 단어들의 차원 축소를 통해 근접 단어들로 토픽을 구성하는 방식인 LSA(Latent Semantic Analysis) 혹은 LSI(Latent Semantic Index) 기법이 활용되었고, 이후 다의어를 반영하지 못하는 LSA의 단점을 머신러닝을 통해 개선한 PLSA(Probabilistic Latent Semantic Analysis)가 개발되었다. 더 나아가 앞선 기법들의 단점을 더욱 개선하여 토픽과 단어의 분포에 디리클레 분포를 가정함으로써, 주어진 각각의 문서에 어떠한 토픽들과 단어들이 분포하는지를 추정해내는 확률적 계산에 기반한 토픽 모델 알고리즘인 LDA(Latent Dirichlet Allocation) 기법까지 개발되며 지속적인 발전을 거듭해왔다(Blei et al., 2003).
하지만 LDA 기법은 단순히 문서에 있는 주어진 단어들의 빈도수만을 기반으로 하여 토픽을 확률적으로 추정함으로써, 부정확한 결과를 얻을 수 있는 한계가 존재한다. 이러한 문제점을 개선하기 위해 메타데이터의 특성을 공변량으로 모델에 반영하여 결과의 효율성과 정밀성을 제고하는 방법인 구조적 토픽 모델링(Structural Topic Modeling, STM)이 개발되었다(Roberts et al, 2013). STM 기법을 활용하면 각 문서의 특징을 반영하고 있는 메타데이터를 비롯하여, 문서 안에 있는 토픽들 사이의 상관 관계의 추정 및 해석의 정확성을 높일 수 있다는 장점이 있다. STM 기법에서는 각 토픽과 단어가 디리클레가 아닌 로지스틱 정규분포를 따른다고 가정하며, 문서와 토픽의 확률분포 및 단어와 토픽의 확률분포에 시계열 등의 메타데이터 특성을 반영하기 때문에 이에 따른 토픽과 단어의 변화 양상까지도 면밀한 분석이 가능하다. 이에 따라 최근 가장 진화된 토픽 모델링 기법으로 다양한 분야에서 활발하게 활용되고 있다.
3. Semantic Network Analysis
의미연결망 분석(Semantic Network Analysis)은 앞서 언급한 텍스트 마이닝에 기반한 빅데이터 분석 방법 중 하나로, 문서 속에서 단어를 추출하고, 그 단어가 동시에 출현(Co-occurrence)한 빈도 및 관계성을 바탕으로 집합적인 메시지 내에 함의되어 있는 의미 체계를 분석하는 기법이다(이수상, 2014)[34]. 이는 사회 현상 시스템 구조 속에서 각 구성원들의 지속적인 상호작용을 통해 만들어지는 연결망, 즉 네트워크를 주요 분석틀 구조로 활용하는 사회 연결망 분석(Social Network Analysis)을 커뮤니케이션 분야에 응용하여 개발된 연구 방법이다(박지영 외, 2013, 최윤정, 권상희, 2014)[35][36].
의미연결망 분석은 ‘언어 연결망(Networks of words)’ 혹은 ‘텍스트 연결망 분석(Text network analysis)’ 등의 용어로도 사용되는데, 텍스트 데이터의 변화 양상이나 유형 등을 시각적으로 분석할 수 있다는 강점이 있어, 연구동향 및 추이 등의 비교 분석에 상당히 유용하다(황고은, 문신정, 2017)[38]. 이는 특히 언론 보도에 있어 특정 단어의 반복적 선택 및 배치를 통한 지속적 강조에 기반하고 있는 ‘프레임’을 분석하는데 매우 효과적인 연구 방법이다 (Entman, 1993). 이는 의제설정 모델에서 한 단계 더 나아가 체계적인 프레임 연구에 도움을 줄 수 있다.
의미연결망 분석에서는 단어(node)들 연결 관계 여부가 가장 중요한데, 단어들의 밀집 정도를 나타내는 밀도(density), 그리고 단어가 문서에서 얼마나 중요한 역할을 하는지를 분석하는 중심성(centrality) 혹은 중앙성을 측정 도구로 사용한다(황동열, 황고은, 2016; Freeman, 1979)[39]. 여기서 중심성은 한 단어가 다른 단어와 직접적으로 연결된 정도를 나타내는 ‘연결중심성(degree centrality)’, 단어들 간에 의미 확장성의 영향 정도를 측정하는 ‘매개중심성(betweenness centrality)’, 단어들 간직간접적인 연결 거리를 측정하는 ‘근접중심성(closeness centrality)’, 네트워크 내 각 단어에서의 잠재적인 영향력을 나타내는 ‘아이겐벡터중심성(eigenvector centrality)’, 등이 있다(차민경, 2015; 황고은, 문신정, 2017; Wasserman & Faust, 1994)[40][41].
이러한 중심성 분석을 통해 특정 의미연결망 속에서 더 중요한 위치 및 역할을 담당하는 단어를 파악하고(이재윤, 2006), 이를 기반으로 가장 중심에 위치하고 가장 큰 영향력을 가지는 단어의 파악이 가능하다(Wigand, 1988)[42]. 커뮤니케이션 분야의 연구자는 이러한 텍스트 데이터의 시각화를 통해 다양한 관점 및 차원으로 언론 보도 분석이 가능하므로, 전통적 방식의 내용 분석 기법의 한계를 극복하고(정원준 외, 2020)[43], 방대한 양의 비정형 데이터로 구성된 각 뉴스 기사 속에 감춰진 프레임의 속성과 의도 그리고 방향성의 파악 및 추출에 있어 체계적이고 직관적인 분석이 가능하다. 선행 연구 사례를 보면 김만재, 전방욱(2012)[45]은 배아 복제와 관련된 언론 보도 프레임 연구, 최수진(2014)은 미·중 간 한류 관련 뉴스의 프레임 연구[46], 정서화와 조현석(2014)은 기사의 헤드라인을 중심으로 한 개인 정보 유출 관련 프레임 분석에 의미연결망 분석 기법을 활용하였다[47].
V. Results
1. Structural Topic Modeling Results
1.1 Number of Topics
토픽 모델링의 첫 시작은 해당 문서집단군으로부터 잠재되어 있다고 가정된 토픽의 개수를 정하는 것이다. 이와 같이 구조적 토픽 모델링에서도 연구자가 주관적으로 판단 후 설정하는 사전지정 방법, 정보이론, 그리고 알고리즘의 추정결과를 바탕으로 잠재토픽의 수를 파악하는 사후지정 방법의 설정 방식이 있다(백영민, 2017). 본 연구에서는 Griffiths & Steyvers(2004)의 알고리즘을 활용한 사후지정 방법을 사용하여 적합한 토픽의 수를 판정하였다[48]. 이는 정보이론(information theory)의 이론적 배경을 바탕으로 추정결과를 해석할 수 있다. 먼저 정해진 토픽 개수에 기반하여 텍스트와 모형 간 로그우도를 사용한 후, 각 데이터간의 로그우도 값의 차이가 크게 없을 경우 더 작은 토픽 수로 결정한다. 이 연구에서는 잠재토픽 개수의 범위를 10부터 30까지 5 단위간격으로 정한 후, 각각의 잠재 수별로 변화량을 보았다.
Fig. 3을 보면, 잠재토픽의 개수가 30개의 경우, 검증최대도우값이 최대값으로 나타났으나 잔차와 의미 일관성이 극단의 값을 보인다. 그래프에서 잔차와 하한이 극단적으로 나타나지 않으면서 검증최대우도값과 의미 일관성이 높게 나온 값인 토픽개수 20개 기준의 모형이 데이터를 적절하게 설명하고 있다고 해석된다. 이에 따라 본 연구는 구조적 토픽 모델링 20개를 토픽 개수로 결정하였다.
Fig. 3. Diagnostic Values by Number of Topics(10~30)
1.2. The results of Topic Modeling Results of COVID19 Vaccine Issue
본 연구의 목적은 2020년 11월 01일부터 2021년 6월 30일까지 보도된 조선일보, 중앙일보, 동아일보, 한겨레를 통해 보도된 코로나19 백신 관련 뉴스 빅데이터를 대상으로 의제구성과 프레임을 분석하는 것이다.
한국언론재단의 빅카인즈(Bigkinds)를 활용하여 뉴스데이터를 수집하였다. 검색어 키워드는 코로나19 백신으로 설정하였고, 상세검색으로 단어 중 1개 이상 포함하는 키워드들로는 아스트라제네카, 화이자, 모더나, 시노팜, 얀센, mRNA, 아데노바이러스, 불활성화로 설정하여 검색하였다. 검색결과로 조선일보 1,441건, 중앙일보 2,495건, 동아일보 1,350건, 한겨레 876건 등으로 총 6,162건의 뉴스를 수집하였으며, 세부정보는 다음과 같다.
Table 1. Number of articles per month for each newspaper
1.3. Proceeding and Results of Topic Modeling
잠재 토픽 개수 20개를 기준으로 구조적 토픽 모델링을 실행한 결과는 다음과 같다.
Table 2.는 구조적 토픽 모델링 결과를 통해 나타난 각 토픽에 1번부터 20번까지의 고유 번호를 매겼다. 각 토픽에서 보이는 Highest Prob는 해당 토픽에서 출현 빈도 확률이 높은 단어들(상위 10개 선별)이고, FREX(frezuency-exclusivity)는 단어 빈도 및 고유도를 나타내는 지수이다. 즉 FREX 지수가 큰 단어들은 토픽에 나타날 빈도가 높은 동시에 타 토픽에서의 빈도율은 낮은 단어로 해석할 수 있다(Bischof & Airoldi, 2012; Roberts, Stewart, & Tingley, 2018; 신안나, 2020)[50][51].
Table 2. Main words of Topic
군집별 단어 빈도율을 통해 각 토픽별로 구성단어와 비중값을 확인 할 수 있다. 하지만 토픽 분석 결과만으로는 잠재토픽이 텍스트 안에서 어떤 의미를 갖고 있는지를 읽어내는데 한계가 있다. 그래서 잠재토픽의 의미해석 방법으로 연구자의 주관적 해석이 반영된다(백영민, 2017; Blei, Ng, & Jordan, 2003; DiMaggio, Nag & Blei, 2013; Krestel, Fankhauser, & Nejdl, 2009; Liu, 2015)[54][55][56]. 이에 본 연구는 주제에 직접적 연관이 없거나, 비중값상으로도 중요하지 않다고 판단되는 토픽을 제외하였다. 토픽 1, 토픽 13과 같이 코로나19 백신의 언급이 없이 특정 단어들로 이루어진 토픽은 제외하였다. 또, 토픽 2, 토픽 10과 같이 코로나 현황의 수치를 나타내는 단어나 이를 전달하는 전문가와 기관 명칭이 나타나는 토픽은 제외하였다. 마지막으로 토픽 14, 토픽 15번과 같이 해석의 범위가 광범위 하거나 다른 토픽과 겹치는 경우, 비중값이 낮은 것은 제외하였다. 총 20개의 토픽 중위 6개를 제외하고 분류된 뉴스의 해당 토픽이 연관성이 높다고 판단된 14개 토픽을 선정하였고, 각 토픽의 세부 내용은 Table 3과 같다.
Table 3. Topic percentage value of Media & Month
Fig. 4. Topic 3,4,5,6 rate of Media*Month
언론사 ⨉ 월별 토픽의 비중값을 그래프 및 표로 나타내어 해석하면 다음 Fig. 5, Fig. 6, Fig. 7, Fig. 8과 같다.
Fig. 5. Topic 7,8,9,11 rate of Media*Month
Fig. 6. Topic 12,16,17,18 rate of Media*Month
Fig. 7. Topic 19,20 rate of Media*Month
토픽 3번, 백신 음모론은 4개의 언론사 모두 2020년 11월, 12월에 비중값이 높게 나타났다. 코로나19 팬데믹 속 백신의 등장으로 가장 높은 관심이 쏠렸던 시기였다. 이는 코로나19 백신의 등장으로 인한 긍정적 영향에 반해 백신을 둘러싼 음모론이 많이 다뤄졌음을 보여준다. 토픽 4번, 교육계의 백신접종은 2021년이 되면서 4개의 언론사에서의 비중값이 급격하게 증가하는 모습을 보여준다. 이 역시 코로나19 백신의 등장과 함께 학교의 역할이 재개되는지에 대한 국민적 관심이 높았기 때문인 것으로 추정된다. 토픽 5번, 코로나19 백신 개발 및 도입 논의는 2020년 11월, 12월에 높은 비중값을 보이나 2021년이 시작되면서 낮은 값을 계속 유지하고 있다. 이 또한 2020년 말에 코로나19 백신이 등장하면서 화제가 된 만큼 연관 기사들의 발행이 이어졌고, 2021년에 국내 첫 코로나19 백신 접종이 확정된 이후로는 화제가 전환되었음을 추정할 수 있겠다. 토픽 6번, 변이 바이러스 및 부스터샷은 2020년 12월을 기점으로 조선일보와 중앙일보는 높은 비중값을 나타내는 반면, 중앙일보와 한겨레는 값이 내려간 후 유지되고 있다. 비중값의 격차가 크게 나타나지 않고 2021년부터 값이 계속 유지되는 것으로 비춰 지금까지도 변이 바이러스에 대응하는 부스터샷에 관한 기준이 명확하게 정립되지 않은 채 사람들이 꾸준한 관심을 갖고 있기 때문에 4개의 언론사가 유사한 수준의 양적 비중으로 다루고 있음을 알 수 있다.
토픽 7번, 백신 관련주 투자열풍은 2020년 11월, 12월에 높은 비중값을 보이다가 2021년에 값이 낮아지며 계속해서 일정한 수준의 값을 유지하고 있다. 이는 코로나19 백신의 등장 전인 2020년 8월부터 국내 한 제약사의 해외 백신 위탁생산이라는 기사를 발단으로 높은 관심을 받아 왔으나 2021년 1월 백신에 대한 위험성 및 부정적 기사들이 나오면서 일정 수준 낮아졌지만, 계속해서 변화하는 동향에 대해 관심은 끊이지 않고 있다고 볼 수 있다. 토픽 8번, K-주사기 논란은 2021년부터 비중값이 높아졌다. 이는 2020년 12월 코로나19 백신의 도입과 함께 버려지는 백신에 관련한 문제제기와 더불어 국내에서 특수 제작된 최소잔여형(LSD) 주사기, 일명 ‘K-주사기’의 효능과 보급에 관한 기사의 비중이 높아졌다고 볼 수 있다. 다음으로 토픽 9, 백신 부작용은 2021년 1월부터 비중값이 눈에 띄게 높아진 후, 계속해서 언급되고 있는 양상이다. 이는 1월부터 백신 접종이 시작되면서 우리사회에 백신 부작용에 대한 이야기가 계속해서 중요하게 다루어졌다는 것을 나타낸다고 할 수 있다. 토픽 11, 백신 오접종은 2021년 1월부터 높은 비중값을 나타내고 있다. 이것은 코로나19 백신의 접종이 시작되면서 온 국민적 관심이 쏟아졌고, 실제로는 극소수(2021년 6월 14일 기준 0.0007%, 2021.06.14. 중앙일보)에 해당하는 사례이지만 모든 사례를 민감하게 다루었다고 추정할 수 있다.
토픽 12번, 이스라엘과의 비교는 여러 나라 중에서 화이자 백신을 조기에 선구매한 이스라엘과 우리나라 정부를 비교 하는 기사를 비롯해 문재인 대통령과 네타냐후 총리를 두고 코로나19 백신 1호 접종자에 대한 이야기가 다뤄졌던 2021년 초 비중값의 차이가 나타났다. 4개의 언론사가 비슷한 양상을 보이다 한겨레의 비중값이 다소 낮아진 것을 확인 할 수 있다. 토픽 16번, 이재용 사면 및 가석방은 2021년 1월부터 4개의 언론사 모두 비중값이 급격하게 증가했다. 이는 국내의 백신 물량 부족에 대한 논의가 이루어지면서 마치 이재용이 백신 수급에 일조할 가능성이 있는 것처럼 강조한 기사가 많았다고 추정할 수 있다. 토픽 17번, 백신 이송 및 보관은 2021년에 비중값이 낮아졌다. 이는 코로나19 백신이 초저온 냉동보관이 필요한 화이자 및 모더나 등과 관련하여 국내의 이송 및 보관 시스템 역량에 대한 문제가 논의되었던 2020년에 비중이 높았고, 우려와는 달리 국내 백신 이송과 보관 시스템에 문제가 없자 언론에서 다루는 비중이 줄어들었음을 나타낸다. 토픽 18번, 대구시 화이자 구매 사기사건은 비중값의 큰 차이 없이 그래프가 일정하게 그려지고 있다. 이는 2021년 5월에 정부의 백신 수급 문제를 언급하던 권영진 대구 시장이 정부와 별개로 화이자 백신 3,000만 명분을 확보했다고 밝혔으나, 6월 01일 한국화이자제약이 “승인한 바 없다”는 공식 입장을 내면서 지자체의 사기 사건이라는 불명예를 입으며 일단락 됐다. 이 토픽과 관련하여 사건이 집중적으로 발생한 2021년 5월, 6월의 비중값이 변함 없는 것으로 보아 4개의 언론사는 이 사건을 비중있게 다루지 않았다고 추정할 수 있다.
토픽 19번, 아스트라제네카 백신 부작용은 높은 비중값을 전체 연구 기간 내내 일정하게 나타내고 있다. 이는 코로나19 백신에 대하여 4개의 언론사 모두 아스트라제네카백신 부작용의 비중을 고도로 반영한 것으로 보인다. 토픽 20번, 백신 접종 인센티브는 2021년에 비중값이 급격하게 증가했다. 2020년 말부터 본격적으로 화두가 된 코로나19 백신 수급 및 접종과 함께 백신 접종자의 거리두기 지침등의 변화가 계속해서 논의 되었음을 알 수 있다.
2. Semantic Network Analysis Results
2.1. Semantic Network Analysis Results of Topic #19
키워드 10개는 토픽 19의 Prob 상위 10개로 구현되었다. 그 단어는 '아스트라제네카', '부작용', '유럽의약품청', '프랑스', '아스트라', '고령층', '위원회', '옥스퍼드대', '이탈리아', '안전성'이다.
언론 보도 기사들이 검색 결과를 통해 분류된 것은 단순히 기계적으로 분류되었기 때문에 각각 서로 다른 의제마다 기사가 중복될 수 있고, 중의적이거나 불명확한 의미를 가질 수가 있기 때문에 정확한 분류에 한계가 존재한다. 하지만, 본 연구는 각 의제들의 구조적 토픽모델링 분석 결과에 따른 출현 비중값과 그 양이 언론사 ⨉ 분기 시간대별로 공통적으로 비중있게 나타난다고 판단했으며, 이에 따라 본 연구에서 각 보도 기사에 있는 세부적인 텍스트를 바탕으로 구성된 프레임을 확인하기 위해서는 양적 연구보다는 질적 연구가 더 적합할 것이라고 판단했다.
Table 4. Topic19 Semantic Network Analysis of Chosun * 2020.11
Table 5. Topic19 Semantic Network Analysis of JoongAng * Nov. 2020
Table 6. Topic19 Semantic Network Analysis of Donga * Nov.2020
Table 7. Topic19 Semantic Network Analysis of Hankyoreh * Nov. 2020
Table 8. Topic19 Semantic Network Analysis of Chosun * Dec. 2020
Table 9. Topic19 Semantic Network Analysis of JoongAng * Dec. 2020
Table 10. Topic19 Semantic Network Analysis of Donga * Dec. 2020
Table 11. Topic19 Semantic Network Analysis of Hankyoreh * Dec. 2020
Table 12. Topic19 Semantic Network Analysis of Chosun * JAN. 2021
Table 13. Topic19 Semantic Network Analysis of JoongAng * JAN. 2021
Table 14. Topic19 Semantic Network Analysis of Donga * JAN. 2021
Table 15. Topic19 Semantic Network Analysis of Hankyoreh * JAN. 2021
Table 16. Topic19 Semantic Network Analysis of Chosun * FEB. 2021
Table 17. Topic19 Semantic Network Analysis of JoongAng * FEB. 2021
Table 18. Topic19 Semantic Network Analysis of Donga * FEB. 2021
Table 19. Topic19 Semantic Network Analysis of Hankyoreh * FEB. 2021
Table 20. Topic19 Semantic Network Analysis of Chosun * MAR. 2021
Table 21. Topic19 Semantic Network Analysis of JoongAng * MAR. 2021
Table 22. Topic19 Semantic Network Analysis of Donga * MAR. 2021
Table 23. Topic19 Semantic Network Analysis of Hankyoreh * MAR. 2021
Table 24. Topic19 Semantic Network Analysis of Chosun * APR. 2021
Table 25. Topic19 Semantic Network Analysis of JoongAng * 2021.4
Table 26. Topic19 Semantic Network Analysis of Donga * APR. 2021
Table 27. Topic19 Semantic Network Analysis of Hankyoreh * APR. 2021
Table 28. Topic19 Semantic Network Analysis of Chosun * MAY. 2021
Table 29. Topic19 Semantic Network Analysis of JoongAng * MAY. 2021
Table 30. Topic19 Semantic Network Analysis of Donga * MAY. 2021
Table 31. Topic19 Semantic Network Analysis of Hankyoreh * MAY. 2021
Table 32. Topic19 Semantic Network Analysis of Chosun * JUN. 2021
Table 33. Topic19 Semantic Network Analysis of JoongAng * JUN. 2021
Table 34. Topic19 Semantic Network Analysis of Donga * JUN. 2021
Table 35. Topic19 Semantic Network Analysis of Hankyoreh * JUN. 2021
2.2. Summary of Semantic Network Analysis Results
2020년 11월부터 2021년 6월까지 조선일보, 중앙일보, 동아일보, 한겨레 4개의 언론사를 대상으로 아스트라제네카 백신과 관련된 의제의 속성을 종합적으로 분석해본 결과 총 64개의 프레임이 도출되었다. 특히 구성 단어들의 연결 관계를 확인하는 중심성 분석 결과 단어들이 명확한 군집을 형성하고 있음을 확인했으며, 이를 통해 유의미한 프레임 도출이 가능했다.
그리고 프레임의 내용을 살펴보면 도출된 프레임들 중에서 단순히 정보전달을 목적으로 하는 프레임은 25개(39.1%)에 불과했다. 나머지 39개(60.9%)는 모두 표면적으로는 정보 전달을 목적으로 하는 것처럼 보이지만, 실제로는 아스트라제네카 백신에 대한 불안을 강조하거나 이를 통해 아스트라제네카 백신의 도입과 접종을 추진한 정부를 비판하는 의도를 가진 것으로 확인되었다.
2.3. Results of Comparison Analysis of Media
연구문제 2를 통해 도출된 각 프레임의 형성 결과 및 내용이 조선일보, 중앙일보, 동아일보, 한겨레 4개의 언론사 간 어떠한 차이가 있는지 비교 분석해본 결과는 다음과 같다.
- 조선일보(총 16개) : 정보 전달 의도 7개, 정부 비판 의도 9개
- 중앙일보(총 16개) : 정보 전달 의도 5개, 정부 비판 의도 11개
- 동아일보(총 16개) : 정보 전달 의도 6개, 정부 비판 의도 10개
- 한겨레(총 16개) : 정보 전달 의도 7개, 정부 비판 의도 9개
상기 내용을 보았을 때 사실상 4개 언론사 모두 유의미한 차이가 있다고 할 수 없다. 먼저 프레임의 형성 결과의 경우 언론사마다 차이 없이 각 16개 씩 프레임을 명확하게 형성하고 있음을 확인할 수 있다. 그리고 프레임의 내용의 경우 아스트라제네카 백신과 관련된 의제의 경우 국내 대표 언론사 4개 모두 처음 이슈가 등장한 이후부터 8개월 동안 지속적으로 정보 전달 프레임보다는 정부 비판 프레임을 바탕으로 정보를 재구성하여 수용자들에게 뉴스를 전달하고 있다는 점을 확인할 수 있다.
VI. Conclusions
본 연구는 2020년 11월부터 2021년 6월까지 코로나19 백신 기사의 중요 의제와 프레임에 대해 분석 하였다. 이는 한국에서 사람들이 가장 많이 보고 신뢰도가 높은 중앙지 4개사인 조선일보, 중앙일보, 동아일보, 한겨레를 선별하여 구조적 토픽모델링과 의미연결망을 통해 결과를 도출하였다.
언론이 코로나19 백신에 관련해 어떤 의제를 중점적으로 보도했는지 분석하기 위하여 연구문제 1을 “2020년 11월부터 2021년 6월까지 조선일보, 중앙일보, 동아일보, 한겨레의 코로나19 백신 관련 뉴스는 각각 어떤 의제를 구성하고 있는가?”로 설정하였으며, 이를 검증하기 위한 방법론으로는 구조적 토픽모델링(Structural Topic Modeling)을 적용하여 분석을 실시하였다. 왜냐하면 코로나19 백신과 관련된 언론 보도는 방대한 양의 비정형 데이터, 즉 빅데이터인 관계로 이에 대한 효과적인 분석을 위해서는 기존의 휴먼 코딩 방식이 아닌 인공지능을 활용한 텍스트 마이닝 기법을 활용할 필요가 있기 때문이다. 특히 다양한 텍스트 마이닝 기법 중 토픽과 단어의 분포에 디리클레 분포를 가정한 LDA 기법에 메타데이터의 특성까지 반영하여 확률적 계산의 효율성과 정밀성을 강화시킨 구조적 토픽 모델링 방식을 활용함으로써 본 연구의 완성도를 제고할 수 있었다.
2020년 11월부터 2021년 6월까지 조선일보, 중앙일보, 동아일보, 한겨레 4개 언론사의 ‘아스트라제네카 백신 부작용’ 의제에 대한 의미연결망 분석을 통해 도출한 프레임 결과는 각 언론사 별로 16개씩, 총 64개로 확인되었다. 2020년 11월 조선일보에서는 ‘영국의 임상시험’, ‘아스트라제네카 효과’ 프레임, 중앙일보 ‘백신 투여 효과 및 세계현황’, ‘아스트라제네카 임상 결과 확보’, 동아일보 ‘정부의 백신 확보 추진’, ‘백신 생산 및 물량 계약’, 한겨레 ‘영국, 화이자 백신 평가’, ‘아스트라제네카 임상 효과와 모더나’ 프레임이 나타났다. 2020년 12월 조선일보 ‘영국 변종 바이러스와 모더나’, ‘아스트라제네카 승인’, 중앙일보 ‘아스트라제네카 승인’, ‘아스트라제네카 접종’, 동아일보 ‘화이자 내년 공급’, ‘아스트라제네카 미국 승인’, 한겨레 ‘아스트라제네카 승인’, ‘아스트라제네카 접종 효과’ 프레임이 나타났다. 2021년 1월 조선일보 ‘아스트라제네카 연령 제한’, ‘코로나 예방 접종 계획’, 중앙일보 ‘모더나 사용 승인 및 효과’, ‘아스트라제네카 승인’, 동아일보 ‘모더나 승인’, ‘아스트라제네카 승인’, 한겨레 ‘인도산 아스트라제네카 수출 금지’, ‘아스트라제네카 승인’ 프레임이 나타났다. 2021년 2월 조선일보 ‘아스트라제네카 고령자 접종’, ‘아스트라제네카 접종 효과’, 중앙일보 ‘아스트라제네카 접종’, ‘아스트라제네카 접종 효과’, 동아일보 ‘아스트라제네카 효과’, ‘아스트라제네카 접종’, 한겨레 ‘코로나 감염 및 예방’, ‘아스트라제네카 접종’ 프레임이 나타났다. 2021년 3월 조선일보 ‘아스트라제네카 혈전 반응’, ‘아스트라제네카 이상 반응’, 중앙일보 ‘아스트라제네카 접종 중단’, ‘아스트라제네카 혈전 반응’, 동아일보 ‘아스트라제네카 고령층 접종’, ‘아스트라제네카 혈전 반응’, 한겨레 ‘유럽의약품청 발표’, ‘아스트라제네카 혈전 반응’ 프레임이 나타났다. 2021년 4월 조선일보 ‘백신 공급’, ‘아스트라제네카 혈전반응’, 중앙일보 ‘아스트라제네카와 얀센 비교’, ‘미국 얀센 백신 혈전’, 동아일보 ‘백신 부작용 혈전’, ‘아스트라제네카와 얀센에 대한 정부 대응’, 한겨레 ‘혈전 부작용’, ‘아스트라제네카 혈전 부작용’ 프레임이 나타났다. 2021년 5월 조선일보 ‘잔여 백신 접종 계획’, ‘백신 접종 예약’, 중앙일보 ‘아스트라제네카 부작용’, ‘백신 접종 예약’, 동아일보 ‘아스트라제네카 접종 신청’, ‘잔여 백신 접종 예약’, 한겨레 ‘얀센 백신 접종’, ‘백신 접종 예약’ 프레임이 나타났다. 2021년 6월 조선일보 ‘백신 관련 기업 투자’, ‘코로나 백신 교차 접종’, 중앙일보 ‘아스트라제네카 물량 부족’, ‘백신 접종 예약’, 동아일보 ‘고령자 백신 접종 계획’, ‘아스트라제네카 부족’, 한겨레 ‘아스트라제네카 부작용’, ‘아스트라제네카 접종 연령 제한’ 프레임이 나타났다.
상기 64개의 프레임 모두 구성 단어들의 연결 관계를 확인하는 중심성 분석 결과에서 단어의 군집이 명확하게 이루어졌으며, 이를 바탕으로 유의미한 프레임 도출이 가능했다. 특히 본 연구의 목적에 따라 도출된 프레임들이 어떠한 의도와 방향성을 가지고 있는지 확인해본 결과 실제 단순한 정보 전달의 의도만을 가진 프레임은 25개(39.1%)였고, 표면적으로는 정보 전달의 의도를 가지고 있으면서 실제로는 아스트라제네카 백신에 대한 불안을 강조하거나 정부를 비판하는 프레임이 39개(60.9%)로 상대적 다수를 차지했다.
이어서 연구문제 2를 통해 도출된 각 프레임의 형성 결과 및 내용이 조선일보, 중앙일보, 동아일보, 한겨레 4개의 언론사 간 어떠한 차이가 있는지 비교 분석하기위해 연구문제 3을 “연구문제 2를 통해 분석된 프레임에 대해 조선일보, 중앙일보, 동아일보, 한겨레는 어떤 차이를 보이고 있는가?”로 설정하였다. 4개 언론사를 비교 분석해본 결과 4개 언론사 모두 동일하게 각각 16개 씩의 프레임이 도출되어 프레임 형성에 있어 구조적인 차이를 보이지 않았다. 프레임 내용을 비교해본 결과 조선일보 프레임의 정보 전달 의도는 7개, 정부 비판 의도는 9개로 나타났고, 중앙일보 프레임의 정보 전달 의도는 5개, 정부 비판 의도는 11개로 나타났고, 동아일보 프레임의 정보 전달 의도는 6개, 정부 비판 의도는 10개로 나타났고, 마지막으로 한겨레 프레임의 정보 전달 의도는 7개, 정부 비판 의도는 9개로 나타났다. 결과적으로 4개 언론사 모두 프레임의 의도에 대한 내용이 유의미한 차이를 보이지 않고 전반적으로 아스트라제네카 백신과 관련하여 정부를 비판하고 있는 속성을 바탕으로 정보를 재구성하여 수용자들에게 뉴스를 전달하고 있다는 점을 확인할 수 있었다.
본 연구의 시사점은 다음과 같다. 먼저 코로나19 팬데믹 상황에서 대중들의 관심도가 매우 높은 코로나19 백신에 대한 언론 보도가 대량으로 양산된다는 점을 바탕으로, 최신 연구 방법인 빅데이터 분석 기법을 활용하였다. 이는 프레임 연구에 있어 유목을 사전에 정의하고 주로 휴먼 코딩을 기반으로 분석을 수행하는 연역적 연구의 한계점을 극복했다는 점에 의의가 있다.
또한 의제의 속성이라고 할 수 있는 프레임의 개념을 기반으로, 먼저 의제를 설정한 후 프레임을 분석을 시도하는 2단계 방식을 활용하였다. 즉, 텍스트 마이닝을 통한 빅데이터 분석 방법 중에서 언론 보도 분석에 강점을 가지고 있는 구조적 토픽 모델링 기법을 활용하여 의제를 설정함으로써 높은 비중값을 일정 기간 지속적으로 보여주는 ‘아스트라제네카 백신 부작용’ 의제를 도출할 수 있었다. 이를 통해 프레임 분석의 정확도를 제고시킬 수 있었으며 의미연결망 분석 기법을 통한 면밀한 프레임 분석을 바탕으로 해당 의제의 속성을 체계적으로 분석할 수 있었다. 구조적 토픽 모델링 및 의미연결망 분석 기법을 활용한 다양한 연구가 있었지만 코로나19 백신에 대한 언론 보도의 프레임을 분석한 것은 본 연구가 최초라는 점에서도 큰 의의가 있다.
특히 본 연구의 결과를 통해 대중의 신뢰도 및 이용도가 가장 높은 4개 언론사의 ‘아스트라제네카 백신 부작용’에 대한 프레임의 의도 및 방향성에 있어서 사실적인 정보 전달 보다는 정부를 비판하는 목적이 상대적으로 높음을 확인할 수 있었다. 이는 KBS와 한국리서치가 2020년 10월 부터 2021년 9월 까지 중앙지 5개 신문사를 대상으로 코로나19 백신과 관련된 사설 180개를 분석한 결과에서도 본 연구 결과를 뒷받침하는 유사성이 드러난다. 해당 조사기간 및 조사 대상은 본 연구와 상당히 유사하며, 조사 결과 정부 비판 사설 비율이 조선일보는 90.7%, 중앙일보는 79.4%, 동아일보는 41.4%, 경향신문은 31.9%, 한겨레는 22.2%로 확인되었다. 한겨레의 결과만 제외하면 본 연구에서 도출된 프레임의 의도 및 방향성과 유사함을 확인할 수 있다. 결과적으로 본 연구는 위기 상황에서 언론 보도가 보다 바람직한 책임 의식을 가지고 수용자들에게 정보를 전달해야 한다는 시사점을 제공하고 있다.
본 연구의 한계는 다음과 같다. 먼저 코로나19 상황은 아직도 현재 진행형이고, 델타 변이 바이러스에 대한 대응 및 부스터 샷 등 코로나19 백신에 대한 다양한 이슈가 새롭게 등장하고 있는 상황에서 본 연구는 2021년 6월까지로 분석 기간을 설정했다는 점이다. 따라서 후속 연구를 통해 보다 새로운 의제 및 프레임 분석을 시도할 수 있을 것으로 기대해본다.
또한 연구에 활용한 언론사 개수가 4개로 제한되었다는 점이다. 대중들의 신뢰도 및 이용도를 기준으로 설정하기는 했으나, 후속 연구에서는 경제지, 지방지를 비롯하여 방송사 등 보다 다양한 언론사를 대상으로 프레임 분석을 시도한다면 더욱 의미있는 결과가 도출될 수 있을 것으로 기대된다.
마지막으로 프레임의 의도 및 방향성을 분석하는데 있어 단순히 언론 보도만을 연구하는 것이 아니라, 수용자의 의제인 기사 댓글 등의 분석을 통해 언론 보도의 의제들이 대중들에게 어떻게 받아들여지고 있는지를 살펴보는 것도 큰 의의가 있을 것으로 기대된다.
References
- Woo, H. J. "Frame analysis of Korean political reality depicted in news programs that destroy forms: Focusing on YTN ." Korean Journal of Journalism & Communication Studies 50, no. 1, pp.192-220, Jan. 2006.
- Entman, R. M. "Framing: Toward clarification of a fractured paradigm", Journal of Communication, Vol. 43, pp51-58., Dec. 1993. https://doi.org/10.1111/j.1460-2466.1993.tb01304.x
- Gamson, W. A., & A. Modigliani, "Media Discourse and Public Opinion on Nuclear Power: A Constructionist Approach", American Journal of Society, Vol. 95, No.1, pp1-37, Jul. 1989. https://doi.org/10.1086/229213
- Pan, Z., & Kosicki, G. "Framing Analysis: An Approach to News Discourse", Political Communication, Vol. 1 pp 55-75, May. 1993. https://doi.org/10.1080/10584609.1993.9962963.
- Berger, P. L., & Luckmann, T., "The social construction of reality: A treatise in the sociology of knowledge", New York Anchor Books, 1966. https://doi.org/10.4236/oalib.1104397
- Iyengar, S. "Is anyone responsible? How television frames political issues", Chicago, USA: University of Chicago Press, 1991.
- Son, J. H., Ha, S. T., & Lee, B. S. "News framing of media-related laws." Regional and Communication Studies 17, no. 2, pp.89-116, Jun. 2013.
- Song, H. R., & Cho, H. M. "A study on the characteristics of risk reporting related to disease in domestic media." Journal of Crisis and Risk 11, no. 6, pp.45-68. Dec. 2015.
- Kim, H. K. & Kwon, S. H. "A Comparative Study of the Frames of Scientific Reporting on the A(H1N1) Influenza Outbreak: Focusing on Chosun Ilbo and Kyunghyang Shinmun." Korean Journal of Medical Communication 6, no. 1, pp37-53. Mar. 2011.
- Rachul, C.M. , Ries, N.M. , Caulfield, T. "Canadian Newspaper Coverage of the A/H1N1 Vaccine Program", Canadian journal of public health, Vol. 102, No. 3., pp200-214., May. 2011. https://doi.org/10.1007/BF03404896
- Ju, Y. K., Yoo, M. S., & Shin, M. Analysis of the Reporting Patterns of Emerging and Chronic Diseases in Newspapers and News Programs. Korean Journal of Journalism and Communication Studies, 54(2), pp.363-443, Jun. 2010.
- Semetko, H. A., & Valkenburg, P. M., "Framing European politics: A contest analysis of press and television news", Journal of Communication,, Vol. 50, No. 2, pp.98-109, Jan.2000. http://dx.doi.org/10.1111/j.1460-2466.2000.tb02843.x
- Iyengar, S. & Simon, A., "News Coverage ofthe GulfCrisis and Public Opinion: Study of Agenda-setting, Priming and Framing", Communication Research, Vol. 20, No.3, pp365-383, Nov. 1993. https://doi.org/10.1177/009365093020003002
- Kim, S. N. "Analysis of TV News Frames Related to Prostitution." Korean Journal of Broadcasting 16, no. 2 41-76. Jun. 2002.
- Kim, C. S. & Lee, Y. H. "News Framing of the Government's Media Policy for Public Participation." Korean Journal of Journalism and Communication Studies 52, no. 2, pp.303-327, Jun. 2008.
- Yang, J. H. "Constructing the meaning of social conflict: A frame analysis of medical disputes coverage." Korean Journal of Journalism & Communication Studies 45, no. 2, 284-315, Jun. 2001.
- Lee, W. S., & Bae, J. Y. "Asymmetric bias in news framing of the Sewol ferry accident." Korean Journal of Journalism & Communication Studies 59, no. 6, pp.274-298, Mar. 2015.
- Kim, W. Y. & Lee, D. H. "A Typology of Media Framing in News Reporting." Korean Journal of Journalism and Communication Studies 49, no. 6 pp166-197, Jun. 2005.
- Cho, J. Y. "Media Crush and Crisis Communication: Media Structures of Crisis News." Korean Journal of Advertising and Public Relations 8, no. 2, pp. 269-303, Jun. 2004.
- Fearn-Banks, K.,"Crisis Communication: A Casebook approach." NJ: Lawrence Erlmaum Associates, 1996.
- N. Abdelmutti and L. Hoffman-Goetz N. Abdelmutti and L. Hoffman-Goetz, "Risk messages about HPV, cervical cancer, and the HPV vaccine Gardasil: a content analysis of Canadian and US national newspaper articles", Women & Health, Vol.49, No.5, pp422-440, Jul. 2009. https://doi.org/10.1080/03630240903238776
- Lee, M. I., & Hong, J. H. "Analysis of press coverage related to safety of cervical cancer vaccines." Journal of Internet Computing and Services 19, no. 2, pp.77-88, Jun. 2018.
- S. N. Soroka S. N. Soroka, "Agenda-Setting Dynamics in Canada", UBC Press(Vancouver, Toronto), 2002.
- S. C. Zyglidopoulos and A. P. Georgiadis,"Media Visibility as a Driver Corporate Performance", Working Paper Series. Cambridge Business School,, 2006.
- S. D. Reese and P. J. Shoemaker," Media sociology and the hierarchy of influences model: A levels-of-analysis perspective on the networked public sphere", Mass Communication and Society. Vol.19, No.4, pp389-410, May. 2016. https://doi.org/10.1080/15205436.2016.1174268
- Yoo, S. J., Jung, H. J., & Park, H. S. "Analysis of factors affecting intention to receive vaccination against pandemic influenza and the impact of reports on vaccine side effects: Comparison of health belief model and planned behavior theory." Korean Journal of Advertising and Public Relations 12, no. 3, pp.283-319, Nov. 2010.
- Chakraborty, G., & Pagolu, M. K. "Analysis of unstructured data: applications of text analytics and sentiment mining", In SAS global forum, 1288-2014, Mar. 2014.
- Kim, S. Y. & Jung, Y. M. "An Experimental Study on the Selection of Associated Terms Using Text Mining Techniques." Journal of the Korean Society for Information Management 23, no.3, pp147-165. Sep. 2006. https://doi.org/10.3743/KOSIM.2006.23.3.147
- Fan, W., Wallace, L., Rich, S. & Zhang, Z. "Tapping the Power of Text Mining", Communications of the ACM, Vol. 49, No. 9, pp76-82. Mar. 2006.
- Nam, C. H. "Exploring the Applicability of Topic Modeling in Diary Research." Comparative Cultural Studies 22, no. 1, pp.89-135, Mar. 2016.
- Baek, Y. M. "Text Mining Using R," Seoul: Hanul Academy, 2017.
- Song, M. "Text Mining", Seoul: Cheongram, 2017.
- Blei, D. M., Ng, A. Y., & Jordan, M. I., "Latent Dirichlet allocation", Journal of Machine Learning Research, Vol 3, pp.993-1022. Jan. 2003. https://doi.org/10.1162%2fjmlr.2003.3.4-5.993 https://doi.org/10.1162%2fjmlr.2003.3.4-5.993
- Lee, S. S. "Content analysis of academic papers using language network analysis." Journal of the Korean Society for Information Management 31, no. 4, pp.49-68, Dec. 2014. https://doi.org/10.3743/KOSIM.2014.31.4.049
- Park, J. Y., Kim, T. H., & Park, H. W. "Exploring celebrity SNS messages through semantic network analysis." Broadcasting & Communication Studies 82, pp.36-74. Jun. 2013.
- Choi, Y. J., & Kwon, S. H. Semantic Network Analysis of Newspaper Articles on Big Data. Journal of Cybercommunication Studies, 31(1), pp.241-286, Mar. 2014.
- Xie, S. Comparison of Media Coverage on the MERS Crisis in South Korea and China: Focused on the Framing Analysis. Korean Journal of Journalism and Communication Studies, 60(2), pp.297-321, Jun. 2016. https://doi.org/10.20879/kjjcs.2016.60.4.011
- Hwang, K. E., & Moon, S. J. A Study on the Meaning Network Analysis of the Political Power by Video Contents Area. Journal of Korean Biblia Society for library and Information Science, 28(3), pp.217-240, Nov. 2017.
- Freeman, L. C., "Centrality in Social Networks: Conceptual Clarification", Social Networks,, Vol.1, No.3, pp215-239, Nov. 1979. https://doi.org/10.1016/0378-8733(78)90021-7
- Hwang, K. E., & Moon, S. J. Big Data Analysis of Political Power in Video Content Field. Journal of Digital Contents Society, 18(5), pp.911-921, Nov. 2017.
- Wasserman, S. & Faust, K. "Social network analysis: methods and applications" The Press Syndicate of the University of Cambridge, 1994. https://doi.org/10.1017/CBO9780511815478
- Wigand, R.,"Communication network analysis: history and overview," In Goldhaber, G. & Barnett, G. (Eds.), Handbook of Organizational Communication,, pp.319-359, New Jersey: Ablex Publishing.,1988.
- Jung, W. J., Kim, D. W., Yoon, H. Y., Lee, H. M., Park, J. W., Kim, D. S., Son, Y. G., Jeon, H. S., Chun, Y. S., Jung, Y. M., & Park, J. G. "Analysis and Utilization of Big Data," Seoul: Hakjisa, 2020.
- Hwang, D. Y., & Hwang, K. E. Analysis of the Meaning Network in Humanities Contents Field Using Big Data Technology. Humanities Contents, 43, pp.229-255, Mar. 2016. https://doi.org/10.18658/humancon.2016.12.43.229
- Kim, M. J. & Jeon B. W. "Analysis of Newspaper Coverage on Human Embryonic Reproduction using Language Network Analysis Techniques." Journal of Life Ethics, 13, no. 2. pp19-34. Nov. 2012.
- Choi, S. J. Emotional Tone and Framing Analysis of US and Chinese Media Coverage on Korean Wave: Focused on "Gangnam Style" by Psy. Korean Journal of Journalism and Communication Studies, 58(2), pp.505-532, Jun. 2014.
- Jung, S. H., & Jo, H. S. "A study on the change of framing related to personal information leakage using social network analysis: Focusing on the period from 1984 to 2014." Journal of Digital Convergence 12, no. 5, pp. 57-68, Nov. 2014.
- Griffiths, T. L., & Steyvers, M. "Finding scientific topics" Proceedings of the national academy of sciences, Vol. 101(suppl 1), 5228-5235, Dec. 2004. https://doi.org/10.1073/pnas.0307752101
- Bischof, J., & Airoldi, E. M., "Summarizing topical content with word frequency and exclusivity",In Proceedings of the 29th International Conference on Machine Learning, Edinburgh. 201-208., June 2012. https://dl.acm.org/doi/10.5555/3042573.3042578
- Roberts, M. E., Stewart, B. M., Tingley, D., "STM:R package for structural topic models [Computer software]."Retrieved from http://www.structuraltopicmodel.com, March 2018.
- Shin, A. N. "Keyword and topic analysis of the free semester policy using big data." Doctoral dissertation, Seoul National University, 2019.
- Blei, D. "Probabilistic topic models", Communications of the ACM, Vol.5 No.4, 77-84., Nov. 2012. https://doi.org/10.1145/2133806.2133826
- Roberts, M. E., Stewart, B. M., Tingley, D., & Airoldi, E. M. "The structural topic model and applied social science", In Advances in neural information processing systems workshop on topic models: computation, application, and evaluation, Vol. 4., Jun. 2013.
- DiMaggio, P., Nag, M., & Blei, D. "Exploiting Affinities between topic Modeling and the Sociological Perspective on culture", Poetics, Vol. 41, No. 6, pp. 570-606, Nov. 2013. https://doi.org/10.1016/j.poetic.2013.08.004
- Krestel, R., Fankhauser, P., & Nejdl, W., "Latent dirichlet allocation for tag recommendation" In Proceedings of the third ACM conference on Recommender systems. New York, United States America. Oct. 2009.
- Liu, L. "An overview of topic modeling and its current applications in bioinformatics", Expert Systems with Application, Vol. 42 No.3, 1314-1324, Oct. 2015. https://doi.org/10.1186/s40064-016-3252-8