Study of Multiple Topic Citation Analysis Service Method Using Citing and Cited Phrases

인용·피인용 구절을 이용한 다주제 인용 분석 서비스 방법 연구

Abstract

The analysis of citing and cited phrases provides an opportunity to enhance search-centric academic information services. However, most current studies focus only on citation analysis among academic associations, researchers, and articles, making it challenging to develop higher citation-based information services. This study proposes citation analysis service methods using citing and cited phrases. First, to verify the feasibility of suggested services, we have collected the most highly cited articles with specific domain terms and followed their citing relationship; after that, we found formal citation types and ratios in the original articles. And we conducted structural analysis, especially with three topics, "Deep Learning," "Green Energy," and "Aging," and then structurally illustrates the citation characteristics of related articles. Finally, we collected four most cited articles and all their citing ones for each subject from Google Scholar and analyzed the ratio of citation types and citation spread. We hope that various citation analysis studies and information services can be further developed based on our discussion for designing better information services.

인용 및 피인용 구절 분석은 정보 검색 위주의 단순 학술정보 서비스를 고도화시킬 기회를 제공한다. 그렇지만, 대부분의 연구가 커뮤니티, 연구자, 논문 간 인용 지수 중심의 분석에 초점을 맞추고 있어, 인용 구절 분석에 기반한 인용 기반 논문 정보 서비스를 제공하기에는 어려움이 있다. 본 연구는 "딥러닝", "그린에너지", "노령화"라는 세 개의 주제를 대상으로 논문 내 인용 구절 분석을 수행하고, 피인용 논문의 인용 특성을 구조적으로 설명한다. 이를 위해 구글 스칼라를 통해 각 주제에서 가장 많이 인용된 피인용 논문 각 네 편과 모든 인용 논문들을 수집하였으며, 이들을 대상으로 인용 유형 비율 분석과 인용 확산 분석을 수행하는 방식으로 피인용 논문 특성을 파악하고, 정보 서비스에 어떻게 반영할 수 있는지를 논하였다. 본 연구를 기반으로 다양한 인용 분석 연구와 정보 서비스가 개발될 수 있기를 기대한다.

I. 서론

인용은 논문에 반드시 포함되어야 하는, 학문 발전 과정에서 매우 중요한 요소이다. 인용 분석(Citation Analysis)은 주로 논문의 영향력 평가의 지표로 논문이나, 기관, 저자의 질적 평가의 수단으로 활용되거나 (H-index, G-index 등의 측정 지표), 연구의 경향 파악을 위한 도구로 활용되어 왔다.

Web of Science(WoS)나 SCOPUS와 같은 대표적인 인용 색인 데이터베이스는 인용 문헌의 국가, 문헌 유형 등을 기존 메타정보(저자, 학술지명 등)와 통합하여 분석 서비스를 제공하고 있으며, 국내의 학술정보 서비스인 ScienceOn, Riss, DBpia 등도 인용 정보를 다양한 형식으로 제공하고 있다. 그렇지만, 대부분의 연구가 커뮤니티, 연구자, 논문 간 인용 지수 중심의 분석에 초점을 맞추고 있어, 인용 구절 분석에 기반한 인용 기반 논문 정보 서비스를 제공하기에는 어려움이 있다.

본 연구는 여기에서 한발 더 나아가 논문 내 인용 구절 분석을 통해 피인용 논문의 인용 특성(예. 인용 부분, 인용 이유, 인용 유형 등)을 구조적으로 제시할 수 있는 피인용 논문을 위한 정보 서비스 설계 가능성을 파악하고자 한다.

Ⅱ. 관련 연구

인용 및 피인용 구절 분석은 정보 검색 위주의 단순 학술정보 서비스를 고도화시킬 기회를 제공한다. 이러한 중요성으로 인해 다양한 관점에서의 인용 분석 연구가 수행되어 왔다. 학회지 전체를 대상으로 인용 지수 기반으로 분석하는 연구[1], 특허나 논문의 인용 관계를 네트워크화하고 인용 강도를 분석하는 연구[2], 전체 또는 특정 커뮤니티 연구자들의 피인용 특성 및 결과를 분석하는 연구[3-5], 인용과 연구 분야와의 연관 관계 분석을 시도한 연구[6], 논문 내 참고문헌과 매칭되는 피인용 논문을 인식하는 연구[7] 등이 그 대표적인 예 이다. 국내 대표 과학기술 학술정보 서비스인 ScienceON에서도 인용/피인용 관계를 특정 논문 중심으로 제공하는 ‘논문 타임라인’ 서비스를 제공하고 있다[그림 1]. 이 서비스는 해당 논문을 설명할 수 있는 태그 클라우드, 해당 논문의 인용/피인용 논문들, 그리고 그들의 주요 키워드들을 시각적으로 제공함으로써 기존 정보서비스들의 단순 참고문헌 제공을 한 단계 넘어서는 정보 서비스라고 할 수 있다.

그림 1. ScienceOn Article Timeline 서비스

본 연구에서는 범용 학술정보 서비스에 적용을 목표로 인용 정보의 세분화된 분석을 통해 새로운 인용 정보 분석 서비스의 가능성을 확인하고, 이를 통해 차세대 인용 분석 서비스의 기반으로 활용하고자 한다. 즉, 커뮤니티 수준보다 한 단계 더 깊이 들어간 논문 수준의 서비스가 ‘논문 타임라인’이라면, 본 연구는 원문 내 구절(Phrase) 수준으로 한 단계 더 깊이 들어가서 인용 특성을 분석하는 데 초점을 맞추고 있다.

Ⅱ. 인용 관계 및 인용 특성 분석

본 연구는 콘텐츠 내에서 인용-피인용 관계 분석을 통한 새로운 논문 정보 서비스 연구에 목적을 두고 있다.

제안 서비스의 개념 검증 및 타당성 분석을 위한 데이터는 대표적인 학술정보 검색엔진인 구글 스칼라 서비스(https://scholar.google.com/)를 통해 분석 데이터를 선별하였다. 상세한 분석 대상 데이터 선별 과정은 다음과 같다. 먼저, 2020년 KISTI(한국과학기술 정보연구원)에서 발표한 미래 10대 유망기술 키워드를 추상화하여 대표 키워드로 변경하였다. 예를 들어 “수소에너지 활용을 위한 재생에너지 저장·변환 기술”은 “그린 에너지”로 변경하였다. 수정된 10개의 키워드를 대상으로 구글 스칼라 검색을 수행하였으며 Harzing.com의 Publish or Perish를 활용하여 해당 키워드의 1차 검색 결과(상위 100개 논문)를 크롤링하였다. 크롤링 결과 중 10회 이상 인용된 논문을 본 연 구의 분석 대상으로 선정하고 대상 피인용 논문과 인용 논문과의 관계 및 특성 분석을 수행하였으며, 2장에서는 서비스의 개념 검증 및 타당성 분석을 위해 저자의 이해도가 높은 3가지 키워드에 대한 구조적 분석을 기술한다.

인용 구절 분석은 [표 1]과 같은 인용 유형을 기준으로 하며, 그 예시는 [표 2]와 같다.

표 1. Citation Types

표 2. Example of Citing Phrases Analysis

- 논문명: “합성곱 신경망을 이용한 언어장애인용 문장 인식”[12]

(1) 연도: 출판년도

(2) 문헌 ID: 해당 논문의 식별 번호(예. A는 피인용 논문이며, A-1~A-111은 인용 논문임)

(3) 인용 구절: 인용 논문에 나타난 피인용 논문을 언급한 구절

(4) 피인용 구절: 피인용 논문 내에서 인용 구절에 대응하는 구절

(5) 출처 학회: 해당 논문이 게재된 학회

(6) 동일 구절 여부: 인용 구절과 피인용 구절의 표현 일치 여부

(7) 인용 유형: 인용 구절을 통해 파악한 인용 성격 (예. 용어, 특징 등; [표 1] 참조)) 참고문헌 표시와 인용 구절 모두를 찾을 수 없는 경우(참고문헌 목록을 논문 마지막에 기술하지만, 본문 내 어느 영역에서 어떻게 인용했는지를 알 수 없는 경우)는 분석에서 제외함.¹

(8) 참고문헌 표시 여부: 인용 구절에 참고문헌 번호, 저자명 등 표시 여부 일반적으로 인용 구절 의 앞이나 뒤에 참고문헌 번호 등을 표시하나, 해당 표시가 없는 경우에는, 저자의 판단으로 매칭되는 구절을 인용 구절로 설정함.²

1. “딥러닝” 검색 키워드에 대한 인용 분석

구글 스칼라에서 “딥러닝”으로 검색한 결과³ 중 10회 이상 피인용된 논문 4편과 이들을 인용한 인용 논문 45 편을⁴ 대상으로 인용 구절 분석을 수행하였다[8-11]. 해당 피인용 논문 4편은 2014~2017년까지 매년 1편씩 포함하고 있어 연도별로 치우지지 않으며, 모두 다른 학회에 게재되어 특정 학회(커뮤니티) 특성에 영향 받지 않아 적절한 샘플링이라 판단하였다.

다음은 해당 피인용 논문들을 인용 유형 비율과 인용 확산 관점으로 분석하고 해석한 결과이다.

(1) 인용 유형 비율 분석([그림 2] 참조): 피인용 논문 A와 C는 ‘용어’, ‘특징’, ‘사실:방법론’ 중심으로 인용이 이루어지고 있어, 다양한 방법론들과 배경 지식을 설명하는 조사(Survey) 연구에 가까운 것으로 해석할 수 있다([그림 3]의 왼쪽처럼 딥러닝과 오류 역전파 알고리즘의 일반적 설 명들이 많이 피인용됨). 피인용 논문 B와 D는 대부분의 인용 유형이 ‘사실:연구’로, 특정 분야에서 연구된 논문이라는 단순 사실을 인지시키기 위한 인용 목적을 가짐을 알 수 있다([그림 3]의 오른쪽처럼 문제 정의와 연구 동향에서 많이 피인용됨; 빨간색 박스는 피인용 빈도가 높은 구절임). 즉, 이들은 새로운 분야에 대한 실증 및 사례 연구(Empirical Study)에 가까운 것으로 해석할 수 있다. 본 연구에서 구체적으로 찾지는 못하였지만, 특정 방법론을 주창하는 이론 연구 (Theoretical Study) 역시 피인용 논문 A, C와 유사한 패턴을 보일 것으로 예측할 수 있다.

그림 2. “딥러닝” 키워드의 인용 문헌의 인용 유형 비율 비교 결과(A: [8], B: [9], C: [10], D: [11])

그림 3. “딥러닝” 키워드의 인용 구절과 비율 분석(왼쪽: 논문 A, 오른쪽: 논문 B)

(2) 인용 확산 분석([그림 4] 참조): 피인용 논문 B는 매년 지속적으로 인용이 일어나고 있지만, 피인용 논문이 게재된 학회를 중심으로 주로 인용되고 있는 반면에, 피인용 논문 C와 D는 매년 새로운 학회에서 추가로 인용되고 있다. 특히, D는 대부분의 인용 유형이 ‘사실:연구’이기 때문에, 다른 커뮤니티에서의 “딥러닝” 연구 현황을 언급하기 위한 목적으로 대부분 인용되는 것으로 파악된다. B는 동일 커뮤니티 내에서 해당 방법론을 이용하거나 개선하는 방향으로 후속 연구가 이루어지고 있음을 알 수 있다.

그림 4. “딥러닝” 키워드의 인용 확산 분석(왼쪽: 인용 빈도, 오른쪽 : 새로운 분야의 인용 출현 빈도)

2. “그린에너지” 검색 키워드에 대한 인용 분석

구글 스칼라에서 “그린에너지”로 검색한 결과⁵ 중 가장 많이 피인용된 논문 4편과 이들을 인용한 인용 논문 29편을⁶ 대상으로 인용 구절 분석을 수행하였다 [12-15]. 다음은 해당 피인용 논문들을 인용 유형 비율과 인용 확산 관점으로 분석하고 해석한 결과이다.

(1) 인용 유형 비율 분석([그림 5] 참조): 피인용 논문 A와 D는 대부분의 인용 유형이 ‘사실:연구’로, 특정 분야에서 연구된 논문이라는 단순 사실을 인지시키기 위한 인용 목적을 가짐을 알 수 있다. 이는 “딥러닝” 분석에서의 B와 D에서 확인한 유형과 매우 유사한 것으로, 새로운 분야에 대한 실증 및 사례 연구에 가깝다고 볼 수 있다. 피인용 논문 B는 ‘특징’, ‘사실:연구’ 중심으로 인용이 이루어지고 있어, “딥러닝” 분석의 A와 C처럼 인용 목적이 다양한 방법론들을 설명하는 조사(Survey) 연구에 가까운 것으로 해석할 수 있으며, 인용 유형과 비율 역시 유사함을 알 수 있다. 피인용 논문 C는 ‘특징’, ‘데이터’, ‘시각화:실험’, ‘사실:연구’가 고르게 분포하는 패턴을 보여주고 있는데, 인용 논문들의 인용 목적이 다양한, 해당 주제의 대표적인 선구적 연구 내용을 담고 있는 것으로 해석할 수 있다. 이는 A와 D보다 단순 사실의 인지 이상으로 인용 논문들의 연구에 더 큰 영향을 미친 연구에서 나타날 수 있는 인용 유형으로 판단되며, 추후 연구의 영향력을 비교 분석하는 데 도움이 될 것으로 판단한다.

그림 5. “그린 에너지” 키워드의 인용 문헌의 인용 유형 비율 비교 결과(A: [12], B: [13], C: [14], D: [15])

(2) 인용 확산 분석([그림 6] 참조): 피인용 논문 A는 “그린에너지”에 대한 전 세계 트렌드 변화에 따라 피인용에 미치는 영향을 그대로 보여준다. 구글 트렌드에서 전 세계를 대상으로 한 “그린에너지”의 검색 기반 관심도 변화를 살펴보면⁷, 논문이 게재된 이후 관심이 서서히 줄어들다, 최근 들어 다시 관심이 높아지는 것을 알 수 있다([그림 7] 참조). 인용 시기 역시 2012(1), 2013(2), 2014(1), 2019(3)과 같이 관심도의 변화에 맞추어 움직이는 것을 확인할 수 있으며, 새로운 학회들에서 주로 인용되면서 해당 주제의 관심도 확산을 설명해준다. 피인용 논문 C는 전술한 바와 같이 해당 주제의 대표적인 선구적 연구로 파악되는데, 인용 확산 패턴으로 분석해 보면, 게재 직후 집중적으로 인용되었으며 그 이후는 더 이상 인용되고 있지 않아 참고할 가치가 급격히 낮아짐을 알 수 있다. 기술 개발에 있어서 기술개발단계(TRL; Technology Readiness Level)를 통해 진화하듯이, 연구 역시 연구 수준이나 세대 간의 구분이 있다[16][17]. 기초 기술 연구 – 기술 개발 – 시스템/서브시스템 개발처럼 연구의 생명 주기도 존재하며, C는 그런 측면에서 초기 단계의 연구들에서 참조할 만한 기초 연구 내용들을 담고 있어, 이후 진보된 연구들에서 참조할 가치가 사라진 것으로 볼 수 있다.

그림 6. “그린 에너지” 키워드의 인용 확산 분석(왼쪽: 인용 빈도, 오른쪽 : 새로운 분야의 인용 출현 빈도)

그림 7. “Green Energy” 키워드의 Google Trends 검색 히스토리 (2004~2020)

3. “노령화” 검색 키워드에 대한 인용 분석

구글 스칼라에서 “노령화”로 검색한 결과⁸ 중 가장 많이 피인용된 논문 4편과 이들을 인용한 인용 논문 54편을⁹ 대상으로 인용 구절 분석을 수행하였다[18-21]. 다음은 해당 피인용 논문들을 인용 유형 비율과 인용 확산 관점으로 분석하고 해석한 결과이다.

(1) 인용 유형 비율 분석([그림 8] 참조): “노령화” 주제는 타 주제들과 달리 피인용 논문들에서 공 통적으로 ‘특징’이 인용 유형의 50% 이상을 차지한다. 이는, 해당 피인용 논문들이 기술적인 내용보다 고찰 결과를 담고 있어서, 인용 논문들에 의해 해당 고찰 결과가 논의되는 양상을 보이기 때문으로 해석할 수 있다. 즉, 주제가 사실을 다루고 실험하는 기술이냐 사회적 현상과 이슈를 다루는 담론이냐에 따라 인용 유형에 있어 차이가 발생하는 것으로, ‘사실:연구’, ‘사실:방법론’이 주로 나타나는 기술 중심의 주제와 ‘특징’이 주로 나타나는 담론 중심의 주제를 구분할 수 있는 단초가 존재함을 알 수 있다. “노령화” 주제에 있어서의 또 다른 특징은 전술한 주제들에서 출현하지 않은 ‘검증’ 유형이 자주 눈에 띄는 점이다. ‘검증’의 예는, “학력이 높을수록 생활만족도가 높다는 [18]의 연구결과를 본 연구에서도 확인할 수 있었다.”, “[19]의 연구에서도 성별에 따라 통계적으로 유의한 차이를 보인다고 보고하고 있어 본 연구결과와 유사하였다.”와 같이 피인용 논문에서 주장한 사실에 대해 확인하고 재현하는 것으로, 실험된 결과를 다시 재현하려고 하는 시도가 별로 없는 기술 중심의 주제와 달리, 피인용 논문의 주장을 다시 검증하고자 하는 후속 연구들이 상대적으로 많다는 것으로 확인할 수 있다. 피인용 논문 A, C, D와 같이 ‘사실:연구’, ‘사실:방법론’도 나타나지만, 그보다는 ‘특징’, ‘검증’이 주된 인용 유형이라는 점에서 전술한 주제들과는 명확한 차이를 보이는 것을 알 수 있다. 향후 연구를 통해 주제의 성격을 파악하고 인용 양상을 분석하는 데 이러한 특징을 활용할 필요가 있을 것이다.

그림 8. “노령화” 키워드의 인용 문헌의 인용 유형 비율 비교 결과(A: [18], B: [19], C: [20], D: [21])

(2) 인용 확산 분석([그림 9] 참조): “노령화”라는 사회 이슈를 다루는 주제는 전술한 다른 주제들보다 인용 기간이 상대적으로 긴 것을 알 수 있다. 이는 기술의 발전에 따라 인용 필요성이 상대적으로 큰 영향을 받는 기술 중심적 주제보다 인문 사회적 주제에 가까울수록 인용 생명력이 더 강하다고 해석할 수 있다. 예를 들어, “경제활동을 하는 취업자가 미취업자보다 삶의 만족도가 높은 것으로 나타났다.”, “복부 지방율 또한 연령층 사이에 60대 연령에서 가장 높게 나타나 통계적으로 유의한 차이가 나타났다.”와 같이 관찰을 통해 결론을 도출한 피인용 구절들이 집중적으로 인용·검증되고 있어 후속 연구들을 통해 선구적 연구들의 결론이 강화되는 경향을 확인할 수 있다.

그림 9. “노령화” 키워드의 인용 확산 분석(왼쪽: 인용 빈도, 오른쪽 : 새로운 분야의 인용 출현 빈도)

4. 기타 인용 분석

(1) 확산 강도 분석: ‘총신규학회출현횟수/총인용횟수’를 확산 강도로 정의하면, “딥러닝”의 D는 0.8, “그린에너지”의 A는 0.71, “노령화”의 B는 0.67로 높게 나타나는 반면에, “딥러닝”의 B는 0.27, “그린에너지”의 B는 0.25, “노령화”의 A 는 0.33으로 낮게 나타난다. 확산 강도가 높게 나타나는 피인용 논문들의 특징은 ‘사실:연구’와 ‘사실:방법론’ 비율이 상대적으로 높은데, 이는 타 커뮤니티에서 해당 논문들을 인용할 때 깊이 있는 분석을 하기 보다는 단편적 사실을 자신들 연구의 주장을 뒷받침하거나 배경을 설명하는 용도 수준으로 간단히 활용하는 경향이 있다는 것을 의미한다. 피인용 논문의 해당 커뮤니티보다 연구에 대한 깊은 이해에 한계가 있다 보니 나타나는 현상으로 보이며, 확산 강도가 높은 연구들의 속성을 파악하는 데 도움이 될 수 있다. 각 주제 별 평균 확산 강도를 비교해 보면, “딥러닝”이 0.53, “그린에너지”가 0.41, “노령화”가 0.49로 편차가 크지 않다. 이러한 사실은 확산 강도가 주제에 영향을 받기 보다는 개별 연구의 특성에 더 많은 영향을 받는다는 것을 알 수 있으며, 확산 강도를 이용한 연구 성격을 분류하고 체계화할 수 있는 가능성을 확인할 수 있다.

(2) 워드 클라우드 분석([그림 10] 참조): “딥러닝” 주제에 대해 인용 구절들과 피인용 구절들을 정 제한 후 분석해보면 고빈도 단어들 간에 높은 일치율을 보인다. 이는 인용 구절들이 비교적 정 확히 피인용 구절들을 참조하고 있다는 것을 의미하는데, 이러한 분석은 인용 논문이 제대로 피인용 논문을 참고하고 있는 지를 검증할 수 있는 수단으로 활용할 수 있다. 더 나아가 인용 구절들이 참조하고 있는 피인용 구절들을 자동으로 제시하는 방식으로 참조 관계를 쉽게 파악할 수 있게 해주는 정보 서비스 설계도 가능할 것으로 보인다.

Ⅲ. 결론

본 연구는 “딥러닝”, “그린에너지”, “노령화”라는 세 가지 주제에 대해 논문 내 인용 및 피인용 구절 분석을 통해 피인용 논문의 인용 특성과 양상을 구조적으로 제시하고 기존 정보서비스의 주류를 이루는 메타데이터 분석을 넘어서는 인용 구절 기반 정보 서비스를 설계할 수 있는 기반을 제공할 수 있다는 데 의미가 있다[22]. 특히, 인용 유형 비율 분석을 통해 피인용 논문의 성격 과 중요성을 파악하는 동시에, 신규 학회로의 인용 확산 분석을 통해 어떻게 다른 커뮤니티로 관련 연구가 확산되고 있는지를 파악함으로써, 인용 분석 기반 정보 서비스의 새로운 가능성을 검증하였다.

본 연구는 새로운 인용 분석 서비스 개발을 위한 가능성 검증의 첫 번째 단계로, 소규모 주제에 한정되는 한계를 지니고 있어, 앞으로 공학 분야뿐 아니라 인문 및 사회, 의료 분야를 포괄하는 다양한 분야별 적용 가능성을 확장 검토할 필요가 있다.

향후 연구로는 대규모 인용 논문 집합을 대상으로 자동 인용 구절 추출 및 분석을 구현하고, 새로운 정보 서비스 모델을 개발할 예정이다.

그림 10. “Deep Learning” 키워드의 인용 구절(왼쪽)과 인용된 구절(오른쪽) 워드 클라우드 비교 결과