• 정보과학회 논문지
• /
• 제44권6호
• /
• pp.581-586
• /
• 2017

웹 문서를 자동으로 수집하면 대량의 정보를 손쉽게 모을 수 있다. 이러한 정보 수집 과정을 위해 웹 문서에서 메뉴, 광고 등 불필요한 정보를 제거하고 본문을 자동으로 추출할 필요가 있다. 특히 한국어 웹문서는 영어권과 달리 메타데이터가 포함된 경우가 드물고 디자인이 복잡하여 한국어 웹에 맞는 자동 본문 추출 방법이 필요하다. 기존의 본문 추출 방법은 주로 본문 블록의 문자적, 구조적 특성을 활용한다. 시각적 특성을 처리하기 위해서는 렌더링, 이미지 처리 등에 많은 계산이 필요하기 때문이다. 이 논문에서는 HTML에서 태그 위치를 준-시각적 특성으로 활용한 새로운 본문 추출 방법을 제시한다. 태그 위치는 텍스트의 길이에 따라 가변적이기 때문에 태그 서열 위치라는 특성을 개발하였고, 이를 경사 부스팅과 함께 이용하면 정확한 본문 추출이 가능함을 보인다. 본 논문의 연구 결과는 텍스트 분석에 필요한 양질의 문서 자료를 다양한 형태의 웹페이지에서 자동으로 수집하는 데에 쓰일 수 있다.

• 한국정보통신학회논문지
• /
• 제25권12호
• /
• pp.1709-1715
• /
• 2021

웹 페이지에서 필요한 텍스트를 정확하게 추출하기 위해 본문이 존재하는 곳의 태그와 스타일 속성을 웹 크롤러에 명시하는 방법은 웹 페이지 구성이 변경될 때마다 본문을 추출하는 로직을 수정해야 하는 문제가 있다. 이러한 문제점을 해결하기 위해 이전 연구에서 제안한 텍스트의 출현 빈도를 분석하여 본문을 추출하는 방법은 웹 페이지의 수집 채널에 따라 성능 편차가 크다는 한계점이 있었다. 따라서 본 논문에서는 텍스트의 출현 빈도뿐만 아니라 웹 페이지의 DOM 트리로부터 추출된 텍스트 노드의 부모 태그 경로를 분석하여 다양한 수집 채널에서 높은 정확도로 본문을 추출하는 방법을 제안하였다.

• 한국농공학회논문집
• /
• 제61권3호
• /
• pp.55-65
• /
• 2019

Although crack on concrete exists from its early formation, crack requires attention as it affects stiffness of structure and can lead demolition of structure as it grows. Detecting cracks on concrete is needed to take action prior to performance degradation of structure, and deep learning can be utilized for it. In this study, transfer learning, one of the deep learning techniques, was used to detect the crack, as the amount of crack's image data was limited. Pre-trained Inception-v3 was applied as a base model for the transfer learning. Web scrapping was utilized to fetch images of concrete wall with or without crack from web. In the recognition of crack, image post-process including changing size or removing color were applied. In the visualization of crack, source images divided into 30px, 50px or 100px size were used as input data, and different numbers of input data per category were applied for each case. With the results of visualized crack image, false positive and false negative errors were examined. Highest accuracy for the recognizing crack was achieved when the source images were adjusted into 224px size under gray-scale. In visualization, the result using 50 data per category under 100px interval size showed the smallest error. With regard to the false positive error, the best result was obtained using 400 data per category, and regarding to the false negative error, the case using 50 data per category showed the best result.

• 디지털융복합연구
• /
• 제18권9호
• /
• pp.17-27
• /
• 2020

사회적 의제 설정 영향력을 지닌 미디어인 언론 기사와 블로그 포스트에서 농촌태양광이 어떻게 다루어지고 있는지 분석하기 위해 텍스트 마이닝 방법을 활용하였다. 농촌태양광을 키워드로 웹스크래핑을 통해 기사와 블로그 포스트의 텍스트 자료를 수집하고, 이에 대해 감성분석과 토픽모델 기법을 적용하여 연구를 수행했다. 감성분석 결과 농촌태양광에 대한 텍스트에서 두 매체 모두 긍정적인 입장을 가지는 비율이 높았는데, 블로그의 경우 기사에 비해 부정적인 내용을 담은 텍스트의 비중이 훨씬 낮은 것을 확인할 수 있었다. 그리고 토픽모델링 결과로 긍정 기사는 정부의 보급계획 관련 토픽들의 비중이 컸고, 부정 기사는 다양한 토픽들의 비중이 고르게 분포하였다. 블로그는 긍정 포스트의 경우 농촌 지역 설치 관련 토픽들이, 부정 포스트는 환경 피해 관련 토픽들이 가장 큰 부분을 차지했다. 기존에 별개로 이루어지던 감성분석과 토픽모델링을 결합하는 연구 방식을 제시함으로써 농촌태양광에 대한 이슈를 효과적으로 파악할 수 있었다.

• 지능정보연구
• /
• 제19권1호
• /
• pp.95-110
• /
• 2013

최근 다양한 소셜미디어를 통해 생성되는 비정형 데이터의 양은 빠른 속도로 증가하고 있으며, 이를 저장, 가공, 분석하기 위한 도구의 개발도 이에 맞추어 활발하게 이루어지고 있다. 이러한 환경에서 다양한 분석도구를 통해 텍스트 데이터를 분석함으로써, 기존의 정형 데이터 분석을 통해 해결하지 못했던 이슈들을 해결하기 위한 많은 시도가 이루어지고 있다. 특히 트위터나 페이스북을 통해 실시간에 근접하게 생산되는 글들과 수많은 인터넷 사이트에 게시되는 다양한 주제의 글들은, 방대한 양의 텍스트 분석을 통해 많은 사람들의 의견을 추출하고 이를 통해 향후 수익 창출에 기여할 수 있는 새로운 통찰을 발굴하기 위한 움직임에 동기를 부여하고 있다. 뉴스 데이터에 대한 오피니언 마이닝을 통해 주가지수 등락 예측 모델을 제안한 최근의 연구는 이러한 시도의 대표적 예라고 할 수 있다. 우리가 여러 매체를 통해 매일 접하는 뉴스 역시 대표적인 비정형 데이터 중의 하나이다. 이러한 비정형 텍스트 데이터를 분석하는 오피니언 마이닝 또는 감성 분석은 제품, 서비스, 조직, 이슈, 그리고 이들의 여러 속성에 대한 사람들의 의견, 감성, 평가, 태도, 감정 등을 분석하는 일련의 과정을 의미한다. 이러한 오피니언 마이닝을 다루는 많은 연구는, 각 어휘별로 긍정/부정의 극성을 규정해 놓은 감성사전을 사용하며, 한 문장 또는 문서에 나타난 어휘들의 극성 분포에 따라 해당 문장 또는 문서의 극성을 산출하는 방식을 채택한다. 하지만 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다. 본 연구는 특정 어휘의 극성은 한 가지로 고유하게 정해져 있지 않으며, 분석의 목적에 따라 그 극성이 상이하게 나타날 수도 있다는 인식에서 출발한다. 동일한 어휘의 극성이 해석하는 사람의 입장에 따라 또는 분석 목적에 따라 서로 상이하게 해석되는 현상은 지금까지 다루어지지 않은 어려운 이슈로 알려져 있다. 구체적으로는 주가지수의 상승이라는 한정된 주제에 대해 각 관련 어휘가 갖는 극성을 판별하여 주가지수 상승 예측을 위한 감성사전을 구축하고, 이를 기반으로 한 뉴스 분석을 통해 주가지수의 상승을 예측한 결과를 보이고자 한다.