• 제목/요약/키워드: natural language

검색결과 1,530건 처리시간 0.027초

BERT 기반 자연어처리 모델의 미세 조정을 통한 한국어 리뷰 감성 분석: 입력 시퀀스 길이 최적화 (Fine-tuning BERT-based NLP Models for Sentiment Analysis of Korean Reviews: Optimizing the sequence length)

  • 황성아;박세연;장백철
    • 인터넷정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.47-56
    • /
    • 2024
  • 본 연구는 BERT 기반 자연어처리 모델들을 미세 조정하여 한국어 리뷰 데이터를 대상으로 감성 분석을 수행하는 방법을 제안한다. 이 과정에서 입력 시퀀스 길이에 변화를 주어 그 성능을 비교 분석함으로써 입력 시퀀스 길이에 따른 최적의 성능을 탐구하고자 한다. 이를 위해 의류 쇼핑 플랫폼 M사에서 수집한 텍스트 리뷰 데이터를 활용한다. 웹 스크래핑을 통해 리뷰 데이터를 수집하고, 데이터 전처리 단계에서는 긍정 및 부정 만족도 점수 라벨을 재조정하여 분석의 정확성을 높였다. 구체적으로, GPT-4 API를 활용하여 리뷰 텍스트의 실제 감성을 반영한 라벨을 재설정하고, 데이터 불균형 문제를 해결하기 위해 6:4 비율로 데이터를 조정하였다. 의류 쇼핑 플랫폼에 존재하는 리뷰들을 평균적으로 약 12 토큰의 길이를 띄었으며, 이에 적합한 최적의 모델을 제공하기 위해 모델링 단계에서는 BERT기반 사전학습 모델 5가지를 활용하여 입력 시퀀스 길이와 메모리 사용량에 집중하여 성능을 비교하였다. 실험 결과, 입력 시퀀스 길이가 64일 때 대체적으로 가장 적절한 성능 및 메모리 사용량을 나타내는 경향을 띄었다. 특히, KcELECTRA 모델이 입력 시퀀스 길이 64에서 가장 최적의 성능 및 메모리 사용량을 보였으며, 이를 통해 한국어 리뷰 데이터의 감성 분석에서 92%이상의 정확도와 신뢰성을 달성할 수 있었다. 더 나아가, BERTopic을 활용하여 새로 입력되는 리뷰 데이터를 카테고리별로 분류하고, 최종 구축한 모델로 각 카테고리에 대한 감성 점수를 추출하는 한국어 리뷰 감성 분석 프로세스를 제공한다.

블로그 데이터 감성분석을 통한 북한산둘레길 구간별 선호도 평가 (Evaluation of Preference by Bukhansan Dulegil Course Using Sentiment Analysis of Blog Data)

  • 이성희;손용훈
    • 한국조경학회지
    • /
    • 제49권3호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구는 탐방객이 자유롭게 서술한 블로그 텍스트 데이터를 자연어 처리 기술 중 하나인 감성분석을 활용하여 북한산둘레길의 선호도를 평가하고, 선호 요인과 비선호 요인을 도출하는 것을 목적으로 하였다. 이에 2019년 1년 동안 작성된 블로그를 수집하고 21개 둘레길 구간별 텍스트에 나타난 긍정 및 부정 감성 단어 도출을 통해 감성점수를 산출하였다. 이후 내용분석을 통해 탐방객이 어떤 요소로 인해 구간을 선호하거나 선호하지 않는지 파악하였다. 북한산둘레길에 대해 작성된 블로그에서는 긍정적인 단어가 평균적으로 약 73% 출현하고 있었고, 각 구간별 게시물의 감성 극성 비율에서도 긍정적인 문서의 비율이 부정적인 문서의 비율보다 높았다. 이를 통해 탐방객은 북한산둘레길에 대하여 대체로 긍정적으로 인식하고 있는 것으로 나타났다. 그럼에도 감성점수를 도출한 결과, 21개 둘레길 구간에서는 선호하는 구간과 선호하지 않는 구간이 존재하고 있었다. 선호 구간과 비선호 구간에 대해 탐방객은 난이도가 낮고 부담 없이 걸을 수 있는 구간을 선호하고 있었고, 경관에 대한 여러 요소(시각, 청각, 후각 등)가 조화롭고 계절감이 뚜렷해 다양한 경관이 연출되는 곳, 경관 시퀀스의 변화가 존재하는 구간을 선호하는 것으로 나타났다. 또한 탐방객은 전망대, 조망점 등의 뷰포인트 유무를 둘레길에서의 주요 요소로 인식하고 있었고, 접근성이 우수하고 안내판 등 정보 제공이 원활하게 이뤄지는 구간에 대해 선호도가 더 높은 것을 알 수 있다. 반면, 도로와 인접함에 따라 발생되는 주변 소음과 과도한 시가지 비율, 구간별 난이도 불균형 등으로 인한 둘레길 동선 불만족이 비선호 요인으로 크게 작용하고 있었으며, 경관 단절 및 구간에 대한 정보 부족 등이 선호도를 떨어트리는 원인으로 나타났다. 본 연구의 결과는 국립공원뿐만 아니라 근교 산림 녹지 관리에 있어서 둘레길 정비 및 개선방안 마련에 활용될 수 있으며, 연구에 활용된 감성분석은 자연지역에 대한 실제 이용자들의 반응을 지속적으로 모니터링 할 수 있다는 점에 의의가 있다. 다만 사전에 정의된 감성사전을 기반으로 평가하였기에 지속적인 사전 업데이트가 필요하다. 또한 소셜미디어 특성상 부정적인 견해보다는 긍정적인 내용을 공유하는 경향이 존재하기 때문에, 현장 설문조사 등의 분석 결과와 비교, 검토하는 작업이 필요하다.

인터랙티브 내러티브에 관한 연구 - VR 애니메이션 <Wolves in the Walls>의 분석을 중심으로 (A Study on the Interactive Narrative - Focusing on the analysis of VR animation <Wolves in the Walls>)

  • 성호장
    • 트랜스-
    • /
    • 제15권
    • /
    • pp.25-56
    • /
    • 2023
  • VR 콘텐츠는 정보의 밀도가 매우 높은 동적 이미지 시뮬레이션 기술을 기반으로 공간감과 현실감 확보를 통해 체험자에게 깊은 몰입감을 가져다준다. 하지만 높은 정보 밀도의 내부 정보들은 한편 객관적이지 않은 착각을 형성하기도 한다. 때문에 사용자에게 높은 밀도의 동적 이미지 정보를 해석할 수 있는 적절한 안내가 필요하다. 게임에서 네비게이션 인터페이스와 상호작용 기능을 설정하는 것처럼, 가상현실에서의 상호작용은 가상 콘텐츠를 해석, 향유하는 기본적 토대이다. 본 연구는 VR 콘텐츠 제작의 중요한 부분인 상호작용적인 스토리텔링 설계에 대한 사례 분석을 기반으로 한다. 가상현실 콘텐츠에서 더 우수한 상호작용적인 스토리텔링 모델을 탐색하기 위해 기본적인 주요개념들을 고찰하고 VR 애니메이션 <Wolves in the Walls>의 상호작용적인 스토리텔링 특징을 분석한다. 분석의 결과로 정리된 결론은 첫째, VR 환경이 사용자에게 자유롭게 이동할 수 있는 장점을 충분히 활용해야 하며, 상호작용 모듈 설계시 사용자의 현장감을 충분히 고려해야 한다는 점이다. 이를 통해 관객의 상호작용을 유도하여 참여도를 높힘으로서 VR이라는 핫미디어를 쿨미디어적 참여를 유도할 수 있다. 둘째, 사용자가 자유도가 매우 높은 가상 환경에 처음 들어갔을 때 모호한 세계 상황에 대해 당황하지 않도록, 작품의 초기 단계에서는 개발자 주도의 서술을 제공해야 한다. 셋째, 일부 게임에서 텍스트를 통해 사용자에게 안내하는 것과 달리, 사용자와 스토리 캐릭터(NPC)와의 자연스러운 대화를 추가하는 더 자연스러운 상호작용 방식을 통해 안내할 수 있다. 본 연구는 VR 애니메이션 <Wolves in the Walls>의 상호작용적인 스토리텔링 특징을 분석하고 정리함으로써 다양한 형태로 진화되고 있는 VR 콘텐츠의 설계의 한 가이드라인을 제공한다.

텍스트마이닝 기법을 활용한 사용후핵연료 건식처리기술 관련 언론 동향 분석 (Analysis of media trends related to spent nuclear fuel treatment technology using text mining techniques)

  • 정지송;김호동
    • 지능정보연구
    • /
    • 제27권2호
    • /
    • pp.33-54
    • /
    • 2021
  • 최근 4차 산업혁명, 코로나로 인한 뉴노멀 시대의 도래 등을 계기로 인공지능, 빅데이터 연구와 같은 언택트 관련 기술의 중요성이 더욱 급상하고 있다. 각 종 연구 분야에서는 이러한 연구 트렌드를 따라가기 위한 융합적 연구가 본격적으로 시행되고 있으나 원자력 분야의 경우 자연어 처리, 텍스트마이닝 분석 등 인공지능 및 빅데이터 관련 기술을 적용한 연구가 많이 수행되지 않았다. 이에 원자력 연구 분야에 데이터 사이언스 분석기술의 적용 가능성을 확인해보고자 본 연구를 수행하였다. 원자로 연료로 사용된 뒤 배출되는 사용후핵연료 인식 동향 파악에 대한 연구는 원자력 산업 정책에 대한 방향을 결정하고 산업정책 변화를 사전에 대응할 수 있다는 측면에서 매우 중요하다. 사용후핵연료 처리기술은 크게 습식 재처리 방식과 건식 재처리 방식으로 나뉘는데, 이 중 환경 친화적이고 핵비확산성 및 경제성이 높은 건식재처리 기술인 '파이로프로세싱'과 그 연계 원자로 '소듐냉각고속로'의 연구개발에 대한 재평가가 현재 지속적으로 검토되고 있다. 따라서 위와 같은 이유로, 본 연구에서는 사용후핵연료 처리기술인 파이로프로세싱에 대한 언론 동향 분석을 진행하였다. 사용후핵연료 처리기술인 '파이로프로세싱' 키워드를 포함하는 네이버 웹 뉴스 기사 전문의 텍스트데이터를 수집하여 기간에 따라 인식변화를 분석하였다. 2016년 발생한 경주 지진, 2017년 새 정부의 에너지 전환정책 시행된 2010년대 중반 시기를 기준으로 전, 후의 동향 분석이 시행되었고, 빈도분석을 바탕으로 한 워드 클라우드 도출, TF-IDF(Term Frequency - Inverse Document Frequency) 도출, 연결정도 중심성 산출 등의 분석방법을 통해 텍스트데이터에 대한 세부적이고 다층적인 분석을 수행하였다. 연구 결과, 2010년대 이전에는 사용후핵연료 처리기술에 대한 사회 언론의 인식이 외교적이고 긍정적이었음을 알 수 있었다. 그러나 시간이 흐름에 따라 '안전(safety)', '재검토(reexamination)', '대책(countermeasure)', '처분(disposal)', '해체(disassemble)' 등의 키워드 출현빈도가 급증하며 사용후핵연료 처리기술 연구에 대한 지속 여부가 사회적으로 진지하게 고려되고 있음을 알 수 있었다. 정치 외교적 기술로 인식되던 사용후핵연료 처리기술이 국내 정책의 변화로 연구 지속 가능성이 모호해짐에 따라 언론 인식도 점차 변화했다는 것을 확인하였다. 이러한 연구 결과를 통해 원자력 분야에서의 사회과학 연구의 지속은 필수불가결함을 알 수 있었고 이에 대한 중요성이 부각되었다. 또한, 현 정부의 원전 감축과 같은 에너지 정책의 영향으로, 사용후핵연료 처리기술 연구개발에 대한 재평가가 시행되는 이 시점에서 해당 분야의 주요 키워드 분석은 향후 연구 방향 설정에 기여할 수 있을 것이라는 측면에서 실무적 의의를 갖는다. 더 나아가 원자력 공학 분야에 사회과학 분야를 폭넓게 적용할 필요가 있으며, 국가 정책적 변화를 고려해야 원자력 산업이 지속 가능할 것으로 사료된다.

오미자(Schizandra chinensis Baillon) 추출물의 생리활성 (Biological Activity of Omija (Schizandra chinensis Baillon) Extracts)

  • 주인식;김병철;이우식;김미자;이병구;안봉전;김정환;권오준;조영제
    • Applied Biological Chemistry
    • /
    • 제50권3호
    • /
    • pp.198-203
    • /
    • 2007
  • 오미자 추출물로부터 항산화효과 및 ${\alpha}-amylase$, ${\alpha}-glucosidase$ 저해활성 및 Helicobacter pylori균에 대한 항균효과를 알아보았다. 페놀함량을 측정한 결과 물 추출물에서는 4.35 mg/g로 나타났으며, ethanol 추출물에서는 60% ethanol 추출물이 6.35 mg/g로 가장 높은 페놀함량을 나타내었다. 항산화효과와 ${\alpha}-amylase$, ${\alpha}-glucosidase$ 저해활성은 추출물의 농도를 200 ${\mu}g/ml$로 조절하여 실험하였다. DPPH에 대한 전자공여능은 물 추출물에서는 97.5%, 60% ethanol 추출물에서는 96.2%로 나타났으며, ABTS radical decolorlization을 측정한 결과 물 추출물에서는 96.8%, 60% ethanol 추출물에서는 97.0%로 나타났다. Antioxidant protection factor에서는 물 추출물이 1.77 PF, 60% ethanol 추출물은 2.08 PF로 나타났으며, PF와 같이 지용성 물질의 항산화력을 나타내는 TBARS값은 control값이 $1.17{\times}10^2$ ${\mu}M$으로 나타났고, 물 추출물에서는 $1.03{\times}10^2$ ${\mu}M$, 60% ethanol 추출물에서는 $0.54{\times}10^2$ ${\mu}M$의 TBARS값을 나타내어 지질과산화 억제 효과는 물 추출물보다 60% ethanol 추출물이 더 높은 것으로 나타났다. ${\alpha}-Amylase$ 저해활성을 측정한 결과, 물과 60% ethanol 추출물 모두에서 100%의 높은 저해활성을 나타내었으며, ${\alpha}-glucosidase$ 저해활성효과는 물 추출물에서는 97.4%, 60% ethanol 추출물에서는 84.5%로 물 추출물에서 더 높게 나타났다. H. pylori균에 대한 항균활성은 200 ${\mu}g/ml$의 농도의 60% ethanol 추출물에서 $23{\pm}1.6$ mm의 저해환을 나타내었다.

기업의 SNS 노출과 주식 수익률간의 관계 분석 (The Analysis on the Relationship between Firms' Exposures to SNS and Stock Prices in Korea)

  • 김태환;정우진;이상용
    • Asia pacific journal of information systems
    • /
    • 제24권2호
    • /
    • pp.233-253
    • /
    • 2014
  • Can the stock market really be predicted? Stock market prediction has attracted much attention from many fields including business, economics, statistics, and mathematics. Early research on stock market prediction was based on random walk theory (RWT) and the efficient market hypothesis (EMH). According to the EMH, stock market are largely driven by new information rather than present and past prices. Since it is unpredictable, stock market will follow a random walk. Even though these theories, Schumaker [2010] asserted that people keep trying to predict the stock market by using artificial intelligence, statistical estimates, and mathematical models. Mathematical approaches include Percolation Methods, Log-Periodic Oscillations and Wavelet Transforms to model future prices. Examples of artificial intelligence approaches that deals with optimization and machine learning are Genetic Algorithms, Support Vector Machines (SVM) and Neural Networks. Statistical approaches typically predicts the future by using past stock market data. Recently, financial engineers have started to predict the stock prices movement pattern by using the SNS data. SNS is the place where peoples opinions and ideas are freely flow and affect others' beliefs on certain things. Through word-of-mouth in SNS, people share product usage experiences, subjective feelings, and commonly accompanying sentiment or mood with others. An increasing number of empirical analyses of sentiment and mood are based on textual collections of public user generated data on the web. The Opinion mining is one domain of the data mining fields extracting public opinions exposed in SNS by utilizing data mining. There have been many studies on the issues of opinion mining from Web sources such as product reviews, forum posts and blogs. In relation to this literatures, we are trying to understand the effects of SNS exposures of firms on stock prices in Korea. Similarly to Bollen et al. [2011], we empirically analyze the impact of SNS exposures on stock return rates. We use Social Metrics by Daum Soft, an SNS big data analysis company in Korea. Social Metrics provides trends and public opinions in Twitter and blogs by using natural language process and analysis tools. It collects the sentences circulated in the Twitter in real time, and breaks down these sentences into the word units and then extracts keywords. In this study, we classify firms' exposures in SNS into two groups: positive and negative. To test the correlation and causation relationship between SNS exposures and stock price returns, we first collect 252 firms' stock prices and KRX100 index in the Korea Stock Exchange (KRX) from May 25, 2012 to September 1, 2012. We also gather the public attitudes (positive, negative) about these firms from Social Metrics over the same period of time. We conduct regression analysis between stock prices and the number of SNS exposures. Having checked the correlation between the two variables, we perform Granger causality test to see the causation direction between the two variables. The research result is that the number of total SNS exposures is positively related with stock market returns. The number of positive mentions of has also positive relationship with stock market returns. Contrarily, the number of negative mentions has negative relationship with stock market returns, but this relationship is statistically not significant. This means that the impact of positive mentions is statistically bigger than the impact of negative mentions. We also investigate whether the impacts are moderated by industry type and firm's size. We find that the SNS exposures impacts are bigger for IT firms than for non-IT firms, and bigger for small sized firms than for large sized firms. The results of Granger causality test shows change of stock price return is caused by SNS exposures, while the causation of the other way round is not significant. Therefore the correlation relationship between SNS exposures and stock prices has uni-direction causality. The more a firm is exposed in SNS, the more is the stock price likely to increase, while stock price changes may not cause more SNS mentions.

20세기 후기회화에 있어서 유기 이미지의 문제 (A Study on the Problem of Organic Image in the 20th Post-paintings)

  • 박지숙
    • 조형예술학연구
    • /
    • 제3권
    • /
    • pp.145-177
    • /
    • 2001
  • The artist's interest has been captivated by ecological phenomena in Nature. Her keen captivation has then been focused into plastic art depicting the image of primitive life. The wide sweep of her work encompasses the totality of nature which consists of the human's subconscious power and imagination which she then portrays by organic images. These organic images are in contrast to scientific, mathematical and logical inference and consciousness. This research examines the character of the organic images in modern art by her analysis of some representative works by others. The image is an essential concept in the art which appeared in very different ways and in different perspectives. The image in the artwork appears to be the realistic expression until the early part of the 20th Century. Well into the 20th Century, it began being expressed in various ways such as combined images by imagination which is combined or rejected in the story of artwork. It also began being expressed by transferred images by changed original conditions. It is the main purpose of this research is to study of various expressions of organic images in the artwork of the Post-Modernism era. The character and meaning of organic image painting helps people to approach the human instinct more easily to find out the natural essence. It is also an objective of the organic image to tenderise our human sensibilities, thus helping us to regain vitality and recover our poor humanity in the barren wilderness of modern society. 'Life communion with nature' is a meeting point and common ground for Oriental Philosophy and organic image painting. Through this research, organic image painting is characterised in the four following ways : 1st) Organic image painting seeks regularity and perfection of outer shapes, in contrast to disordered and deformed nature, resulting in organic and biotic formalistic mode of plastic art. 2nd) Organic image painting seeks the formative. 3rd) Organic image painting pursues the priceless dignity of life by researching the formatted arrangement and figure, which contains primitive power of life. 4th) Organic image painting makes crystal clear the power of human and nature, which is a historic and biological phenomenon. This, in turn, exposes the humanistic view of the world from modern society best characterised in lost self-understanding, isolation and materialism. The representative organic image painting artists are Elizabeth Murray, Kusama Yayoi, and Niki do Saint Phalle. Elizabeth Murray used shaped canvas and a round construction of relief works. Kusama Yayoi used Automatistic expressionism originating from the realms of unconsciousness and which is represented by the mass and shape of a water drop. Niki do Saint Phalle shows the transcendence of universal life and anti-life to respect the dignity of life and the eco-friendliness relationship of human and nature in the post-modernism in art history. This is accomplished by surrealistic, symbolic, fantastic and humoristic expression. These three artists' works express the spirit of the organic image in contemporary art. It contains the stream of nature and life to seek not only the state of materialism in the reality, but also the harmonized world of nature and human which has almost lost the important meaning in modern times. Finally, this organic image is the plastic language of the majestic life. It is the romantic idea that the intimacy of nature and the universe and Surrealism, which emphasizes the unconsciousness , is the source of truth and spirit. Also it is influenced by primitive art and abstract art. According to this research, the subject 'Research About Organic Images' is not only an important element in the plastic arts from primitive society to the present, but is also fundamental to an true understanding of Post-Modernism.

  • PDF

선형 판별분석과 공통벡터 추출방법을 이용한 음성인식 (Speech Recognition Using Linear Discriminant Analysis and Common Vector Extraction)

  • 남명우;노승용
    • 한국음향학회지
    • /
    • 제20권4호
    • /
    • pp.35-41
    • /
    • 2001
  • 본 논문에서는 선형 판별분석 (LDA: Linear Discriminant Analysis)과 공통벡터 추출방법을 이용한 음성인식방법을 제안하였다. 음성신호는 화자의 성별, 나이, 출생지, 주위 잡음, 정신적 상태, 발성기관의 구조 등과 같은 다양한 정보를 포함하고 있다. 이로 인해 같은 음성신호라 할지라도 서로 다른 화자가 발성하게 되면 서로 다른 특성을 보이게 된다. 음성신호의 이러한 성질은 같은 음성군 (class)에 포함된 공통된 특성벡터를 추출하는 일을 상당히 어렵게 한다. 음성신호에서 공통된 특징 벡터를 추출하는 방법은 KLT (Karhunen-Loeve Transformation)와 같이 선형 대수적인 접근방법이 많이 사용되어지고 있으나, 본 논문에서는 M. Bilginer et al.이 제안한 공통벡터 추출 방법을 사용하였다. M. Bilginer et al.이 제안한 방법은 주어진 훈련 음성신호들에 대하여 최적의 공통 벡터를 추출하여 주면서 공통벡터 추출에 사용된 훈련 데이터에 대해서는 100%의 인식결과를 보여준다. 그러나 공통벡터 추출을 위한 훈련 음성신호의 수를 무한히 늘릴 수 없다는 점과 공통벡터들간의 구별정보 (discriminant information)가 정의되지 않았다는 단점이 있다. 본 논문에서는 단어그룹간 (class) 구별정보를 추출된 공통벡터와 결합해 단어간의 오인식률 (error rate)을 감소시킬 수 있는 방법과 공통벡터 추출방법에 적합한 파라미터 가공 방법을 제안하였다. 공통벡터 추출방법은 음성신호의 시간 축 정규화 방법과 벡터의 차원 크기에 따라 인식시간과 인식률에 영향을 받는다. 따라서 부적절한 시간 축 정렬과 너무 큰 벡터의 차원 수는 인식률 저하 등과 같이 알고리즘의 효율성을 떨어뜨린다. 본 논문에서 제안한 방법을 사용하여 실험한 결과 알고리즘의 효율성이 증가되었으며, 기존방법보다 약 2%정도의 향상된 인식률을 얻을 수 있었다.낮추는 효과를 나타내었다.다. 이상의 결과를 통하여 추출 온도와 용매 농도에 따른 수율의 차이가 있었으며 free radical 소거 활성에서는 종자 에탄을 추출물이 과피 에탄올 추출물 보다 145배 이상의 현저히 높은 활성을 나타내었다.을 나타내었다.'Lian(연)' : repeatability, continuance, plenty and intercommunicate, 2. 'Lian(연)'-'Lian(염)': integrity, 3. 'He (하)'-'He(화)' : peace, harmony and combination, 4. 'He(하)'-'He(하)' : clear river, 5.'He(하)'-'He(하)' ; all work goes well. When the Chinese use lotus patterns in lucky omen patterns, same pronunciation and pitch of Chinese language more prominent than natural properties or the image of Buddhism. I guess that it cause praying individual's peace and happiness more serious than philosophical meaning or symbol that base in Buddhism for ordinary people.ML., -9.00~12.49 and -19.81~19.81%, respectively). Therefore, it is concluded that the two formulations are bioequivalent for both the extent and the rate of absorption after single dose administration.ation.ion.ion.ation.ion.n. fibrosis, collagen bundle) was

  • PDF

Structural SVM을 이용한 백과사전 문서 내 생략 문장성분 복원 (Restoring Omitted Sentence Constituents in Encyclopedia Documents Using Structural SVM)

  • 황민국;김영태;나동열;임수종;김현기
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.131-150
    • /
    • 2015
  • 영어와 달리 한국어나 일본어 문장의 경우 용언의 필수격을 채우는 명사구가 생략되는 무형대용어 현상이 빈번하다. 특히 백과사전이나 위키피디아의 문서에서 표제어로 채울 수 있는 격의 경우 그 격이 문장에서 더 쉽게 생략된다. 정보검색, 질의응답 시스템 등 주요 지능형 응용시스템들은 백과사전류의 문서에서 주요한 정보를 추출하여 수집하여야 한다. 그러나 이러한 명사구 생략 현상으로 인해 양질의 정보추출이 어렵다. 본 논문에서는 백과사전 종류 문서에서 생략된 명사구 즉 무형대용어를 복원하는 시스템의 개발을 다루었다. 우리 시스템이 다루는 문제는 자연어처리의 무형대용어 해결 문제와 거의 유사하나, 우리 문제의 경우 문서의 일부가 아닌 표제어도 복원에 이용할 수 있다는 점이 다르다. 무형대용어 복원을 위해서는 먼저 무형대용어의 탐지 즉 문서 내에서 명사구 생략이 일어난 곳을 찾는 작업을 수행한다. 그 다음 무형대용어의 선행어 탐색 즉 무형대용어의 복원에 사용될 명사구를 문서 내에서 찾는 작업을 수행한다. 문서 내에서 선행어를 발견하지 못하면 표제어를 이용한 복원을 시도해 본다. 우리 방법의 특징은 복원에 사용된 문장성분을 찾기 위해 Structural SVM을 사용하는 것이다. 문서 내에서 생략이 일어난 위치보다 앞에 나온 명사구들에 대해 Structural SVM에 의한 시퀀스 레이블링(sequence labeling) 작업을 시행하여 복원에 이용 가능한 명사구인 선행어를 찾아내어 이를 이용하여 복원 작업을 수행한다. 우리 시스템의 성능은 F1 = 68.58로 측정되었으며 이는 의미정보의 이용 없이 달성한 점을 감안하면 높은 수준으로 평가된다.

한국표준산업분류를 기준으로 한 문서의 자동 분류 모델에 관한 연구 (A Study on Automatic Classification Model of Documents Based on Korean Standard Industrial Classification)

  • 이재성;전승표;유형선
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.221-241
    • /
    • 2018
  • 지식사회에 들어서며 새로운 형태의 자본으로서 정보의 중요성이 강조되고 있다. 그리고 기하급수적으로 생산되는 디지털 정보의 효율적 관리를 위해 정보 분류의 중요성도 증가하고 있다. 본 연구에서는 기업의 기술사업화 의사결정에 도움이 될 수 있는 맞춤형 정보를 자동으로 분류하여 제공하기 위하여, 기업의 사업 성격을 나타내는 한국표준산업분류(이하 'KSIC')를 기준으로 정보를 분류하는 방법을 제안하였다. 정보 혹은 문서의 분류 방법은 대체로 기계학습을 기반으로 연구되어 왔으나 KSIC를 기준으로 분류된 충분한 학습데이터가 없어, 본 연구에서는 문서간 유사도를 계산하는 방식을 적용하였다. 구체적으로 KSIC 각 코드별 설명문을 수집하고 벡터 공간 모델을 이용하여 분류 대상 문서와의 유사도를 계산하여 가장 적합한 KSIC 코드를 제시하는 방법과 모델을 제시하였다. 그리고 IPC 데이터를 수집한 후 KSIC를 기준으로 분류하고, 이를 특허청에서 제공하는 KSIC-IPC 연계표와 비교함으로써 본 방법론을 검증하였다. 검증 결과 TF-IDF 계산식의 일종인 LT 방식을 적용하였을 때 가장 높은 일치도를 보였는데, IPC 설명문에 대해 1순위 매칭 KSIC의 일치도는 53%, 5순위까지의 누적 일치도는 76%를 보였다. 이를 통해 보다 정량적이고 객관적으로 중소기업이 필요로 할 기술, 산업, 시장정보에 대한 KSIC 분류 작업이 가능하다는 점을 확인할 수 있었다. 또한 이종 분류체계 간 연계표를 작성함에 있어서도 본 연구에서 제공하는 방법과 결과물이 전문가의 정성적 판단에 도움이 될 기초 자료로 활용될 수 있을 것으로 판단된다.