• 제목/요약/키워드: Text frequency analysis

검색결과 453건 처리시간 0.03초

웹문서에서의 출현빈도를 이용한 한국어 미등록어 사전 자동 구축 (Automatic Construction of Korean Unknown Word Dictionary using Occurrence Frequency in Web Documents)

  • 박소영
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권3호
    • /
    • pp.27-33
    • /
    • 2008
  • 본 논문에서는 한국어 형태소 분석의 성능향상을 위해서, 어절에서 미등록어를 인식하여 자동으로 사전을 구축하는 방법을 제안한다. 제안하는 사전 구축 방법은 전문 분석 기반 사전 구축 방법과 웹 출현빈도 기반 사전 구축방법으로 구성되어 있다. 전문 분석 기반사전 구축 방법은 전체 문서에서 반복적으로 나타나는 문자열을 미등록어로 인식하고, 웹 출현빈도 기반사전 구축 방법은 반복되지 않은 문자열을 웹 문서에서 검색하여 그 출현빈도를 바탕으로 미등록어를 인식한다. 실험결과 전문 분석만을 바탕으로 하는 기존 접근방법에 비해서 웹 문서에서의 출현빈도도 함께 고려하여 제안하는 사전 구축 방법은 32.39% 정도 재현율이 높게 나타났다.

  • PDF

워라밸 이슈 비교 분석: 한국과 미국 (Comparative Analysis of Work-Life Balance Issues between Korea and the United States)

  • 이소현;김민수;김희웅
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제28권2호
    • /
    • pp.153-179
    • /
    • 2019
  • Purpose This study collects the issues about work-life balance in Korea and United States and suggests the specific plans for work-life balance by the comparison and analysis. The objective of this study is to contribute to the improvement of people's life quality by understanding the concept of work-life balance that has become the issue recently and offering the detailed plans to be considered in respect of individual, corporate and governmental level for society of work-life balance. Design/methodology/approach This study collects work-life balance related issues through recruit sites in Korea and United States, compares and analyzes the collected data from the results of three text mining techniques such as LDA topic modeling, term frequency analysis and keyword extraction analysis. Findings According to the text mining results, this study shows that it is important to build corporate culture that support work-life balance in free organizational atmosphere especially in Korea. It also appears that there are the differences against whether work-life balance can be achieved and recognition and satisfaction about work-life balance along type of company or sort of working. In case of United States, it shows that it is important for them to work more efficiently by raising teamwork level among team members who work together as well as the role of the leaders who lead the teams in the organization. It is also significant for the company to provide their employees with the opportunity of education and training that enables them to improve their individual capability or skill. Furthermore, it suggests the roles of individuals, company and government and specific plans based on the analysis of text mining results in both countries.

소비자 선호 이슈 및 R&D 관점에서의 다차원 이슈 클러스터링 (A Multi-Dimensional Issue Clustering from the Perspective Consumers' Interests and R&D)

  • 현윤진;김남규;조윤호
    • 한국IT서비스학회지
    • /
    • 제14권1호
    • /
    • pp.237-249
    • /
    • 2015
  • The volume of unstructured text data generated by various social media has been increasing rapidly; therefore, use of text mining to support decision making has also been increasing. Especially, issue Clustering-determining a new relation with various issues through clustering-has gained attention from many researchers. However, traditional issue clustering methods can only be performed based on the co-occurrence frequency of issue keywords in many documents. Therefore, an association between issues that have a low co-occurrence frequency cannot be discovered using traditional issue clustering methods, even if those issues are strongly related in other perspectives. Therefore, issue clustering that fits each of criteria needs to be performed by the perspective of analysis and the purpose of use. In this study, a multi-dimensional issue clustering is proposed to overcome the limitation of traditional issue clustering. We assert, specifically in this study, that issue clustering should be performed for a particular purpose. We analyze the results of applying our methodology to two specific perspectives on issue clustering, (i) consumers' interests, and (ii) related R&D terms.

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

소프트웨어 시험성적서에 대한 텍스트 분석 (Text Analysis of Software Test Report)

  • 정혜정;한군희
    • 한국융합학회논문지
    • /
    • 제11권11호
    • /
    • pp.25-31
    • /
    • 2020
  • 본 연구는 소프트웨어의 시험 평가에 있어 품질 특성에 대한 가중치를 적용하는 방법을 연구한 것이다. 가중치 적용방안은 시험성적서의 텍스트를 분석해서 텍스트의 빈도에 따른 비율을 소프트웨어 시험 성적의 품질 특성에 대한 가중치로 활용한다. 본 연구의 결과에 대한 타당성 검토는 개발자와 사용자를 중심으로 소프트웨어의 중요도를 평가하게 한 설문조사의 결과와 텍스트 분석의 빈도분석 결과를 비교해서 검토했다. ISO/IEC 25023에서 제시한 8가지 품질 특성을 기반으로 품질을 측정할 경우 동일한 가중치를 적용해서 소프트웨어 품질을 평가하는 것에 비하여 본 연구의 결과는 소프트웨어 특성을 고려한 소프트웨어 품질 측정 결과이므로 소프트웨어 시험 평가에 대한 품질 측정의 타당성이 높아진다고 할 수 있다.

열전압변환기와 교류측정표준을 사용한 감쇠기 평탄도 특성 분석 기법 (Flatness Characteristics Analysis Technique of Attenuator Using Thermal Voltage Converter and AC Measurement Standard)

  • 차윤배;김부일
    • 한국정보통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.330-337
    • /
    • 2018
  • 본 논문은 열전압변환기와 교류측정표준을 사용하여 10Hz에서 50MHz 대역의 감쇠기 평탄도 특성을 1kHz를 기준으로 분석하는 기법을 제안하였다. 제안된 기법은 TVC를 사용하여 측정 주파수별 감쇠기의 입력전압을 1kHz와 동일하게 공급한 후, 교류측정표준에서 지시되는 전압 변화량으로 감쇠기의 평탄도 특성분석을 수행하였다. 감쇠기 평탄도 특성분석의 결과는 1dB에서 70dB까지 최대 $866{\mu}V/V$의 불확도로 측정이 가능하며, 기존 회로망 측정방법을 사용한 2.31mV/V 보다 약 37%의 불확도가 감소된 것을 확인하였다. 향상된 감쇠기 평탄도 특성 값은 교류측정표준의 저전압 2.2V에서 2.2mV까지 주파수 평탄도 교정에 적용할 수 있다.

수학 담화에서 나타나는 교사의 감성적 언어 빈도 분석 (The Frequency Analysis of Teacher's Emotional Response in Mathematics Class)

  • 손복은;고호경
    • 한국수학교육학회지시리즈E:수학교육논문집
    • /
    • 제32권4호
    • /
    • pp.555-573
    • /
    • 2018
  • 본 연구는 텍스트 마이닝 기법을 활용하여 수학수업에서 나타나는 교사의 감성적 언어를 확인하고자 하였다. 이를 위해 우수 수업 동영상을 활용하여 수업에서 발생하는 교사의 수업 언어 데이터를 수집하였다. 추출한 비정형 데이터에 대한 분석 과정은 데이터 수집, 데이터 전처리, 텍스트 마이닝 분석의 세 가지 단계로 진행하였다. 분석 결과 수학 수업에서 오고가는 담화 중에서 교사의 감성적 반응을 나타내는 언어는 거의 나타나지 않았으며, 이를 통해 수업의 정의적 영역 측면에서의 시사점을 도출하였다.

텍스트마이닝을 통한 고용허가제 트렌드 분석과 정책 제안 : 텍스트마이닝과 소셜네트워크 분석을 중심으로 (A Trend Analysis and Policy proposal for the Work Permit System through Text Mining: Focusing on Text Mining and Social Network analysis)

  • 하재빈;이도은
    • 융합정보논문지
    • /
    • 제11권9호
    • /
    • pp.17-27
    • /
    • 2021
  • 본 연구에서는 고용허가제에 대한 이슈와 국민적 인식을 확인하고 정책을 제언하기 위해 소셜데이터를 기반으로 한 텍스트마이닝 기법을 활용하고자 하였다. 이를 위해 2020년 1월부터 2020년 12월까지 1년 동안 온라인상에서 '고용허가제'가 언급되는 6,217개의 문서의 텍스트 1,453,272개를 텍스톰(Textom)을 통해 수집하여 텍스트마이닝과 소셜네트워크 분석을 수행하였다. 데이터 상위 키워드 빈도, TF-IDF(Term Frequency - Inverse Document Frequency) 분석, 연결중심성 분석으로 언급량이 많은 키워드 100개를 도출하였으며, 일자리 문제, 정책과정의 중요성, 산업관점의 경쟁력, 외국인근로자 생활 개선을 주요한 키워드로 구성하였다. 또한, 의미연결망 분석을 통해 '고용정책'과 같은 주요인식과 '국제협력', '노동자 인권', '법률', '외국인 채용', '기업 경쟁력', '이주민 문화', '외국인력 관리'와 같은 주변인식을 파악하였다. 끝으로 고용허가제에 관한 정책 수립과 관련 연구를 진행하는데 있어서 고려해야 할 요소를 제안하였다.

Jsoup를 이용한 조선왕조실록의 빅 데이터 분석 (Big Data Analysis of the Annals of the Joseon Dynasty Using Jsoup)

  • 변영일;이충호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.131-133
    • /
    • 2021
  • 조선왕조실록은 UNESCO에 등재된 중요한 기록물이다. 본 논문은 한글로 번역된 조선왕조 실록에서 단어의 빈도수를 조사하여 빅데이터를 분석하는 방법을 제안한다. 조선왕조 실록을 인터넷 사이트에서 액세스하여 단어의 빈도수를 조사하려 할 때, 그 페이지에 포함된 소스를 직접 액세스하면 HTML 문법에 필요한 키워드가 포함되어 있어 필요한 본문에서 단어 빈도수에 의한 빅데이터 분석을 하는 것이 어렵다. 본 논문에서는 Java의 Jsoup를 활용한 크롤링 기능을 사용하여 조선왕조 실록의 본문을 분석하는 방법을 제안한다. 실험에서는 조선왕조실록의 태조부분만을 추출하여 본 방법의 유효성을 검증하였다.

  • PDF

텍스트 마이닝과 토픽모델링 분석을 활용한 코로나19와 간호사에 대한 언론기사 분석 (Analysis of Media Articles on COVID-19 and Nurses Using Text Mining and Topic Modeling)

  • 안지연;이윤정;이복임
    • 지역사회간호학회지
    • /
    • 제32권4호
    • /
    • pp.467-476
    • /
    • 2021
  • Purpose: The purpose of this study is to understand the social perceptions of nurses in the context of the COVID-19 outbreak through analysis of media articles. Methods: Among the media articles reported from January 1st to September 30th, 2020, those containing the keywords '[corona or Wuhan pneumonia or covid] and [nurse or nursing]' are extracted. After the selection process, the text mining and topic modeling are performed on 454 media articles using textom version 4.5. Results: Frequency Top 30 keywords include 'Nurse', 'Corona', 'Isolation', 'Support', 'Shortage', 'Protective Clothing', and so on. Keywords that ranked high in Term Frequency-Inverse Document Frequency (TF-IDF) values are 'Daegu', 'President', 'Gwangju', 'manpower', and so on. As a result of the topic analysis, 10 topics are derived, such as 'Local infection', 'Dispatch of personnel', 'Message for thanks', and 'Delivery of one's heart'. Conclusion: Nurses are both the contributors and victims of COVID-19 prevention. The government and the nurses' community should make efforts to improve poor working conditions and manpower shortages.