• 제목/요약/키워드: N-gram 분석

검색결과 137건 처리시간 0.022초

남북한 고등학교 영어교과서 4-gram 연어 비교 분석 (Comparative Analysis of 4-gram Word Clusters in South vs. North Korean High School English Textbooks)

  • 김정렬
    • 한국콘텐츠학회논문지
    • /
    • 제20권7호
    • /
    • pp.274-281
    • /
    • 2020
  • 본 연구는 4-gram 연어분석으로 남북한 고등학교 영어교과서를 비교분석하고자 하는 것이 목적이다. N-gram 분석은 그동안 우리가 알고 있는 관습적인 관용어와는 달리 코퍼스를 구성하여 기계적인 방법으로 물리적으로 함께 공기하는 빈도가 높은 낱말군을 객관적인 방법으로 추출하여 분석하는 것이다. 본 연구의 목적은 AntConc의 N-gram 분석 도구로 4-gram 연어를 남북한 영어교과서 코퍼스에서 찾아서 비교 분석해 보는 것이다. 분석의 대상은 북한의 2013 교육개혁에 따른 북한 고등중학교 영어교과서와 남한의 2015교육과정에 따른 고등학교 영어교과서로 구성된 코퍼스에서 구어와 문어의 token과 type을 구분하여 분석 비교한다. 이를 분석대상으로 하여 코퍼스의 4-gram 연어를 문법범주와 기능범주로 나눈 준거를 통해서 분석하였다. 문법범주는 크게 명사구, 동사구, 전치사구, 부분절 그리고 기타로 나누어 범주화하고 기능범주는 지칭, 텍스트의 조직, 입장과 기타로 나누었다. 분석한 결과 4-gram 연어에 나타난 구어와 문어 모두 남한의 영어교과서가 북한의 영어교과서 보다 token과 type의 수가 상대적으로 많았다. 그리고 문법범주에는 남북한 모두 영어교과서에 동사구와 부분절 형태의 4-gram 연어가 가장 많았으며 기능범주에는 남북한 모두 영어교과서에 입장 기능과 관련된 4-gram 연어가 가장 많았다.

음절 n-gram 기반의 미등록 어휘 추정기 구현 (Out of Vocabulary Word Extractor based on a Syllable n-gram)

  • 신준수;홍초희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.139-141
    • /
    • 2013
  • 다양한 콘텐츠가 생성됨에 따라 신조어 및 미등록어도 다양한 형태로 나타나고 있다. 이러한 신조어 및 미등록어는 텍스트 처리 단계에서 오분석 되어 성능 저하의 원인이 된다. 본 논문은 이러한 문제를 해결하기 위해서 대량의 문서로부터 신조어 및 미등록 어휘를 추정하는 방법에 대해서 제안한다. 제안 방법은 대량의 문서로부터 음절 n-gram을 추출한 뒤, 각 n-gram에서 n을 한음절 축소 및 확장 시켜, (n+1)gram, (n-1)gram을 추가적으로 추출한다. 추출된 음절 n-gram을 기준으로 (n+1)gram, (n-1)gram과의 빈도 차이를 계산하여 빈도차가 급격하게 발생하는 구간을 신조어 및 미등록 어휘로 추정한다. 실험결과 신조어 뿐만 아니라 트위터, 미투데이 등과 같은 도메인에 종속적인 미등록 어휘도 추출되는 것을 확인할 수 있었다.

  • PDF

헬스케어 분야 빅데이터 분석을 위한 개체명 사전구축에 새로운 역 N-Gram 적용 연구 (A Study on Applying Novel Reverse N-Gram for Construction of Natural Language Processing Dictionary for Healthcare Big Data Analysis)

  • 이경현;백락준;김우수
    • 문화기술의 융합
    • /
    • 제10권3호
    • /
    • pp.391-396
    • /
    • 2024
  • 본 연구에서는 헬스케어 분야에 특화된 개체명 사전을 구축하기 위해 기존 N-Gram 방식의 한계를 극복하고 성능을 향상하게 시키기 위해 새로운 역 N-Gram 방식을 제안하였다. 제안된 역 N-Gram 방식은 헬스케어 관련 빅데이터의 복잡한 언어적 특성을 더 정밀하게 분석하고 처리할 수 있다. 제안된 방식의 효율성 검증을 위해 매년 1월에 개최되는 소비자 가전 전시회(Consumer Electronics Show: CES) 기간 동안 발표된 헬스케어 및 디지털 헬스케어 관련 빅데이터를 수집하기 위하여 뉴스를 대상으로 2010년 1월 1일부터 31일, 그리고 2024년 1월 1일부터 31일까지 언급된 2,185건의 뉴스 제목 및 요약문을 파이썬 프로그래밍언어로 새로운 역 N-Gram 방식을 구현하여 전처리한 결과, 헬스케어 분야에서의 자연어 처리를 위한 사전이 안정적으로 구축되었음을 확인할 수 있었다.

한국어 문장 표절 유형을 고려한 유사 문장 판별 (A Detection Method of Similar Sentences Considering Plagiarism Patterns of Korean Sentence)

  • 지혜성;조준희;임희석
    • 컴퓨터교육학회논문지
    • /
    • 제13권6호
    • /
    • pp.79-89
    • /
    • 2010
  • 본 논문은 한국어 표절 검사를 위해서 표절의 유형을 분석하여, 유형별 분석 결과를 기반으로하여 유사 문장 판별 모델을 제안한다. 제안하는 방법은 한국어 문장에 대한 표절 유형 분석 결과를 토대로 LSA와 N-gram을 이용한 유사 문장 검색을 통하여 여러 유형의 표절로부터 견고한 유사 문장 판별 모델을 구현하였다. 제안한 모델의 성능 분석을 위해서 학생들이 인위적으로 작성한 표절 리포트와 표절한 첨부 문서로 실험 데이터를 구축하였다. 성능 비교를 위해서는 기존의 N-gram 모델, 벡터모델, LSA 모델이 사용되었으며, 실험 결과 제안한 모델이 정확률, 재현율, 그리고 F값 척도에서 우수한 성능을 보임을 알 수 있었다.

  • PDF

텍스트 마이닝 기법을 활용한 ECDIS 사고보고서 분석 (Text Mining Analysis Technique on ECDIS Accident Report)

  • 이정석;이보경;조익순
    • 해양환경안전학회지
    • /
    • 제25권4호
    • /
    • pp.405-412
    • /
    • 2019
  • SOLAS에서는 국제 항해에 종사하는 총톤수 500톤 이상의 선박에 대하여 2018년 7월 1일 이후 도래하는 최초 검사까지 ECDIS를 설치해야 한다고 규정하고 있다. 새로운 주요 항해 장비로 ECDIS가 탑재되면서 ECDIS 사용에 관련한 다양한 사고가 발생하고 있다. MAIB, BSU, BEAmer, DMAIB, DSB에서 발행한 12가지의 사고보고서에는 항해사의 운용 미숙과 ECDS 시스템의 사고 원인으로 분석하였고, 사고 원인과 관련된 단어들을 정량적으로 분석하기 위해 R-프로그램을 사용하여 텍스트를 분석하였다. 도출 빈도에 따른 단어의 중요도를 나타내기 위해 텍스트 마이닝 기법인 단어 구름, 단어 연관성, 단어 가중치의 방법을 사용하였다. 단어 구름은 사용된 단어들의 빈도수를 구름 형태로 나타내는 방법으로써 N-gram 모델을 적용하였다. N-gram 모델 중 Uni-gram 분석 결과 ECDIS 단어, Bi-gram 분석 결과는 Safety Contour 단어의 사용 빈도가 가장 많았다. Bi-gram 분석을 기반으로 사고 원인 단어를 항해사와 ECDIS 시스템으로 구분하고, 연관된 단어들을 단어 연관성으로 나타내었다. 마지막으로 항해사와 ECDIS 시스템에 연관된 단어들을 단어 말뭉치로 구성한 후 단어 가중치를 적용하여 연도별 말뭉치 빈도 변화를 분석하였다. 추세선 그래프로 말뭉치 변화 경향을 분석한 결과, 항해사 말뭉치는 최근으로 올수록 감소하였으며 반대로 ECDIS 시스템 말뭉치는 점점 증가함을 나타내었다.

N-gram Opcode를 활용한 머신러닝 기반의 분석 방지 보호 기법 탐지 방안 연구 (A Study on Machine Learning Based Anti-Analysis Technique Detection Using N-gram Opcode)

  • 김희연;이동훈
    • 정보보호학회논문지
    • /
    • 제32권2호
    • /
    • pp.181-192
    • /
    • 2022
  • 신종 악성코드의 등장은 기존 시그니처 기반의 악성코드 탐지 기법들을 무력화시키며 여러 분석 방지 보호 기법들을 활용하여 분석가들의 분석을 어렵게 하고 있다. 시그니처 기반의 기존 연구는 악성코드 제작자가 쉽게 우회할 수 있는 한계점을 지닌다. 따라서 본 연구에서는 악성코드 자체의 특성이 아닌, 악성코드에 적용될 수 있는 패커의 특성을 활용하여, 단시간 내에 악성코드에 적용된 패커의 분석 방지 보호 기법을 탐지하고 분류해낼 수 있는 머신러닝 모델을 구축하고자 한다. 본 연구에서는 패커의 분석 방지 보호 기법을 적용한 악성코드 바이너리를 대상으로 n-gram opcode를 추출하여 TF-IDF를 활용함으로써 피처(feature)를 추출하고 이를 통해 각 분석 방지 보호 기법을 탐지하고 분류해내는 머신러닝 모델 구축 방법을 제안한다. 본 연구에서는 실제 악성코드를 대상으로 악성코드 패킹에 많이 사용되는 상용 패커인 Themida와 VMProtect로 각각 분석 방지 보호 기법을 적용시켜 데이터셋을 구축한 뒤, 6개의 머신러닝 모델로 실험을 진행하였고, Themida에 대해서는 81.25%의 정확도를, VMProtect에 대해서는 95.65%의 정확도를 보여주는 최적의 모델을 구축하였다.

한글 문서 검색에서 n-Gram 색인방법의 성능 분석 (Performance Analysis of n-Gram Indexing Methods for Korean text Retrieval)

  • 이준규;심수정;박혁로
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.145-148
    • /
    • 2003
  • The agglutinative nature of Korean language makes the problem of automatic indexing of Korean much different from that of Indo-Eroupean languages. Especially, indexing with compound nouns in Korean is very problematic because of the exponential number of possible analysis and the existence of unknown words. To deal with this compound noun indexing problem, we propose a new indexing methods which combines the merits of the morpheme-based indexing methods and the n-gram based indexing methods. Through the experiments, we also find that the best performance of n-gram indexing methods can be achieved with 1.75-gram which is never considered in the previous researches.

  • PDF

Etiology of Bacteremia in Children With Hemato-Oncologic Diseases From 2013 to 2023: A Single Center Study

  • Sun Woo Park;Ji Young Park;Hyoung Soo Choi;Hyunju Lee
    • Pediatric Infection and Vaccine
    • /
    • 제31권1호
    • /
    • pp.46-54
    • /
    • 2024
  • 목적: 본 연구는 2013년부터 2023년까지 최근 10년간 분당서울대학교병원 소아 혈액종양 환자들에게 발생한 균혈증 발생 숫자를 확인하고, 원인균 발생 빈도 및 분포와 이들의 항생제 감수성을 분석하면서 경험적 항생제를 선택하는 데에 필요한 치료 지침의 기초 자료로 활용하고자 수행되었다. 방법: 2013년 1월부터 2023년 7월까지 분당서울대학교병원에 입원한 환자 중 기저혈액종양질환이 있으면서 혈류감염이 발생한 환자들을 대상으로 후향적 의무기록 분석을 하였다. 결과: 10년의 연구 기간동안 총 74명의 환자에게서 98례의 혈류감염이 확인되었고, 이 중 그람 양성균, 그람 음성균, 진균이 각각 57.1% (n=56), 38.8% (n=38), 4.1% (n=4)이었다. 가장 흔한 그람 양성균은 coagulase-negative staphylococci (n=21, 21.4%) 와 Staphylococcus aureus (n=14, 14.3%) 였고, 가장 흔한 그람 음성균은 Klebsiella species (n=16, 16.3%) 와 Escherichia coli (n=10, 10.2%) 였다. 전체 사망한 환자들 중 균혈증 발생으로부터 30일 이내로 사망한 사례는 총 6건 (6.1%) 이었다. 결론: 본 연구는 혈액종양질환을 진단받은 소아 환아들에게서 발생한 균혈증의 원인균 분포 및 각 원인균의 항생제 분포를 분석하였다. 연구결과를 토대로, 연구자들은 현재 사용하는 경험적 항생제 가이드라인을 유지할 수 있다는 점을 알 수 있었다. 소아 혈액종양질환 환아들에게서 발생한 균혈증에서 사용해야 할 적절한 경험적 항생제는 각 기관별로 조사한 항생제 감수성 양상에 기초하여 결정되어야 하며, 지속적인 모니터링은 반드시 이루어져야 한다.

감정 기반 블로그 문서 분류를 위한 부정어 처리 및 단어 가중치 적용 기법의 효과에 대한 연구 (A Study on Negation Handling and Term Weighting Schemes and Their Effects on Mood-based Text Classification)

  • 정유철;최윤정;맹성현
    • 인지과학
    • /
    • 제19권4호
    • /
    • pp.477-497
    • /
    • 2008
  • 일상생활에서 많이 쓰이는 블로그 문서를 분석하는 것은 다양한 웹 응용서비스를 연결할 수 있는 중요한 단초를 제시하므로, 블로그 문서에 담긴 감정을 파악하는 것을 매우 유용한 일이다. 본 논문에서는 블로그 문서에 존재하는 감정을 보다 정확하게 분류하기 위해 부정어 처리와 새로운 단어 가중치의 적용이 성능에 미치는 영향에 대해 탐구한다. 특히, 감정단서(clue)가 내재된 정규화된 부정어 n-gram을 통해 부정어 처리를 고도화하고 말뭉치기반 단어 가중치 계산법(Corpus-specific Term Weighting, CSTW)을 통해 감정 분류 성능향상을 살펴보기로 한다. 검증을 위해 블로그 문서들로 정답 말뭉치를 구축하고 감정 흐름 분석(Enhanced Mood Flow Analysis, EMFA)과 지지벡터기계기반 감정 분류(Support Vector Machine based Mood Classification, SVMMC)의 두 가지 분류기법에 대해 실험을 하였다. 정규화된 부정어 n-gram의 적용은 EMFA에서 점진적인 감정 분류 성능 향상을 보여주었으며, CSTW의 적용은 TF*IDF나 TF에 비해 보다 높은 감정 분류 성능을 나타내었다.

  • PDF

Research on Constructing a Sentiment Lexicon for the F&B Sector based on the N-gram Framework

  • Yeryung Moon;Gaeun Son;Geonuk Nam;Hanjin Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권10호
    • /
    • pp.11-19
    • /
    • 2024
  • 구매경험 후기는 온라인 및 모바일 서비스 산업에서 소비자 행동에 큰 영향을 미치며, 지속적인 이용여부를 결정짓는 중요한 요소이다. 이에 리뷰에서 제공되는 정보를 체계적으로 분석하면 고객의 구매결정에 어떻게 직접적으로 영향을 미치는지 효과적으로 평가할 수 있다. 본 연구에서는 국립국어원 기구축 KNU 감성사전을 식음료(F&B) 분야에 적용하여, N-그램 프레임워크 기반 약 10,000개의 리뷰 데이터 훈련 모델로 검증한 산업특화 감성사전을 구축하였다. 기존 사전과 성능을 비교한 결과, 1-그램, 2-그램, 3-그램 조합 기반 신규 생성된 감성사전이 가장 높은 정확도, 정밀도, 재현율, F1 점수를 나타냈다. 이 분석결과는 F&B 및 식품 부문 소상공인 관점에서 효과적인 비즈니스 지원 도구로도 활용할 수 있으며, 고객 수요예측에도 기술적, 정책적으로 활용할 수 있다.