• 제목/요약/키워드: 동시단어분석

검색결과 188건 처리시간 0.022초

데이터 마이닝 기반 대학입시를 위한 학교생활기록부 분석시스템 (Analysis System of School Life Records Based on Data Mining for College Entrance)

  • 양진우;김동현;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제21권2호
    • /
    • pp.49-58
    • /
    • 2021
  • 대한민국 교육과정과 입시제도는 수많은 변화들을 통해 진화해 왔다. 현재 우리나라 대학진학률이 약 70%에 육박하고 있고, OECD회원국 중 가장 높다. 이러한 환경 속에 대학진학에 관심이 높고 또한 우리나라 교육제도에서 가장 비율이 높은 수시전형 중 학생부종합전형에 필요한 학교생활기록부의 중요성을 높아져가고 있다. 행복은 성적순이 아니지만 적극적인 학교생활을 통해 나의 미래와 행복을 동시에 찾을 수 있다. 학교생활기록부 분석시스템을 통해 자신에게 맞는 흥미와 진로를 찾을 수 있고, 가고자하는 대학, 학과에 맞는 요소들을 분석하고 보완하여 성공적인 진학에 한발 더 나아갈 수 있다. 학교생활기록부의 각 항목을 3가지로 분리시켜 필요 단어와 불필요한 단어들을 구분해 분석한다. 분석한 데이터를 시각화&수치화 하여 학교생활에서 보완할 수 있는 분석시스템을 구축한다. 기존 선행연구로 단어빈도와 유사도 분석을 이용한 다중주제 회의록 요약시스템을 응용하여 다른 요소의 문장을 간결하게 요약하고 단어를 추출함으로써 데이터 마이닝을 통한 분석시스템을 활용할 수 있다.

Development of big data based Skin Care Information System SCIS for skin condition diagnosis and management

  • Kim, Hyung-Hoon;Cho, Jeong-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.137-147
    • /
    • 2022
  • 피부상태의 진단과 관리는 뷰티산업종사자와 화장품산업종사자에게 그 역할을 수행함에 있어서 매우 기초적이며 중요한 기능이다. 정확한 피부상태 진단과 관리를 위해서는 고객의 피부상태와 요구사항을 잘 파악하는 것이 필요하다. 본 논문에서는 피부상태 진단 및 관리를 위해 소셜미디어의 빅데이터를 사용하여 피부상태 진단 및 관리를 지원하는 빅데이터기반 피부관리정보시스템 SCIS를 개발하였다. 개발된 시스템을 사용하여 텍스트 정보 중심의 피부상태 진단과 관리를 위한 핵심 정보를 분석하고 추출할 수 있다. 본 논문에서 개발된 피부관리정보시스템 SCIS는 빅데이터 수집단계, 텍스트전처리단계, 이미지전처리단계, 텍스트단어분석단계로 구성되어 있다. SCIS는 피부진단 및 관리에 필요한 빅데이터를 수집하고, 텍스트 정보를 대상으로 핵심단어의 단순빈도분석, 상대빈도분석, 동시출현분석, 상관성분석을 통해 핵심단어 및 주제를 추출하였다. 또한 추출된 핵심단어 및 정보를 분석하고 산포도, NetworkX, t-SNE 및 클러스터링 등의 다양한 시각화 처리를 함으로써 피부상태 진단 및 관리에 있어 이를 효율적으로 사용할 수 있도록 하였다.

네트워크 분석을 기반으로 한 웹 아카이빙 주제영역 연구 (A Study on Web Archiving Subject Analysis Based on Network Analysis)

  • 김희정
    • 한국비블리아학회지
    • /
    • 제22권2호
    • /
    • pp.235-248
    • /
    • 2011
  • 본 연구에서는 Web of Science DB를 대상으로 주제어(topic)가 web archiving에 해당하는 288건의 논문을 대상으로 동시출현단어 네트워크 분석을 수행하였다. 분석 결과 웹 아카이빙 주제 영역에서는 의학영역 정보기술 및 시스템과 관련된 이미지 아카이빙 관련연구들이 가장 중점적으로 수행되어 왔다. 문헌정보학 및 기록관리학 영역에서의 웹 아카이빙 연구는 크게 웹 아카이빙 및 디지털 보존 프로젝트 주제와 웹 아카이빙툴과 방법론 주제를 중심으로 수행되어왔으며, 향후 웹 아카이빙 소프트웨어 및 툴 관련 연구가 활성화될 수 있을 것으로 예측된다.

사용자에 의한 문형 확장 방식을 이용한 다국어 채팅 시스템의 설계 및 구현 (The Design and Implementation of Multilingual Chatting System Using Exapansion of Sentence Patterns By User)

  • 박홍원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.215-220
    • /
    • 1999
  • 본 연구에서는 정해진 주제내에서 높은 번역율과 빠른 처리 시간을 동시에 수용할 수 있는 효과적인 다국어 채팅 시스템을 구현하기 위해 사용자가 어절 단위로 단어를 입력하거나 선택하여 이미 구축되어 있는 문형에 접근하도록 유도하는 사용자 문형확장 방식을 제안하였다. 사용자 문형확장 방식을 사용하여 다국어 채팅 시스템을 구현할 경우 사용자 입력과 동시에 구문분석, 변환, 생성등 일련의 번역과정을 최소한의 처리시간으로 처리할 수 있으므로 매우 용이하게 실시간 번역 시스템을 구현할 수 있다는 장점이 있다. 사용자 문형확장 방식과 더불어 이와 함께 사용될 수 있는 통합 문형코드와 통합 품사체계도 제안하였다. 이는 번역의 대상이 되는 한국어, 영어, 일본어 각각에 대해 문형코드와 품사코드를 따로 설정하지 않고 통일된 하나의 코드체계를 적용함으로써 기계번역에서의 변환과정을 최소화하기 위해 고안하였다.

  • PDF

Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법 (Web Site Keyword Selection Method by Considering Semantic Similarity Based on Word2Vec)

  • 이동훈;김관호
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.83-96
    • /
    • 2018
  • 문서를 대표하는 키워드를 추출하는 것은 문서의 정보를 빠르게 전달할 수 있을 뿐만 아니라 문서의 검색, 분류, 추천시스템 등의 자동화서비스에 유용하게 사용 될 수 있어 매우 중요하다. 그러나 웹사이트 문서에서 출현하는 단어의 빈도수, 단어의 동시출현관계를 통한 그래프 알고리즘 등의 기반으로 키워드를 추출할 경우 웹페이지 구조상 잠재적으로 주제와 관련이 없는 다양한 단어를 포함하고 있는 문제점과 한국어 형태소 분석의 정확성이 떨어지는 형태소 분석기 성능의 한계점 때문에 의미적인 키워드를 추출하는데 어려움이 존재한다. 따라서 본 논문에서는 의미적 단어 위주로 구축된 후보키워드들의 집합과 의미적 유사도 기반의 후보 키워드를 선택하는 방법으로써 의미적 키워드를 추출하지 못하는 문제점과 형태소 분석의 정확성이 떨어지는 문제점을 해결하고 일관성 없는 키워드를 제거하는 필터링 과정을 통해 최종 의미적 키워드를 추출하는 기법을 제안한다. 실 중소기업 웹페이지를 통한 실험 결과, 본 연구에서 제안한 기법의 성능이 통계적 유사도 기반의 키워드 선택기법보다 34.52% 향상된 것을 확인하였다. 따라서 단어 간의 의미적 유사성을 고려하고 일관성 없는 키워드를 제거함으로써 문서에서 키워드를 추출하는 성능을 향상시켰음을 확인하였다.

딥러닝 자동 분류 모델을 위한 공황장애 소셜미디어 코퍼스 구축 및 분석 (Building and Analyzing Panic Disorder Social Media Corpus for Automatic Deep Learning Classification Model)

  • 이수빈;김성덕;이주희;고영수;송민
    • 정보관리학회지
    • /
    • 제38권2호
    • /
    • pp.153-172
    • /
    • 2021
  • 본 연구는 공황장애 말뭉치 구축과 분석을 통해 공황장애의 특성을 살펴보고 공황장애 경향 문헌을 분류할 수 있는 딥러닝 자동 분류 모델을 만들고자 하였다. 이를 위해 소셜미디어에서 수집한 공황장애 관련 문헌 5,884개를 정신 질환 진단 매뉴얼 기준으로 직접 주석 처리하여 공황장애 경향 문헌과 비 경향 문헌으로 분류하였다. 이 중 공황장애 경향 문헌에 나타난 어휘적 특성 및 어휘의 관계성을 분석하기 위해 TF-IDF값을 산출하고 단어 동시출현 분석을 실시하였다. 공황장애의 특성 및 증상 간의 관련성을 분석하기 위해 증상 빈도수와 주석 처리된 증상 번호 간의 동시출현 빈도수를 산출하였다. 또한, 구축한 말뭉치를 활용하여 딥러닝 자동 분류 모델 학습 및 성능 평가를 하였다. 이를 위하여 최신 딥러닝 언어 모델 BERT 중 세 가지 모델을 활용하였고 이 중 KcBERT가 가장 우수한 성능을 보였다. 본 연구는 공황장애 관련 증상을 겪는 사람들의 조기 진단 및 치료를 돕고 소셜미디어 말뭉치를 활용한 정신 질환 연구의 영역을 확장하고자 시도한 점에서 의의가 있다.

텍스트 마이닝과 의미 네트워크 분석을 활용한 뉴스 의제 분석: 코로나 19 관련 감정을 중심으로 (Analysis of News Agenda Using Text mining and Semantic Network Analysis: Focused on COVID-19 Emotions)

  • 유소연;임규건
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.47-64
    • /
    • 2021
  • 전 세계적으로 퍼진 코로나 19 상황은 우리의 일상생활의 많은 부분에 영향을 끼쳤을 뿐만 아니라, 경제·사회 등 많은 부분에 걸쳐 막대한 영향력을 미치고 있다. 확진자와 사망자 수가 증가함에 따라 의료진과 대중은 불안, 우울, 스트레스 등 심리적인 문제를 겪고 있다고 한다. 장기적인 부정적인 감정은 사람들의 면역력을 감소시키고 신체적인 균형을 파괴할 수도 있으므로 코로나 19로 인한 심리적인 상태를 이해하는 것이 필수적인 상황이다. 본 연구에서는 코로나 19 감정과 관련된 뉴스 데이터를 수집하여, 텍스트 마이닝을 통해 키워드를 분류하고, 키워드 사이의 의미 네트워크 분석을 통해 단어들의 관계를 시각화하였다. 코로나 감정과 관련된 기사의 키워드에 나타난 단어들의 빈도수를 확인하고 이를 워드 클라우드로 분석하였다. 키워드 빈도 분석 결과 코로나 19 감정과 관련하여 '중국', '불안', '상황', '마음', '사회', '건강'과 같은 단어의 빈도가 높게 나타난 것을 확인할 수 있었다. 각 데이터 간 연결 중심성을 분석한 결과 키워드 중심성 네트워크에서 가장 중심적인 핵심어는 '심리'와 '코로나 19', '블루', '불안'이라는 단어가 높은 연결 중심성을 가지는 것을 확인할 수 있었다. 기사의 헤드라인에 나타난 주요 핵심어 사이의 동시 출현 빈도 네트워크를 그래프로 시각화한 결과, '코로나-블루' 쌍이 가장 굵게 표시되었고, '코로나-감정', '코로나-불안' 쌍이 비교적 굵은 선으로 표시된 것을 알 수 있었다. 코로나와 관련된 '블루'는 우울증을 의미하는 단어로, 코로나와 우울증은 이제 관심을 가져야 할 키워드임을 확인할 수 있었다. 본 연구에서는 장기화한 코로나 19 상황에서 신체적인 방역뿐만 아니라 심리적인 방역에도 힘써야 할 이 시기에 보건 정책담당자가 빠르고 복잡한 의사결정 과정에 도움이 되고자 미디어 뉴스를 모니터링 함으로써, 더욱더 쉬운 소셜 미디어 네트워크 분석 방법을 제시하고자 한다.

빅데이터 분석 기법을 활용한 도서관발전종합계획 동향 분석 연구 (Analysis Study on Trends of Library Development Plan by Using Big Data Analysis)

  • 김동석;노영희
    • 한국비블리아학회지
    • /
    • 제29권2호
    • /
    • pp.85-108
    • /
    • 2018
  • 본 연구에서는 도서관발전종합계획에 대한 언론보도를 빅데이터 분석 기법을 활용하여 시기별 동향과 시사점을 도출하고자 하였다. 이를 위해 국내 주요 포털 사이트를 통해 2009년부터 2017년까지 관련 데이터를 수집하였다. 수집된 데이터는 텍스트 마이닝 과정을 통해 정제된 단어를 도출하였고 이를 바탕으로 빈도분석 및 중심성 분석, 구조적 등위성 분석 등을 수행하였다. 분석 결과 제1 2차 도서관발전종합계획이 시행되는 동안 도서관 정책의 흐름이 외연적 성장에서 도서관 운영의 내실화 고도화의 흐름으로 변화하고 있었으며, 도서관 시설 확충과 같은 특정 정책에 국한되어 언론보도가 이루어짐을 확인할 수 있었다. 이러한 연구 결과는 도서관발전종합계획으로 대변되는 도서관 정책을 어떤 관점에서 인식하고 이해하고 있는지 확인하는데 유용한 자료로 사용될 수 있으며, 향후 도서관발전종합계획의 비전을 모색하는데 활용되기를 바란다.

Shale을 왜 '혈암'이라 하는가?

  • 이창진;류춘렬
    • 한국지구과학회:학술대회논문집
    • /
    • 한국지구과학회 2010년도 춘계학술발표회 논문집
    • /
    • pp.24-24
    • /
    • 2010
  • 중등 지구과학교과서와 대학 교재에서 학습하는 광물과 암석 이름은 대부분 영어, 한자, 일본어에서 도입한 용어이다. 이 용어에 대한 어원과 말뜻에 대한 분석이나 연구가 되지 않은 상태에서 바로 사용해왔기 때문에 지질학 초보자들이 학습하기에 아주 어렵다. 광물과 암석이름의 어원과 말뜻을 잘 알지 못하고 단순히 외우거나 학술적인 이름이나 의미만을 생각하고 사용하고 있으며, 한 광물이나 암석에 대하여 여러 가지 이름을 사용하기도 한다. 심지어 전혀 엉뚱한 암석 이름이 대중 사이에서 사용되고 있지만 이를 통제하지도 못하고 그 명칭이 틀렸다는 것도 모르고 있다. 예를 들면 영어로 Shale을 중등 교과서와 대학 교재에서 영어 발음을 따라 한국어로 셰일이라고 표기하지만 중국과 일본에서는 혈암(頁岩)으로 표기한다. 우리나라의 대중 매체의 인터넷 사전과 대중들이 사용하는 용어는 중국어 혈암(頁岩)을 공공연하게 '혈암'으로 표기하고 있다. '혈(頁)'을 한자 사전에서 찾아보면 '머리 혈'과 '책 면 엽'으로 정리되어 있다. 그러면 셰일의 암석학적 특징으로 볼 때 혈암이라고 해야 하나? 엽암이라고 해야 하나? 과학과의 다른 분야에서는 어려운 한자를 쉬운 한글로 표준화하는 연구와 실행을 꾸준히 진행해오고 있다. 생물의 경우 생물의 어려운 학명을 이미 쉬운 한글로 표준화했으며, 그 학명이 학생과 대중들에게 널리 알려져 있다. 지구과학의 교과서 문장에 나오는 단어와 전문용어가 한자를 한글로 표기한 경우가 많은데 이 단어들을 하루 속히 한글로 표준화하여 전문가들이 먼저 사용하는 동시에 학생과 대중들에게 알려 주어야 한다. 이렇게 되면 지구과학의 내용보다 용어가 어렵다는 인식을 바꾸어 줄 것이고 지구과학을 전공하고자 하는 학생들에게 희망과 용기를 줄 것이다. 그 일환으로 광물과 암석 이름의 어원을 조사해 보고 한글 표준화의 가능성을 타진해 보고자 한다.

  • PDF

형태소 수준의 한국어 상호참조해결 (Korean Coreference Resolution at the Morpheme Level )

  • 조경빈;최요한;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.329-333
    • /
    • 2022
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 End-to-End 모델이 주로 연구가 되었다. 그러나 End-to-End 방식으로 모델을 수행하기 위해서는 모든 스팬을 잠재적인 멘션으로 간주해야 되기 때문에 많은 메모리가 필요하고 시간 복잡도가 상승하는 문제가 있다. 본 논문에서는 서브 토큰을 다시 단어 단위로 매핑하여 상호참조해결을 수행하는 워드 레벨 상호참조해결 모델을 한국어에 적용하며, 한국어 상호참조해결의 특징을 반영하기 위해 워드 레벨 상호참조해결 모델의 토큰 표현에 개체명 자질과 의존 구문 분석 자질을 추가하였다. 실험 결과, ETRI 질의응답 도메인 평가 셋에서 F1 69.55%로, 기존 End-to-End 방식의 상호참조해결 모델 대비 0.54% 성능 향상을 보이면서 메모리 사용량은 2.4배 좋아졌고, 속도는 1.82배 빨라졌다.

  • PDF