• 제목/요약/키워드: 자연어

검색결과 1,207건 처리시간 0.025초

C2C에 기반으로 해외직구 불법거래에 관한 모니터링 시스템 설계 및 분석 (Design and analysis of monitoring system for illegal overseas direct purchase based on C2C)

  • 신용훈;김정호
    • 디지털융복합연구
    • /
    • 제20권5호
    • /
    • pp.609-615
    • /
    • 2022
  • 본 논문은, 개인 간 거래 C2C에 기반으로 해외직구 불법 거래에 관한 모니터링 시스템을 제안한다. 관세법에서는 해외직구 물품이 일정 금액 (미화 150불, 단 미국은 미화 200불)이하 또는 자가 사용 물품으로 인정되는 경우에만 제세를 면제토록 규정하고 있다. 과세를 면제받아 구매한 해외직구 물품을 온라인 등에서 되파는 행위는 무신고 밀수입죄에 해당한다. 그런데도 온라인 중고 사이트에는 이에 대한 되팔이가 증가하여 지속적인 관세법 위반이라는 사회적 이슈로 논란이 되고 있다. 따라서 본 연구에서는 해외직구 관련 불특정 거래 내용을 수집하고, 정보를 빅데이터 방식으로 데이터를 정제하여, 자연어 처리 등을 통해 모니터링 시스템으로 설계하여 판매자와 유사한 형태를 보이는 키워드 분석, 거래방식 분석, 동일성 판별 등을 분석하였다. 해외직구 물품의 불법 거래 단속에 활용이 가능할 것이다.

딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류 (Automatic Classification of Academic Articles Using BERT Model Based on Deep Learning)

  • 김인후;김성희
    • 정보관리학회지
    • /
    • 제39권3호
    • /
    • pp.293-310
    • /
    • 2022
  • 본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

리뷰 정보를 활용한 이용자의 선호요인 식별에 관한 연구 (Identification of User Preference Factor Using Review Information)

  • 송성전;심지영
    • 정보관리학회지
    • /
    • 제39권3호
    • /
    • pp.311-336
    • /
    • 2022
  • 본 연구는 도서관 정보서비스 환경에서 도서 이용자의 도서추천에 영향을 미치는 선호요인을 파악하기 위해 전 세계 도서 이용자의 참여로 이루어지는 사회적 목록 서비스인 Goodreads 리뷰 데이터를 대상으로 내용분석하였다. 이용자 선호의 내용을 보다 세부적인 관점에서 파악하기 위해 샘플 선정 과정에서 평점 그룹별, 도서별, 이용자별 하위 데이터 집합을 구성하였으며, 다양한 토픽을 고루 반영하기 위해 리뷰 텍스트의 토픽모델링 결과에 기반하여 층화 샘플링을 수행하였다. 그 결과, '내용', '캐릭터', '글쓰기', '읽기', '작가', '스토리', '형식'의 7개 범주에 속하는 총 90개 선호요인 관련 개념을 식별하는 한편, 평점에 따라 드러나는 일반적인 선호요인은 물론 호불호가 분명한 도서와 이용자에서 드러나는 선호요인의 양상을 파악하였다. 본 연구의 결과는 이용자 선호요인의 구체적 양상을 파악하여 향후 추천시스템 등에서 보다 정교한 추천에 기여할 수 있을 것으로 보인다.

A Virtual Battlefield Situation Dataset Generation for Battlefield Analysis based on Artificial Intelligence

  • Cho, Eunji;Jin, Soyeon;Shin, Yukyung;Lee, Woosin
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권6호
    • /
    • pp.33-42
    • /
    • 2022
  • 기존의 지능형 지휘통제체계 연구에서는 지휘관의 전장 상황 질문에 대한 분석 결과를 지식베이스 기반 상황 데이터에서 정보를 추출하여 제공해주고 있다. 하지만, 다양한 표현의 자연어가 사용된 정·첩보를 문맥에 맞게 분석하는 것이 상황 분석에 있어 중요해지면서 인공지능을 사용한 전장 상황 분석 연구가 진행되고 있다. 본 논문에서는 전장 상황 분석용 인공지능 개발에 필요한 데이터 셋을 제공하기 위해 전장 상황 모의 시나리오 기반 가설 데이터 셋 생성 방법을 제안한다. 가설 데이터 셋은 실제 전장 환경이 고려된 모의 시나리오에서 전장 지식요소를 식별하여 생성한다. 먼저 후보가설을 생성하면 자동으로 단위가설이 생성된다. 단위가설을 조합하여 유사 식별 가설 조합을 만들고, 연관된 후보가설을 그룹화하여 집합가설을 생성한다. 제안하는 방법으로 데이터 셋을 생성할 수 있음을 확인하기 위해 생성기 SW를 구현하였고, 생성기 SW로 가설 데이터 셋을 생성할 수 있음을 확인하였다.

자연어 알고리즘을 활용한 한국표준건강분류(KCF) 코드 검색 (Korean Standard Classification of Functioning, Disability and Health (KCF) Code Linking on Natural Language with Extract Algorithm )

  • 최년식;송주민
    • 대한물리의학회지
    • /
    • 제18권1호
    • /
    • pp.77-86
    • /
    • 2023
  • PURPOSE: This study developed an experimental algorithm, which is similar or identical to semantic linking for KCF codes, even if it converted existing semantic code linking methods to morphological code extraction methods. The purpose of this study was to verify the applicability of the system. METHODS: An experimental algorithm was developed as a morphological extraction method using code-specific words in the KCF code descriptions. The algorithm was designed in five stages that extracted KCF code using natural language paragraphs. For verification, 80 clinical natural language experimental cases were defined. Data acquisition for the study was conducted with the deliberation and approval of the bioethics committee of the relevant institution. Each case was linked by experts and was extracted through the System. The linking accuracy index model was used to compare the KCF code linking by experts with those extracted from the system. RESULTS: The accuracy was checked using the linking accuracy index model for each case. The analysis was divided into five sections using the accuracy range. The section with less than 25% was compared; the first experimental accuracy was 61.24%. In the second, the accuracy was 42.50%. The accuracy was improved to 30.59% in the section by only a weight adjustment. The accuracy can be improved by adjusting several independent variables applied to the system. CONCLUSION: This paper suggested and verified a way to easily extract and utilize KCF codes even if they are not experts. KCF requires the system for utilization, and additional study will be needed.

문헌정보학분야 해외 연구 동향 및 유망 주제 분석 연구 (Research on Overseas Trends and Emerging Topics in Field of Library and Information Science)

  • 구본진;장덕현
    • 한국문헌정보학회지
    • /
    • 제57권3호
    • /
    • pp.71-96
    • /
    • 2023
  • 이 연구는 문헌정보학 분야의 연구 동향 분석을 통해 문헌정보학의 핵심 연구 영역을 파악하고 향후 유망 연구 주제로 부상할 가능성이 있는 주제를 식별하고자 하였다. 이를 위해 문헌정보학 분야의 국외 학술지 5종을 대상으로 지난 30년간 (1993~2022)의 학술논문 11,252건에서 40,897개의 저자 키워드를 수집하였으며, 저자 키워드를 활용한 키워드 분석을 통해 문헌정보학 분야의 핵심 연구 영역을 파악하였다. 이어서 논문수, 저자수, 공저논문 비율, 피인용 수를 활용하여 주성분분석과 상관관계분석을 통해 문헌정보학 분야의 미래 유망 연구 주제를 도출하였다. 분석 결과, 향후 문헌정보학 분야의 유망 연구 주제는 '머신러닝/알고리즘'과 '연구 영향력'이었으며, 이외에도 소셜미디어와 빅데이터분석, 자연어 처리, 연구 트렌드 분석, 연구성과 평가 등이 향후 주요한 연구주제로 성장할 가능성이 있는 것으로 나타났다.

개인의 감성 분석 기반 향 추천 미러 설계 (Design of a Mirror for Fragrance Recommendation based on Personal Emotion Analysis)

  • 김현지;오유수
    • 한국산업정보학회논문지
    • /
    • 제28권4호
    • /
    • pp.11-19
    • /
    • 2023
  • 본 논문에서는 사용자의 감정 분석에 따른 향을 추천하는 스마트 미러 시스템을 제안한다. 본 논문은 자연어 처리 중 임베딩 기법(CounterVectorizer와 TF-IDF 기법), 머신러닝 분류 기법 중 최적의 모델(DecisionTree, SVM, RandomForest, SGD Classifier)을 융합하여 시스템을 구축하고 그 결과를 비교한다. 실험 결과, 가장 높은 성능을 보이는 SVM과 워드 임베딩을 파이프라인 기법으로 감정 분류기 모델에 적용한다. 제안된 시스템은 Flask 웹 프레임워크를 이용하여 웹 서비스를 제공하는 개인감정 분석 기반 향 추천 미러를 구현한다. 본 논문은 Google Speech Cloud API를 이용하여 사용자의 음성을 인식하고 STT(Speech To Text)로 음성 변환된 텍스트 데이터를 사용한다. 제안된 시스템은 날씨, 습도, 위치, 명언, 시간, 일정 관리에 대한 정보를 사용자에게 제공한다.

자유대화의 음향적 특징 및 언어적 특징 기반의 성인과 노인 분류 성능 비교 (Comparison of Classification Performance Between Adult and Elderly Using Acoustic and Linguistic Features from Spontaneous Speech)

  • 한승훈;강병옥;동성희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.365-370
    • /
    • 2023
  • 사람은 노화과정에 따라 발화의 호흡, 조음, 높낮이, 주파수, 언어 표현 능력 등이 변화한다. 본 논문에서는 이러한 변화로부터 발생하는 음향적, 언어적 특징을 기반으로 발화 데이터를 성인과 노인 두 그룹으로 분류하는 성능을 비교하고자 한다. 음향적 특징으로는 발화 음성의 주파수 (frequency), 진폭(amplitude), 스펙트럼(spectrum)과 관련된 특징을 사용하였으며, 언어적 특징으로는 자연어처리 분야에서 우수한 성능을 보이고 있는 한국어 대용량 코퍼스 사전학습 모델인 KoBERT를 통해 발화 전사문의 맥락 정보를 담은 은닉상태 벡터 표현을 추출하여 사용하였다. 본 논문에서는 음향적 특징과 언어적 특징을 기반으로 학습된 각 모델의 분류 성능을 확인하였다. 또한, 다운샘플링을 통해 클래스 불균형 문제를 해소한 뒤 성인과 노인 두 클래스에 대한 각 모델의 F1 점수를 확인하였다. 실험 결과로, 음향적 특징을 사용하였을 때보다 언어적 특징을 사용하였을 때 성인과 노인 분류에서 더 높은 성능을 보이는 것으로 나타났으며, 클래스 비율이 동일하더라도 노인에 대한 분류 성능보다 성인에 대한 분류 성능이 높음을 확인하였다.

한국어 문장 표현을 위한 비지도 대조 학습 방법론의 비교 및 분석 (Comparison and Analysis of Unsupervised Contrastive Learning Approaches for Korean Sentence Representations)

  • 유영현;이규민;전민진;차지이;김강산;김태욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.360-365
    • /
    • 2022
  • 문장 표현(sentence representation)은 자연어처리 분야 내의 다양한 문제 해결 및 응용 개발에 있어 유용하게 활용될 수 있는 주요한 도구 중 하나이다. 하지만 최근 널리 도입되고 있는 사전 학습 언어 모델(pre-trained language model)로부터 도출한 문장 표현은 이방성(anisotropy)이 뚜렷한 등 그 고유의 특성으로 인해 문장 유사도(Semantic Textual Similarity; STS) 측정과 같은 태스크에서 기대 이하의 성능을 보이는 것으로 알려져 있다. 이러한 문제를 해결하기 위해 대조 학습(contrastive learning)을 사전 학습 언어 모델에 적용하는 연구가 문헌에서 활발히 진행되어 왔으며, 그중에서도 레이블이 없는 데이터를 활용하는 비지도 대조 학습 방법이 주목을 받고 있다. 하지만 대다수의 기존 연구들은 주로 영어 문장 표현 개선에 집중하였으며, 이에 대응되는 한국어 문장 표현에 관한 연구는 상대적으로 부족한 실정이다. 이에 본 논문에서는 대표적인 비지도 대조 학습 방법(ConSERT, SimCSE)을 다양한 한국어 사전 학습 언어 모델(KoBERT, KR-BERT, KLUE-BERT)에 적용하여 문장 유사도 태스크(KorSTS, KLUE-STS)에 대해 평가하였다. 그 결과, 한국어의 경우에도 일반적으로 영어의 경우와 유사한 경향성을 보이는 것을 확인하였으며, 이에 더하여 다음과 같은 새로운 사실을 관측하였다. 첫째, 사용한 비지도 대조 학습 방법 모두에서 KLUE-BERT가 KoBERT, KR-BERT보다 더 안정적이고 나은 성능을 보였다. 둘째, ConSERT에서 소개하는 여러 데이터 증강 방법 중 token shuffling 방법이 전반적으로 높은 성능을 보였다. 셋째, 두 가지 비지도 대조 학습 방법 모두 검증 데이터로 활용한 KLUE-STS 학습 데이터에 대해 성능이 과적합되는 현상을 발견하였다. 결론적으로, 본 연구에서는 한국어 문장 표현 또한 영어의 경우와 마찬가지로 비지도 대조 학습의 적용을 통해 그 성능을 개선할 수 있음을 검증하였으며, 이와 같은 결과가 향후 한국어 문장 표현 연구 발전에 초석이 되기를 기대한다.

  • PDF

BM25 기반 고난도 부정 지식 검색을 통한 오픈 도메인 지식 기반 한국어 대화의 지식 검색 모듈 성능 향상 (Improvement of Knowledge Retriever Performance of Open-domain Knowledge-Grounded Korean Dialogue through BM25-based Hard Negative Knowledge Retrieval)

  • 문선아;김산;신사임
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.125-130
    • /
    • 2022
  • 최근 자연어처리 연구로 지식 기반 대화에서 대화 내용에 자유로운 주제와 다양한 지식을 포함하는 연구가 활발히 이루어지고 있다. 지식 기반 대화는 대화 내용이 주어질 때 특정 지식 정보를 포함하여 이어질 응답을 생성한다. 이때 대화에 필요한 지식이 검색 가능하여 선택에 제약이 없는 오픈 도메인(Open-domain) 지식 기반 대화가 가능하도록 한다. 오픈 도메인 지식 기반 대화의 성능 향상을 위해서는 대화에 이어지는 자연스러운 답변을 연속적으로 생성하는 응답 생성 모델의 성능 뿐만 아니라, 내용에 어울리는 응답이 생성될 수 있도록 적합한 지식을 선택하는 지식 검색 모델의 성능 향상도 매우 중요하다. 본 논문에서는 오픈 도메인 지식 기반 한국어 대화에서 지식 검색 성능을 높이기 위해 밀집 벡터 기반 검색 방식과 주제어(Keyword) 기반의 검색 방식을 함께 사용하는 것을 제안하였다. 먼저 밀집 벡터 기반의 검색 모델을 학습하고 학습된 모델로부터 고난도 부정(Hard negative) 지식 후보를 생성하고 주제어 기반 검색 방식으로 고난도 부정 지식 후보를 생성하여 각각 밀집 벡터 기반의 검색 모델을 학습하였다. 성능을 측정하기 위해 전체 지식 중에서 하나의 지식을 검색했을 때 정답 지식인 경우를 계산하였고 고난도 부정 지식 후보로 학습한 주제어 기반 검색 모델의 성능이 6.175%로 가장 높은 것을 확인하였다.

  • PDF