• Title/Summary/Keyword: 어휘정보

Search Result 1,065, Processing Time 0.033 seconds

Analyzing the Language Usage Characteristics of Korean Dark Web Users (국내 다크웹 사용자들의 언어 사용 특성 분석)

  • Youjin Lee;Dayeon Yim;Yongjae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.397-402
    • /
    • 2022
  • 익명 네트워크 기술에 기반한 다크웹은 일반 표면웹보다 더 강화된 익명성을 제공한다. 최근 이 익명성을 악용하여 다수의 다크웹 사용자들이 다크웹 내에서 범죄 행위를 모의하는 행위가 꾸준히 발생하고 있다. 특히, 국내 다크웹 사용자들은 마약 유포를 위한 방법을 공유하거나 성착취물 유포 행위 등에 직간접적으로 가담하고 있다. 이와 같은 범죄 행위들은 수사 기관의 눈을 피해 현재까지도 계속해서 발생하고 있어 국내 다크웹 범죄 동향 파악의 필요성이 증대되고 있다. 그러나 다크웹 특성상 범죄 행위를 논의하는 게시글을 수집하기가 어렵고, 다크웹 내에서의 언어 사용 특성에 대한 이해 부족으로 그동안 다크웹 사용자들이 어떤 내용의 범죄를 모의하는지 파악하기가 어려웠다. 본 논문에서는 국내 사용자들이 활동하는 다크웹 포럼들을 중심으로 사용자들의 언어 사용 특성을 연구하고, 이를 통해 다크웹에서 다뤄지는 범죄 유형들을 분석한다. 이를 위해, 자연어처리 기반의 분석 방법론을 적용하여 다크웹에서 공유되는 게시글을 수집하고 다크웹 사용자들의 은어와 특정 범죄군에서 선호되는 언어 특성을 파악한다. 특히 현재 다크웹 내에서 사용자들 사이에 관측되는 어휘들에 대한 기술통계 분석과 유의어 관계 분석을 수행하였고, 실제 다크웹 내에서 사용자들이 어떠한 범죄에 관심이 많은지를 분석하였으며, 더 나아가 수사의 효율성을 증대시키기 위한 소셜미디어, URL 인용 빈도에 대한 연구를 진행하였다.

  • PDF

SRLev-BIH: An Evaluation Metric for Korean Generative Commonsense Reasoning (SRLev-BIH: 한국어 일반 상식 추론 및 생성 능력 평가 지표)

  • Jaehyung Seo;Yoonna Jang;Jaewook Lee;Hyeonseok Moon;Sugyeong Eo;Chanjun Park;Aram So;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.176-181
    • /
    • 2022
  • 일반 상식 추론 능력은 가장 사람다운 능력 중 하나로써, 인공지능 모델이 쉽게 모사하기 어려운 영역이다. 딥러닝 기반의 언어 모델은 여전히 일반 상식에 기반한 추론을 필요로 하는 분야에서 부족한 성능을 보인다. 특히, 한국어에서는 일반 상식 추론과 관련한 연구가 상당히 부족한 상황이다. 이러한 문제 완화를 위해 최근 생성 기반의 일반 상식 추론을 위한 한국어 데이터셋인 Korean CommonGen [1]이 발표되었다. 그러나, 해당 데이터셋의 평가 지표는 어휘 단계의 유사성과 중첩에 의존하는 한계를 지니며, 생성한 문장이 일반 상식에 부합한 문장인지 측정하기 어렵다. 따라서 본 논문은 한국어 일반 상식 추론 및 생성 능력에 대한 평가 지표를 개선하기 위해 문장 성분의 의미역과 자모의 형태 변화를 바탕으로 생성 결과를 평가하는 SRLev, 사람의 평가 결과를 학습한 BIH, 그리고 두 평가 지표의 장점을 결합한 SRLev-BIH를 제안한다.

  • PDF

Implementation of Feature-based Dialog System in Restaurant domain (레스토랑 영역에서의 자질기반 대화시스템 구현)

  • Yang, Hyeon-Seok;Kim, Dong-Joo;Seol, Yong-Soo;Jung, Sung-Hun;Kim, Han-Woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.425-428
    • /
    • 2011
  • 서비스 로봇과 펫 로봇 등 사람과 직접 상호작용하는 로봇기술의 필요성이 증가하고 있다. 대화시스템은 자연언어처리 기술을 활용하여 음성인식 기술과의 결합을 통해 현재 로봇에서 주로 사용되고 있는 버튼과 터치스크린 위주의 HRI(Human-Robot Interface)보다 자연스러운 HRI를 제공한다. 이러한 자연스러운 HRI를 수행할 수 있는 로봇을 구성하기 위해서는 로봇이 서비스를 제공할 실제 영역에 맞는 대화시스템의 연구가 필요하다. 본 논문에서는 자질사전, 단일화 문법(unification grammar), 대화 흐름도(dialogue flow diagram)를 사용한 레스토랑 영역의 자질기반(feature-based) 대화시스템을 제시한다. 자질 정보는 형태소, 시제, 어휘의 의미구조 등을 나타내며 화행(speech act) 결정에 사용하고 문장 자질과 구문 자질을 파서에서 활용한다. 자질기반 대화시스템을 통하여 레스토랑 영역에서 사용자 화행 이해 및 주문, 안내 등의 서비스를 성공적으로 수행할 수 있음을 보인다.

A Comparative Study on Building Korean & Chinese Music Request Sentence Patterns for AI Assistant Platforms (AI 어시스턴트 플랫폼의 한국어와 중국어 음악청취 요청문 패턴구축 비교 연구)

  • Yun, Soeun;Li, Jiabin;Nam, Jeesun
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.383-388
    • /
    • 2020
  • 본 연구에서는 AI 어시스턴트의 음악청취 도메인 내 요청문을 인식 및 처리하기 위해 한국어와 중국어를 중심으로 도메인 사전 및 패턴문법 언어자원을 구축하고 그 결과를 비교분석 하였다. 이를 통해 향후 다국어 언어자원 구축의 접근 방법을 모색할 수 있으며, 궁극적으로 패턴 기반 문법으로 기술한 언어자원을 요청문 인식에 직접 활용하고 또한 주석코퍼스 생성을 통해 기계학습 성능 향상에 도움을 줄 수 있을 것으로 기대된다. 본 연구에서는 우선 패턴문법의 구체적인 양상을 살펴보기에 앞서, 해당 도메인의 요청문 유형의 카테고리를 결정하는 과정을 거쳤다. 이를 기반으로 한국어와 중국어 요청문의 실현 양상과 패턴유형을 LGG 프레임으로 구조화한 후, 한국어와 중국어 패턴문법 간의 통사적, 형태적, 어휘적 차이점을 비교분석 하여 음악청취 도메인 요청문의 언어별 생성 구조 차이점을 관찰할 수 있었다. 구축한 패턴문법은 개체명을 변수(X)로 설정하는 경우, 한국어에서는 약 2,600,600개, 중국어에서는 약 11,195,600개의 표현을 인식할 수 있었다. 결과적으로 본 연구에서 제안한 언어자원의 언어별 차이에 대한 통찰을 통해 다국어 차원의 요청문 인식 자원과 기계학습 데이터로서의 효용을 확인하였다.

  • PDF

Construction of Evaluation-Annotated Datasets for EA-based Clothing Recommendation Chatbots (패션앱 후기글 평가분석에 기반한 의류 검색추천 챗봇 개발을 위한 학습데이터 EVAD 구축)

  • Choi, Su-Won;Hwang, Chang-Hoe;Yoo, Gwang-Hoon;Nam, Jee-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.467-472
    • /
    • 2021
  • 본 연구는 패션앱 후기글에 나타나는 구매자의 의견에 대한 '평가분석(Evaluation Analysis: EA)'을 수행하여, 이를 기반으로 상품의 검색 및 추천을 수행하는 의류 검색추천 챗봇을 개발하는 LICO 프로젝트의 언어데이터 구축의 일환으로 수행되었다. '평가분석 트리플(EAT)'과 '평가기반요청 쿼드러플(EARQ)'의 구성요소들에 대한 주석작업은, 도메인 특화된 단일형 핵심어휘와 다단어(MWE) 핵심패턴들을 FST 방식으로 구조화하는 DECO-LGG 언어자원에 기반하여 반자동 언어데이터 증강(SSP) 방식을 통해 진행되었다. 이 과정을 통해 20여만 건의 후기글 문서(230만 어절)로 구성된 EVAD 평가주석데이터셋이 생성되었다. 여성의류 도메인의 평가분석을 위한 '평가속성(ASPECT)' 성분으로 14가지 유형이 분류되었고, 각 '평가속성'에 연동된 '평가내용(VALUE)' 쌍으로 전체 35가지의 {ASPECT-VALUE} 카테고리가 분류되었다. 본 연구에서 구축된 EVAD 평가주석 데이터의 성능을 평가한 결과, F1-Score 0.91의 성능 평가를 획득하였으며, 이를 통해 향후 다른 도메인으로의 확장된 적용 가능성이 유효함을 확인하였다.

  • PDF

Ontology-based Machine Translation Mashup System for Public Information (온톨로지 기반 공공정보 번역 매쉬업 시스템)

  • Oh, Kyeong-Jin;Kwon, Kee-Young;Hong, Myung-Duk;Jo, Geun-Sik
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.8
    • /
    • pp.21-29
    • /
    • 2012
  • We have proposed an ontology-based translation mashup system for foreigner to enjoy Korean cultural information without any language barrier(linguistic problem). In order to utilize public information, we use a mobile public information open API of Seoul metropolitan city. Google AJAX language API is used for translations of public information. We apply an ontology to minimize errors caused by the translations. For ontology modeling, we analyze the public information domain and define classes, relations and properties of cultural vocabulary ontology. We generate ontology instances for titles, places and sponsors which are the most frequently occurring translation errors. We compare the accuracy of translations through our experiment. Through the experimental results using the proposed ontology-based translation mashup system, we verify the validity of the system.

Korean Semantic Role Labeling Using Semantic Frames and Synonym Clusters (의미 프레임과 유의어 클러스터를 이용한 한국어 의미역 인식)

  • Lim, Soojong;Lim, Joon-Ho;Lee, Chung-Hee;Kim, Hyun-Ki
    • Journal of KIISE
    • /
    • v.43 no.7
    • /
    • pp.773-780
    • /
    • 2016
  • Semantic information and features are very important for Semantic Role Labeling(SRL) though many SRL systems based on machine learning mainly adopt lexical and syntactic features. Previous SRL research based on semantic information is very few because using semantic information is very restricted. We proposed the SRL system which adopts semantic information, such as named entity, word sense disambiguation, filtering adjunct role based on sense, synonym cluster, frame extension based on synonym dictionary and joint rule of syntactic-semantic information, and modified verb-specific numbered roles, etc. According to our experimentations, the proposed present method outperforms those of lexical-syntactic based research works by about 3.77 (Korean Propbank) to 8.05 (Exobrain Corpus) F1-scores.

Hybrid Schema Matching (HSM): Schema Matching Algorithm for Integrating Geographic Information (Hybrid Schema Matching (HSM): 지리정보 통합을 위한 하이브리드 스키마 매칭 알고리즘)

  • Lee, Jiyoon;Lee, Sukhoon;Kim, Jangwon;Jeong, Dongwon;Baik, Doo-Kwon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.3
    • /
    • pp.173-186
    • /
    • 2013
  • Web-based map services provide various geographic information that users want to get by continuous updating of data. Those map services provide different information for a geographic object respectively. It causes several problems, and most of all various information cannot be integrated and provided. To resolve the problem, this paper proposes a system which can integrate diverse geographic information and provide users rich geographic information. In this paper, a hybrid schema matching (HSM) algorithm is proposed and the algorithm is a mixture of the adapter-based semantic processing method, static semantic management-based approach, and dynamic semantic management-based approach. A comparative evaluation is described to show effectiveness of the proposed algorithm. The proposed algorithm in this paper improves the accuracy of schema matching because of registration and management of schemas of new semantic information. The proposal enables vocabulary-based schema matching using various schemas, and it thus also supports high usability. Finally, the proposed algorithm is cost-effective by providing the progressive extension of relationships between schema meanings.

Engine of computational Emotion model for emotional interaction with human (인간과 감정적 상호작용을 위한 '감정 엔진')

  • Lee, Yeon Gon
    • Science of Emotion and Sensibility
    • /
    • v.15 no.4
    • /
    • pp.503-516
    • /
    • 2012
  • According to the researches of robot and software agent until now, computational emotion model is dependent on system, so it is hard task that emotion models is separated from existing systems and then recycled into new systems. Therefore, I introduce the Engine of computational Emotion model (shall hereafter appear as EE) to integrate with any robots or agents. This is the engine, ie a software for independent form from inputs and outputs, so the EE is Emotion Generation to control only generation and processing of emotions without both phases of Inputs(Perception) and Outputs(Expression). The EE can be interfaced with any inputs and outputs, and produce emotions from not only emotion itself but also personality and emotions of person. In addition, the EE can be existed in any robot or agent by a kind of software library, or be used as a separate system to communicate. In EE, emotions is the Primary Emotions, ie Joy, Surprise, Disgust, Fear, Sadness, and Anger. It is vector that consist of string and coefficient about emotion, and EE receives this vectors from input interface and then sends its to output interface. In EE, each emotions are connected to lists of emotional experiences, and the lists consisted of string and coefficient of each emotional experiences are used to generate and process emotional states. The emotional experiences are consisted of emotion vocabulary understanding various emotional experiences of human. This study EE is available to use to make interaction products to response the appropriate reaction of human emotions. The significance of the study is on development of a system to induce that person feel that product has your sympathy. Therefore, the EE can help give an efficient service of emotional sympathy to products of HRI, HCI area.

  • PDF

Designing Researcher Information Retrieval Interface based on Ontological Analysis (온톨로지 기반의 연구자정보 검색 인터페이스 설계)

  • Seo, Eun-Gyoung;Park, Mi-Hyang
    • Journal of the Korean Society for information Management
    • /
    • v.26 no.2
    • /
    • pp.173-194
    • /
    • 2009
  • Recently, semantic search techniques which are based on information space as consisting of nonambiguous, non-redundant, formal pieces of ontological knowledge have been developed so that users do exploit large knowledge bases. The purpose of the study is to design more user-friendly and smarter retrieval interface based on ontological analysis, which can provide more precise information by reducing semantic ambiguity or more rich linked information based on well-defined relationships. Therefore, this study, first of all, focuses on ontological analysis on researcher information as selecting descriptive elements, defining classes and properties of descriptive elements, and identifying relationships between the properties and their restriction between relationships. Next, the study designs the prototypical retrieval interface based on ontology-based representation, which supports to semantic searching and browsing regarding researchers as a full-fledged domain. On the proposed retrieval interface, users can search various facts for researcher information such as research outputs or the personal information, or carrier history and browse the social connection of the researchers such as researcher group that is lecturing or researching on the same subject or involving in the same intellectual communication.