• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.660-663
• /
• 2009

Consumers express how they evaluate what they purchased by writing reviews especially when they purchased products online. By analyzing the reviews about a product, it will be possible to find out what the consumers liked and disliked about the product. It will be also possible to identify the general consensus on what matters in purchaing certain product type such as a laptop if many reviews about many instances of a particular product type is analyzed. However, it takes a lot of time to manually analyzing the reviews. Thus, we propose to use two natural language processing oriented computational techniques to analyze a large number of reviews. The techniques are text classification and information extraction. We developed an review analysis system and conducted experiments against the reviews about the laptop computers posted on the Naver information portal.

• Informatization Policy
• /
• v.30 no.3
• /
• pp.69-91
• /
• 2023

The impact of technological advancements on employment is a matter of ongoing debate, with discussions on the effects of AI technology development on employment being particularly scarce. This study employs the natural language processing technique (SBERT) and patents to calculate an occupation-based AI exposure score and to analyze employment trends by group. It proposes a method for calculating the AI exposure score based on the similarity between Korean patent information and US job descriptions and linking SOC(U.S.) and KSCO(Korea). The analysis of domestic AI patent applications and regional employment data in the KOSIS Database since 2013 reveals a K-shaped polarization pattern in Korean employment trends among groups with above and below average levels of AI exposure.

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.44 no.5
• /
• pp.719-731
• /
• 2024

For efficient construction management, linking BIM with schedule and cost is essential, but there are limits to the application of 5D BIM due to the difficulty in disassembling thousands of WBS and CBS. To solve this problem, a standardized WBS-CBS set is configured in advance, and when a new construction project occurs, the CBS in the BOQ is automatically linked to the WBS when a text most similar to it is found among the standard CBS (Public Procurement Service standard construction code) of the already linked set. A method was used to compare the text similarity of CBS more efficiently using artificial intelligence natural language processing techniques. Firstly, we created a civil term dictionary (CTD) that organized the words used in civil projects and assigned numerical values, tokenized the text of all CBS into words defined in the dictionary, converted them into TF-IDF vectors, and determined them by cosine similarity. Additionally, the search success rate increased to nearly 70 % by considering CBS' hierarchical structure and changing keywords. The threshold value for judging similarity was 0.62 (1: perfect match, 0: no match).

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.5
• /
• pp.319-328
• /
• 2013

Software maintainers try to comprehend software source code by intensively using source code identifiers. Thus, use of inconsistent identifiers throughout entire source code causes to increase cost of software maintenance. Although participants can adopt peer reviews to handle this problem, it might be impossible to go through entire source code if the volume of code is huge. This paper introduces an approach to automatically detecting inconsistent identifiers of Java source code. This approach consists of tokenizing and POS tagging all identifiers in the source code, classifying syntactic and semantic similar terms, and finally detecting inconsistent identifiers by applying proposed rules. In addition, we have developed tool support, named CodeAmigo, to support the proposed approach. We applied it to two popular Java based open source projects in order to show feasibility of the approach by computing precision.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.597-601
• /
• 2021

주어진 정보를 자연어로 변환하는 작업은 대화 시스템의 핵심 모듈임에도 불구하고 학습 데이터의 제작 비용이 높아 공개된 데이터가 언어에 따라 부족하거나 없다. 이에 본 연구에서는 텍스트-투-그래프(text-to-graph) 작업인 관계 추출에 쓰이는 데이터의 입출력을 반대로 지정하여 그래프-투-텍스트(graph-to-text) 생성 작업에 이용하는 역 관계 추출(reverse relation extraction, RevRE) 기법을 소개한다. 이 기법은 학습 데이터의 양을 늘려 영어 그래프-투-텍스트 작업의 성능을 높이고 지식 묘사 데이터가 부재한 한국어에선 데이터를 재생성한다.

• The Journal of the Korea Contents Association
• /
• v.14 no.3
• /
• pp.40-51
• /
• 2014

Owing to importance of document copyright the need to detect document duplication and plagiarism is increasing. Many studies have sought to meet such need, but there are difficulties in document duplication detection due to technological limitations with the processing of natural language. This thesis designs and implements a discriminator of similar documents with natural language processing technique. This system discriminates similar documents using morphological analysis, syntactic analysis, and weight on low frequency and idiom. To evaluate the system, we analyze the correlation between human discrimination and term-based discrimination, and between human discrimination and proposed discrimination. This analysis shows that the proposed discrimination needs improving. Future research should work to define the document type and improve the processing technique appropriate for each type.

• Broadcasting and Media Magazine
• /
• v.22 no.1
• /
• pp.1-9
• /
• 2017

IBM Watson은 새로운 컴퓨팅 시대인 코그니티브 시스템으로의 첫 걸음으로 상징된다. Watson은 현 프로그램 컴퓨팅의 시대 기반 위에 구축되었으나, 매우 중요한 방식에서 차이가 있다. ${\bullet}$ 오늘날 전세계 데이터의 80%를 차지하고 있는 복잡한 비정형 데이터에 대한 이해를 돕는 자연어 처리(Natural Language Processing) ${\bullet}$ 관련된 증거만을 기반으로 응답에 가중치를 부여하고 평가하기 위한 고도의 분석 기법을 적용한 가설 생성 및 평가 방식 ${\bullet}$ 반복을 통해 좀더 똑똑해 질 수 있도록 결과를 기반으로 학습을 개선할 수 있도록 돕는 동적 학습 방식이 각각이 Watson에만 특별한 것은 아니지만, Watson은 각 역량의 조합을 통해 강력한 솔루션을 제공하고 있다. IBM Watson과 같은 코그니티브 시스템은 조직이 생각하고, 행동하고, 운영되는 방식을 혁신시킬 수 있다. 이 글에서는 어떻게 IBM Watson이 시작되었으며, 직접적이고 신뢰할 수 있는 답변을 제공하기 위해 자연어 처리와 동적 학습 및 가설 생성/평가를 어떻게 조합하는지, 나아가 어떤 분야에서 적용되고 있는지 그 사례를 소개하고자 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.443-446
• /
• 2021

의약품에 대한 안전성 정보 수집과 관리는 온라인, 오프라인을 통해 약물 이상 사례를 보고받는 형태로 진행되고 있다. 하지만 소비자들의 자발적인 참여로 이루어지므로 실제 발생하는 약물 부작용보다 데이터가 현저히 적다는 단점이 존재한다. 본 논문에서는 약물 이상 데이터 희소성 문제를 해결 할 수 있도록 소셜 미디어에서 약물 부작용 표현을 찾을 수 있도록 하였다. 소셜 미디어의 경우에는 표준 약물 부작용 용어를 사용하기보다는 일반인들이 자연어로 표현한 경우가 많으므로 개체명 인식 기법을 이용해 부작용을 추출할 수 있는 모델을 개발하였다. 또한 추출된 부작용 표현을 표준용어로 분류할 수 있는 모델을 제시하였다. 실험 결과 제안한 두 가지 모델은 0.9 이상의 정확도를 얻을 수 있었으며, 일반 사용자들이 자연어로 표현한 약물 부작용 표현을 효과적으로 찾아내고 표준 부작용 용어로 매핑할 수 있음을 보여준다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11a
• /
• pp.577-580
• /
• 2002

자연어의 처리를 위해 반드시 필요한 형태소 분석에는 여러 가지 방법이 있으나 기본적으로 사전을 갖춘 상태에서 가장 가능성 있는 후보를 선택하는 방식을 선택한다. 이러한 방식으로는 사전이 없는 미지의 언어를 분석하기는 불가능하다. 기지의 언어라도 지속적으로 어휘가 변하는 경우나 매우 특별한 분야의 경우에는 필요로 하는 사전이 존재하지 않는다. 본 논문에서는 태그가 없는 단순 말뭉치만을 가지고 자율학습을 이용하여 한국어의 실질 형태소와 형식 형태소를 분리해내는 기법에 대하여 기술한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.498-499
• /
• 2023

비속어 탐지 기법으로 주로 사용되는 비속어 데이터베이스 활용 방식 혹은 문장 자체를 혐오, 비혐오로 분류하는 방식은 변형된 비속어 탐지에 어려움이 있다. 본 논문에서는 자연어 처리 태스크 중 하나인 개체명 인식 방법에서 착안하여 시퀀스 레이블링 기반의 비속어 탐지 방법을 제안한다. 한국어 악성 댓글 중 비속어 부분에 대해 레이블링 된 데이터셋을 구축하여 실험을 진행하고, 이를 통해 F1-Score 약 0.88 의 결과를 보인다.