• Smart Media Journal
• /
• v.11 no.10
• /
• pp.46-53
• /
• 2022

Today, due to the 4th industrial revolution and extensive R&D funding, domestic companies have begun to possess world-class industrial technologies and have grown into important assets. The national government has designated it as a "national core technology" in order to protect companies' critical industrial technologies. Particularly, technology leaks in the shipbuilding, display, and semiconductor industries can result in a significant loss of competitiveness not only at the company level but also at the national level. Every year, there are more insider leaks, ransomware attacks, and attempts to steal industrial technology through industrial spy. The stolen industrial technology is then traded covertly on the dark web. In this paper, we propose a system for detecting industrial technology leaks in the dark web environment. The proposed model first builds a database through dark web crawling using information collected from the OSINT environment. Afterwards, keywords for industrial technology leakage are extracted using the KeyBERT model, and signs of industrial technology leakage in the dark web environment are proposed as quantitative figures. Finally, based on the identified industrial technology leakage sites in the dark web environment, the possibility of secondary leakage is detected through the PageRank algorithm. The proposed method accepted for the collection of 27,317 unique dark web domains and the extraction of 15,028 nuclear energy-related keywords from 100 nuclear power patents. 12 dark web sites identified as a result of detecting secondary leaks based on the highest nuclear leak dark web sites.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.69-74
• /
• 2018

최근 빅 데이터와 인공지능의 발달과 함께 감성 분석에 대한 연구가 활발해지고 있다. 더불어 감성 분석을 위한 긍/부정 어휘가 풍부한 텍스트 문서들에 대한 수집의 필요성도 높아지고 있다. 본 논문은 긍/부정어휘가 풍부한 텍스트 문서들을 수집하는 기존의 수집 방법에 대한 문제점에 대하여 해결방안을 제시한다. 기존의 수집 방법으로 일단 모든 URL들을 저장하고 필터링 과정을 거쳐 긍/부정 어휘가 풍부한 텍스트 문서들을 수집하고자 한다면 불필요한 텍스트 문서 저장과 필터링 과정에서 메모리와 시간을 낭비하게 된다. 기존의 수집 방법에 블룸 필터라는 자료구조를 적용시켜 메모리와 시간을 낭비하게 되는 문제점을 해결하고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.12 no.10
• /
• pp.4856-4872
• /
• 2018

The mobile internet has grown ubiquitous across the globe with the widespread use of smart devices. However, the designs of modern mobile operating systems and their applications limit content retrieval with mobile applications. The mobile internet is not as accessible as the traditional web, having more man-made restrictions and lacking a unified approach for crawling and content retrieval. In this study, we propose an automatic and scalable mobile application content crawler, which can recognize the interaction paths of mobile applications, representing them as interaction graphs and automatically collecting content according to the graphs in a parallel manner. The crawler was verified by retrieving content from 50 non-game applications from the Google Play Store using the Android platform. The experiment showed the efficiency and scalability potential of our crawler for large-scale mobile internet content retrieval.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.463-465
• /
• 2018

공유저작물을 이용하는데 있어서 권리관리정보(RMI, Rights Management information)를 제대로 파악하지 못하거나 제대로 된 정보를 제공 받지 못하는 경우 이용자들은 저작권분쟁에 휘말릴 수 있다. 이러한 이유로 공유저작물을 제공하는 사이트에서는 공유저작물에 대한 정확하고 최신의 RMI 정보를 제공하기 위하여 통합하여 관리하고 최신의 정보로 갱신해야 한다. 하지만 동일한 권리를 가진 이미지는 다양한 이미지 포맷과 사이즈 변경에 따라 다른 형태로 유통되기 때문에 이에 대한 갱신처리가 중요하다. 본 논문에서는 이미지 특징점 기술을 활용하여 권리관리정보에 대한 중복데이터 문제를 해결할 수 있는 기법을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.992-995
• /
• 2017

최근 해외로 여행을 떠나는 인구가 증가함으로써 여행의 만족도와 안전성을 높이기 위해 사전 조사의 중요성이 높아지고 있다. 그러나 인터넷을 통해 접근 가능한 SNS와 블로그의 글은 개인이 주관적인 견해를 가지고 작성하기 때문에 신뢰성이 떨어지게 되고 개인이 수집 가능한 정보의 양이 한정적이기 때문에 정확도면에서 한계를 가지게 된다. 본 논문은 웹 크롤링을 통하여 여행 목적지 국가에 관한 뉴스 기사들을 자동으로 수집하고 국가별 위험 요인을 도출하는 기법을 제안한다. 제안하는 기법을 활용할 시 해외여행에 대한 국민의 안전과 만족도가 높아지게 되고 사회 구성원의 전반적인 삶의 질이 향상될 것으로 기대된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.122-124
• /
• 2000

이 논문에서는 보다 효과적이고 편리한 서비스를 제공할 수 잇는 전자상거래를 위한 다중 에이전트 기반의 확장된 비교 쇼핑 시스템을 제안한다. 이 시스템은 웹 크로울링(web crawling)을 통해 비교 쇼핑 시스템의 대상이 되는 웹사이트들의 페이지 추출 정보를 입수한다. 각 쇼핑 사이트에서는 정보 추출을 위한 중심이 되는 랩퍼(wraper) 기술은 먼저 정보가 있는 페이지를 가려내고, 정보가 있다고 판명되는 페이지들에서 상품 정보의 위치 즉, 반복되는 패턴(pattern)을 추출하여 필요한 상품 기술 단위 정보를 뽑아내는 학습 알고리즘이며, 각 사이트에 맞게 만들어진 랩퍼 에이전트(wrapper agent)에 대해 유효성을 검사하는 방법론을 제시한다. 또한, 학습 시 필요한 지식(knowledge)으로서의 디렉토리(directory) 구성은 미리 만들어진 표준 카테고리(category)와 용어(terminology) 존재하에 제한적이나마 새로운 디렉토리 요소에 대해 자동으로 확장할 수 있는 방법론을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.1169-1172
• /
• 2019

최근 많은 이용자들이 음성채팅을 이용하여 게임을 즐긴다. 하지만 많은 사람들이 게임 내에서 지원하는 음성 채팅을 사용하지 않고 별도의 음성 프로그램을 사용하고 있다. 현재 게임 내 음성채팅과 외부 음성채팅 모두 편의 기능이 많이 부족하며, 가장 큰 문제점으로는 사용자 본인이 직접 음성 채팅에 참여하는 유저를 구해야 한다는 것이다. 본 논문에서는 이러한 불편한 상황을 없애기 위하여 자동으로 음성 채팅이 가능한 사람을 모집하여 좀 더 편안한 게임 환경을 제공할 수 있는 음성 채팅 웹 서비스를 개발 하였다. 웹 크롤링 기술을 이용하여 외부 커뮤니티등의 구인 글을 크롤링 하여 설정한 조건과 구인 조건이 일치하면 사이트 사용자 뿐 만 아니라 미사용자 간의 매칭도 빠르게 지원 하도록 개발하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.463-464
• /
• 2019

본 논문은 기계학습을 기반으로 아두이노와 시리얼통신을 통한 사용자의 동작인식을 이용해 보다 간단하게 인터넷상의 원하는 동영상을 찾을 수 있는 검색시스템을 제작하고자 하였다. 이 검색시스템은 Python을 기반으로 SVM(Support Vector Machine)을 이용한 패턴 분류를 사용하였으며 이를 통해 사용자의 동작을 입력받아 문자를 예측 할 수 있다. 사용자는 이 검색시스템을 사용하기 위하여 우선 문자에 대한 사용자의 동작입력을 통해 학습 데이터 셋을 만들어야 하며 그것을 SVM을 이용하여 학습 모델과 식별자를 만들고, 만들어진 분류기를 통하여 동작인식을 바탕으로 문자의 결과를 예측 할 수 있다. 최종적으로 사용자의 동작인식을 거쳐 만들어진 문자열을 이용해 인터넷 동영상 사이트인 Youtube를 통해 웹 크롤링하여 문자열과 관련 있는 동영상을 찾아준다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.07a
• /
• pp.29-30
• /
• 2019

본 논문에서는 카카오i 오픈빌더 API를 활용하여 언제 어디서나 손쉬운 접근 방법으로 날씨 정보를 얻을 수 있는 챗봇을 설계하고 구현한다 이 챗봇은, 플러스 친구를 통해 친구 추가 후 이용 가능하며, Python의 Flask 웹 프레임워크를 통하여 날씨에 관한 기온, 미세 먼지 농도, 강수량, 자외선 지수, 캐스팅 정보 등을 네이버에서 사용자가 검색한 지역별로 크롤링 후 가공하여 서비스 한다.

• Journal of information and communication convergence engineering
• /
• v.17 no.3
• /
• pp.191-197
• /
• 2019

Morphological analysis is used for searching sentences and understanding context. As most morpheme analysis methods are based on predefined dictionaries, the problem of a target word not being registered in the given morpheme dictionary, the so-called unregistered word problem, can be a major cause of reduced performance. The current practical solution of such unregistered word problem is to add them by hand-write into the given dictionary. This method is a limitation that restricts the scalability and expandability of dictionaries. In order to overcome this limitation, we propose a novel method to automatically expand a dictionary by means of use-case analysis, which checks the validity of the unregistered word by exploring the use-cases through web crawling. The results show that the proposed method is a feasible one in terms of the accuracy of the validation process, the expandability of the dictionary and, after registration, the fast extraction time of morphemes.