• 한국통신학회논문지
• /
• 제42권2호
• /
• pp.493-504
• /
• 2017

최근 뉴스, 블로그, 소셜미디어 등을 통해 방대한 양의 비정형 텍스트 데이터가 쏟아져 나오고 있다. 이러한 비정형 텍스트 데이터는 풍부한 정보 및 의견을 거의 실시간으로 반영하고 있다는 측면에서 그 활용도가 매우 높아, 학계는 물론 산업계에서도 분석 수요가 증가하고 있다. 하지만 텍스트 데이터의 유용성이 증가함과 동시에 이러한 텍스트 데이터를 왜곡하여 특정 목적을 달성하려는 시도도 늘어나고 있다. 이러한 스팸성 텍스트 데이터의 증가는 방대한 정보 가운데 필요한 정보를 획득하는 일을 더욱 어렵게 만드는 것은 물론, 정보 자체 및 정보 제공 매체에 대한 신뢰도를 떨어뜨리는 현상을 초래하게 된다. 따라서 원본 데이터로부터 스팸성 데이터를 식별하여 제거함으로써, 정보의 신뢰성 및 분석 결과의 품질을 제고하기 위한 노력이 반드시 필요하다. 이러한 목적으로 스팸을 식별하기 위한 연구가 오피니언 스팸 탐지, 스팸 이메일 검출, 웹 스팸 탐지 등의 분야에서 매우 활발하게 수행되었다. 본 연구에서는 스팸 식별을 위한 기존의 연구 동향을 자세히 소개하고, 블로그 정보의 신뢰성 향상을 위한 방안 중 하나로 블로그의 스팸 태그를 식별하기 위한 방안을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제14권10호
• /
• pp.527-538
• /
• 2014

수요 예측은 영화 산업에서 매우 중요한 문제이다. 최근 들어 트위터(Twitter), 페이스북(Facebook)과 같은 소셜미디어의 비정형 텍스트 데이터를 이용하여 영화 흥행을 예측하고 분석하는 시도들이 활발하게 이루어지고 있다. 기존에는 주로 데이터의 주기별 변화량을 측정하여 데이터 양과 영화 흥행간의 상관성을 분석하거나 데이터에 대해 감성의 극성 값을 부여하는 오피니언 마이닝을 통해 영화의 흥행 추이를 예측하였다. 하지만 이러한 정량적 접근만으로는 관객들이 영화를 선택하게 된 근거나 영화의 어떤 속성을 선호하는지를 알 수 없기 때문에 영화의 흥행 요인을 밝히는데 한계가 있었다. 따라서 본 연구는 트위터 데이터를 수집한 후 빈도수 측정을 통해 트윗의 내용을 대표하는 토픽(topic) 키워드를 추출하여 관객들의 관심을 반영하는 영화적 속성들이 무엇인지를 밝히고, 그 속성들에 대한 관객들의 반응을 분석함으로써 영화의 흥행에 영향을 미친 요인들을 제시한다.

• 한국컴퓨터정보학회논문지
• /
• 제23권10호
• /
• pp.103-109
• /
• 2018

In this paper, we propose a dynamic document classification method which breaks away from existing document classification method with artificial categorization rules focusing on suppliers and has changing categorization rules according to users' needs or social trends. The core of this dynamic document classification method lies in the fact that it creates classification criteria real-time by using topic modeling techniques without standardized category rules, which does not force users to use unnecessary frames. In addition, it can also search the details through the relevance analysis by calculating the relationship between the words that is difficult to grasp by word frequency alone. Rather than for logical and systematic documents, this method proposed can be used more effectively for situation analysis and retrieving information of unstructured data which do not fit the category of existing classification such as VOC (Voice Of Customer), SNS and customer reviews of Internet shopping malls and it can react to users' needs flexibly. In addition, it has no process of selecting the classification rules by the suppliers and in case there is a misclassification, it requires no manual work, which reduces unnecessary workload.

• 지능정보연구
• /
• 제25권2호
• /
• pp.1-23
• /
• 2019

소비자의 니즈가 다양해지면서 데이터 마이닝과 고도화된 고객관계관리(CRM) 기법을 활용한 체계적인 마케팅 서비스를 제공하는 기업이 증가하고 있으며, KB국민카드는 고객의 결제 데이터 등을 활용하여 고객 개개인의 니즈를 충족시키고 소비자의 평생가치를 극대화하기 위한 전략을 강조하고 있다. 실시간으로 고객의 카드이용과 고객 행동, 위치 정보 등을 감지하여 진행하는 고효율 마케팅 운영시스템인 스마트 오퍼링 시스템을 운영하고 있으며, 다양한 앱 등과 결합하여 더욱 정교화된 서비스를 제공하고 있다. KB국민카드는 스마트 오퍼링 시스템의 성공과 지속적인 성장을 위해 고도화되고 있는 ICT 기술과 인재 확보를 위한 투자를 진행해야 하며, 장기적인 관점에서의 수익확보를 위한 전략을 확립하여 체계적인 진행이 필요하다. 특히, 프라이버시 침해와 개인정보 유출 등의 문제가 쟁점이 되는 현재 상황에서 고객 정보를 활용한 마케팅에 대한 고객의 인식을 긍정적으로 유도하고, 보안성을 강조하는 기업 이미지 형성을 위한 노력이 필요하다. 본 연구는 CRM 전략의 변화 과정을 통해 현재 카드사의 실시간 CRM 전략을 KB 국민카드의 빅데이터 활용전략과 마케팅 활동을 통해 확인하고자 한다.

• Asian review of World Histories
• /
• 제4권1호
• /
• pp.3-34
• /
• 2016

This introduction is both a statement of a research problem and an account of the first research results for its solution. As more historical databases come online and overlap in coverage, we need to discuss the two main issues that prevent 'big' results from emerging so far. Firstly, historical data are seen by computer science people as unstructured, that is, historical records cannot be easily decomposed into unambiguous fields, like in population (birth and death records) and taxation data. Secondly, machine-learning tools developed for structured data cannot be applied as they are for historical research. We propose a complex network, narrative-driven approach to mining historical databases. In such a time-integrated network obtained by overlaying records from historical databases, the nodes are actors, while thelinks are actions. In the case study that we present (the world as seen from Venice, 1205-1533), the actors are governments, while the actions are limited to war, trade, and treaty to keep the case study tractable. We then identify key periods, key events, and hence key actors, key locations through a time-resolved examination of the actions. This tool allows historians to deal with historical data issues (e.g., source provenance identification, event validation, trade-conflict-diplomacy relationships, etc.). On a higher level, this automatic extraction of key narratives from a historical database allows historians to formulate hypotheses on the courses of history, and also allow them to test these hypotheses in other actions or in additional data sets. Our vision is that this narrative-driven analysis of historical data can lead to the development of multiple scale agent-based models, which can be simulated on a computer to generate ensembles of counterfactual histories that would deepen our understanding of how our actual history developed the way it did. The generation of such narratives, automatically and in a scalable way, will revolutionize the practice of history as a discipline, because historical knowledge, that is the treasure of human experiences (i.e. the heritage of the world), will become what might be inherited by machine learning algorithms and used in smart cities to highlight and explain present ties and illustrate potential future scenarios and visionarios.

• 디지털융복합연구
• /
• 제14권11호
• /
• pp.267-273
• /
• 2016

모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

• 한국빅데이터학회지
• /
• 제7권2호
• /
• pp.103-111
• /
• 2022

감염병 대응과 관련된 기관, 조직, 사이트 등의 다수 운영되고 있으나 코로나-19와 같은 팬더믹 상황이 수년간 지속됨에 따라 초기양상과 현재 양상의 수많은 변화가 있으며 이에 따른 정책과 대응체계도 진화하고 있다. 이에 따른 지역별 격차가 발생하고 정책에 대한 신뢰와 불신, 이행도에 따른 여러 가지 문제들이 산재해 있다. 따라서 본 연구에서는 정보전염이 포함된 소셜 데이터를 분석하는 과정에서 루머가 포함된 데이터를 수집하는 과정에서 팩트 체크가 되는 언론 매체와 다르게 정확한 출처를 알 수 없는 부정확한 정보들이 포함되는 주요 소셜 미디어 플랫폼 중의 하나인 트위터 데이터를 수집하여 사실과 무관한 내용을 사전 차단하는 시스템을 개발했다. 비정형데이터인 소셜데이터를 기반으로 감염병 위협을 자동 감지할 수 있는 알고리즘을 개발하여 감염병 위기 대응과 관련된 객관적인 근거를 창출함으로써 관련 분야 국제경쟁력을 공고히 하고자 한다.

• 해양환경안전학회지
• /
• 제26권2호
• /
• pp.121-128
• /
• 2020

국민의 해양안전문화 수준을 객관적으로 측정하고 해양안전문화 확산을 위한 자료로 활용하고자 2018년에 해양안전문화지수를 개발하였다. 안전문화지수를 산출하는 방법은 안전문화에 영향을 줄 만한 이슈를 포함해야 하고 현 실태를 측정할 수 있는 문항으로 구성되어야 한다. 또한, 사회적·경제적 변화에 따라 지속적인 검증과 보완이 요구된다. 해양 전문가에 의해 설계된 설문 문항이 국민의 관심사와 요구를 잘 반영하고 있는지 확인하기 위해 915명의 해양안전 관련 제안 내용을 분석하였다. 비정형 데이터인 해양안전 제안 내용을 분석하기 위해 텍스트 마이닝 기법을 활용하였으며, 네트워크 분석과 토픽 모델링을 수행하였다. 해양안전 제안을 분석한 결과 '교육', '홍보', '안전수칙', '의식', '전문 인력', '시스템'에 관한 내용이 주를 이루었다. 해양안전 제안 사항이 2019년 설문 문항에 반영되도록 18개의 문항을 수정·보완하였고, 설문 문항의 신뢰도를 분석한 결과 내적 일관성은 0.895로 높게 평가되었으며 전년 대비 향상되었다. 해양 관련 전문가뿐만 아니라 국민의 요구사항까지 반영한 개선된 설문 문항으로 해양안전문화지수를 도출함으로써 해양안전문화 확산을 위한 정책 수립에 더 기여할 것으로 기대된다.

• 지능정보연구
• /
• 제21권1호
• /
• pp.1-13
• /
• 2015

빅데이터 및 오피니언 마이닝 분야가 대두됨에 따라 정보 검색/추출, 특히 비정형 데이터에서의 정보 검색/추출 기술의 중요성이 나날이 부각되어지고 있다. 또한 정보 검색 분야에서는 이용자의 의도에 맞는 결과를 제공할 수 있는 검색엔진의 성능향상을 위한 다양한 연구들이 진행되고 있다. 이러한 정보 검색/추출 분야에서 자연어처리 기술은 비정형 데이터 분석/처리 분야에서 중요한 기술이고, 자연어처리에 있어서 하나의 단어가 여러개의 모호한 의미를 가질 수 있는 단어 중의성 문제는 자연어처리의 성능을 향상시키기 위해 우선적으로 해결해야하는 문제점들의 하나이다. 본 연구는 단어 중의성 해소 방법에 사용될 수 있는 말뭉치를 많은 시간과 노력이 요구되는 수동적인 방법이 아닌, 사전들의 예제를 활용하여 자동적으로 생성할 수 있는 방법을 소개한다. 즉, 기존의 수동적인 방법으로 의미 태깅된 세종말뭉치에 표준국어대사전의 예제를 자동적으로 태깅하여 결합한 말뭉치를 사용한 단어 중의성 해소 방법을 소개한다. 표준국어대사전에서 단어 중의성 해소의 주요 대상인 전체 명사 (265,655개) 중에 중의성 해소의 대상이 되는 중의어 (29,868개)의 각 센스 (93,522개)와 연관된 속담, 용례 문장 (56,914개)들을 결합 말뭉치에 추가하였다. 품사 및 센스가 같이 태깅된 세종말뭉치의 약 79만개의 문장과 표준국어대사전의 약 5.7만개의 문장을 각각 또는 병합하여 교차검증을 사용하여 실험을 진행하였다. 실험 결과는 결합 말뭉치를 사용하였을 때 정확도와 재현율에 있어서 향상된 결과가 발견되었다. 본 연구의 결과는 인터넷 검색엔진 등의 검색결과의 성능향상과 오피니언 마이닝, 텍스트 마이닝과 관련한 자연어 분석/처리에 있어서 문장의 내용을 보다 명확히 파악하는데 도움을 줄 수 있을 것으로 기대되어진다.

• 경영정보학연구
• /
• 제25권1호
• /
• pp.233-255
• /
• 2023

코로나19로 인한 팬데믹 상황에서도 여전히 여행에 대한 욕구와 수요가 시장에 존재하고 있다. 이러한 상황에서 정보기술(IT)의 발달로 인해 온라인에 대한 접근성과 유용성 및 디지털 기기의 활용도 함께 증가하였고, 비대면으로도 새로운 경험을 얻을 수 있는 '온라인 체험(Online Experience)' 시장이 급격하게 성장하였다. 본 연구는 AirBnB 온라인 체험 서비스에서 서비스제공자(Provider-oriented)와 서비스이용자(User-oriented)에 의해 생성된 정형 및 비정형 데이터가 고객만족에 미치는 영향에 대해 분석하였다. 분석에 사용된 데이터는 파이썬 웹크롤러로 수집되었으며, 주요 변수인 비정형 데이터는 전처리와 감성분석을 거쳐 회귀분석에 사용되었다. 분석 결과, 주요변수인 호스트가 생성한 체험 소개글, 호스트 소개글과 같은 비정형 데이터는 텍스트의 생성 목적에 따라 주관도(Subjectivity)가 다르게 나타나며, 체험 소개글은 주관적일수록, 호스트 소개글은 객관적일수록 고객 만족에 유의한 정의 영향을 미치는 것을 확인하였다. 또한, 에어비앤비 온라인 체험에 참여한 게스트가 생성한 정형 데이터는 다른 게스트의 만족에 긍정적인 영향을 미치는 것을 확인하였다. 본 연구 결과는 온라인 공유경제 플랫폼 이해관계자 및 온라인 체험 지식경영에 관심을 갖는 연구자에게 다양한 시사점을 제공할 것으로 기대한다.