• 제목/요약/키워드: Utility-Based Data Mining

검색결과 28건 처리시간 0.025초

Anatomy of Sentiment Analysis of Tweets Using Machine Learning Approach

  • Misbah Iram;Saif Ur Rehman;Shafaq Shahid;Sayeda Ambreen Mehmood
    • International Journal of Computer Science & Network Security
    • /
    • 제23권10호
    • /
    • pp.97-106
    • /
    • 2023
  • Sentiment analysis using social network platforms such as Twitter has achieved tremendous results. Twitter is an online social networking site that contains a rich amount of data. The platform is known as an information channel corresponding to different sites and categories. Tweets are most often publicly accessible with very few limitations and security options available. Twitter also has powerful tools to enhance the utility of Twitter and a powerful search system to make publicly accessible the recently posted tweets by keyword. As popular social media, Twitter has the potential for interconnectivity of information, reviews, updates, and all of which is important to engage the targeted population. In this work, numerous methods that perform a classification of tweet sentiment in Twitter is discussed. There has been a lot of work in the field of sentiment analysis of Twitter data. This study provides a comprehensive analysis of the most standard and widely applicable techniques for opinion mining that are based on machine learning and lexicon-based along with their metrics. The proposed work is helpful to analyze the information in the tweets where opinions are highly unstructured, heterogeneous, and polarized positive, negative or neutral. In order to validate the performance of the proposed framework, an extensive series of experiments has been performed on the real world twitter dataset that alter to show the effectiveness of the proposed framework. This research effort also highlighted the recent challenges in the field of sentiment analysis along with the future scope of the proposed work.

Method of extracting context from media data by using video sharing site

  • Kondoh, Satoshi;Ogawa, Takeshi
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2009년도 IWAIT
    • /
    • pp.709-713
    • /
    • 2009
  • Recently, a lot of research that applies data acquired from devices such as cameras and RFIDs to context aware services is being performed in the field on Life-Log and the sensor network. A variety of analytical techniques has been proposed to recognize various information from the raw data because video and audio data include a larger volume of information than other sensor data. However, manually watching a huge amount of media data again has been necessary to create supervised data for the update of a class or the addition of a new class because these techniques generally use supervised learning. Therefore, the problem was that applications were able to use only recognition function based on fixed supervised data in most cases. Then, we proposed a method of acquiring supervised data from a video sharing site where users give comments on any video scene because those sites are remarkably popular and, therefore, many comments are generated. In the first step of this method, words with a high utility value are extracted by filtering the comment about the video. Second, the set of feature data in the time series is calculated by applying functions, which extract various feature data, to media data. Finally, our learning system calculates the correlation coefficient by using the above-mentioned two kinds of data, and the correlation coefficient is stored in the DB of the system. Various other applications contain a recognition function that is used to generate collective intelligence based on Web comments, by applying this correlation coefficient to new media data. In addition, flexible recognition that adjusts to a new object becomes possible by regularly acquiring and learning both media data and comments from a video sharing site while reducing work by manual operation. As a result, recognition of not only the name of the seen object but also indirect information, e.g. the impression or the action toward the object, was enabled.

  • PDF

가계 재무건전성이 주택투자수요에 미치는 영향에 관한 연구 (A Study on the Financial Strength of Households on House Investment Demand)

  • 노상윤;윤보현;최영민
    • 유통과학연구
    • /
    • 제12권4호
    • /
    • pp.31-39
    • /
    • 2014
  • Purpose - This study investigates the following two issues. First, we attempt to find the important determinants of housing investment and to identify their significance rank using survey panel data. Recently, the expansion of global uncertainty in the real estate market has directly and indirectly influenced the Korean housing market; households demonstrate a sensitive reaction to changes in that market. Therefore, this study aims to draw conclusions from understanding how the impact of financial strength of the household is related to house investment. Second, we attempt to verify the effectiveness of diverse indices of financial strength such as DTI, LTV, and PIR as measures to monitor the housing market. In the continuous housing market recession after the global crisis, the government places top priority on residence stability. However, the government still imposes forceful restraints on indices of financial strength. We believe this study verifies the utility of these regulations when used in the housing market. Research design, data, and methodology - The data source for this study is the "National Survey of Tax and Benefit" from 2007 (1st) to 2011 (5th) by the Korea Institute of Public Finance. Based on this survey data, we use panel data of 3,838 households that have been surveyed continuously for 5 years. We sort the base variables according to relevance of house investment criteria using the decision tree model (DTM), which is the standard decision-making model for data-mining techniques. The DTM method is known as a powerful methodology to identify contributory variables for predictive power. In addition, we analyze how important explanatory variables and the financial strength index of households affect housing investment with the binary logistic multi-regressive model. Based on the analyses, we conclude that the financial strength index has a significant role in house investment demand. Results - The results of this research are as follows: 1) The determinants of housing investment are age, consumption expenditures, income, total assets, rent deposit, housing price, habits satisfaction, housing scale, number of household members, and debt related to housing. 2) The impact power of these determinants has changed more or less annually due to economic situations and housing market conditions. The level of consumption expenditure and income are the main determinants before 2009; however, the determinants of housing investment changed to indices of the financial strength of households, i.e., DTI, LTV, and PIR, after 2009. 3) Most of all, since 2009, housing loans has been a more important variable than the level of consumption in making housing market decisions. Conclusions - The results of this research show that sound financing of households has a stronger effect on housing investment than reduced consumption expenditures. At the same time, the key indices that must be monitored by the government under economic emergency conditions differ from those requiring monitoring under normal market conditions; therefore, political indices to encourage and promote the housing market must be divided based on market conditions.

기준 확인 측도와 연관성 평가기준과의 관계 탐색 (Exploration of relationship between confirmation measures and association thresholds)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권4호
    • /
    • pp.835-845
    • /
    • 2013
  • 데이터 마이닝닝 기법들 중에서 연관성 규칙 마이닝 (association rule mining)은 대용량의 사건 발생 기록 데이터로부터 항목 간의 연관성을 측정하는 기법이다. 이 기법은 매우 방대한 양의 상품 또는 서비스 거래 기록 데이터로부터 항목들 간의 연관성을 측정하는 기법으로 제조업, 유통업, 보험업, 의료 및 교육 분야 등 많은 분야에 적용되고 있다. 의미 있는 연관성 규칙을 탐색하기 위한 흥미도 측도는 크게 객관적 흥미도 측도와 주관적 흥미도 측도, 그리고 의미론적 흥미도 측도로 분류할 수 있다. 이와는 별개로 기준 확인 또는 증거 지원과 관련된 측도들을 개발하기 위해 많은 시도가 있었으나 기준 확인 측도에 대한 연관성 평가 기준 조건 충족 여부나 기본적인 연관성 평가 측도인 지지도, 신뢰도, 그리고 향상도 등과의 관계는 아직 규명되지 않았다. 이에 본 논문에서는 가장 많이 활용되고 있는 비대칭적 기준 확인 측도에 대해 흥미도 측도의 기준에 대한 조건 충족 여부를 검토하는 동시에 기본적인 연관성 평가 측도들과의 관계를 수식을 통해 유도한 후, 예제를 통해 연관성 규칙의 관점에서 기준 확인 측도의 유용성을 살펴보았다. 그 결과, 본 논문에서 고려한 모든 기준 확인 측도들이 흥미도 측도의 기준에 대한 조건들을 모두 만족하였다. 또한 이들을 기본적인 연관성 평가 기준인 지지도, 신뢰도, 그리고 향상도와의 관계를 식을 통해 규명한 동시에 방향성과 행태적 해석 가능성을 예제를 통해 확인할 수 있었다. 특히 이들 측도 중에서 Kemeny와 Oppenheim이 제안한 측도와 Rips가 제안한 측도가 가장 바람직한 연관성 평가 기준으로 활용할 수 있다는 사실을 확인할 수 있었다.

데이터마이닝을 활용한 기업 R&D역량 특성에 관한 탐색 연구 (A Study on the Characteristics of Enterprise R&D Capabilities Using Data Mining)

  • 김상국;임정선;박완
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.1-21
    • /
    • 2021
  • 글로벌 경영환경 변화로 기술개발과 시장니즈의 불확실성이 커지고 기업 간 상호 경쟁이 심화되면서 개별 기업들의 연구개발 활동에 대한 관심과 요구가 증가하고 있다. 이러한 환경변화에 대응하기 위하여 연구개발 기업들은 설비투자에 더욱 신중을 가하면서 연구개발의 질적인 경쟁력을 제고시키기 위한 수단 중 하나로 연구개발 투자를 강화하고 있다. 결과적으로 설비나 연구개발 투자 요소는 연구개발 기업들의 입장에서는 미래 불확실성을 떠안아야하는 부담이 될 수 밖에 없다. 단지 연구개발 역량을 제고시키기 위한 수단으로 연구개발 투자를 증가시키는 경영 전략은 기업성과측면에서 불확실성이 높은 것이 사실이다. 본 연구에서는 데이터마이닝 기법을 활용하여 기업들의 연구개발 역량에 영향을 주는 특성들을 기술경영능력, 연구개발능력, 그리고 기업분류 속성 관점에서 탐색하고 이러한 개별 요인들이 연구개발 역량의 수준에 따라 나타나는 특성들을 탐색하였다. 이를 위해서 국내 연구개발 기업 전체를 대상으로 증거데이터에 근거해 군집분석과 실험결과를 제시하였다. 상기의 3개 관점마다 세부 평가지표를 각각 7개, 2개, 4개로 구성하여 해당 영역에서의 개별적인 수준을 정량적으로 측정하고자 하였다. 기술경영능력과 연구개발능력의 경우 현행 기술력 평가기관들이 주도적으로 활용하고 있는 소항목 평가지표를 참조하였으며, 이때 정량적으로 자료 확보가능한지 여부를 고려하여 최종적인 세부 평가지표를 새롭게 구성하였다. 기업분류 속성의 경우에는 가장 기본적인 기업 분류 프로파일 정보를 고려하여 구성하였다. 특히 연구개발 역량수준의 동질성 파악을 위해서 기술경영능력과 연구개발능력의 세부평가지표를 활용하여 개별기업별 종합점수를 부여하였으며, 이때 역량수준을 5개의 등급으로 분류하여 군집분석 결과와 비교하였다. 분석된 군집과 역량수준 등급과의 비교평가에 따른 의미를 부여하기 위해서 군집별로 연구개발 역량수준이 높은 경향과 낮은 경향이 존재하는 군집들을 탐색하였다. 이후 해당 군집에서 세부 평가지표에 따른 특징들을 분석하였다. 이와 같은 연구수행 방법을 통해 연구 개발 역량수준이 높은 군집이 2개, 낮은 군집이 1개로 분석되었으며, 나머지 2개의 군집들은 역량수준이 거의 높은 발생 빈도로 유사하게 나타났다. 결과적으로 본 연구에서는 역량수준이 높은 2개 군집과 낮은 1개의 군집들을 대상으로 세부 평가지표에 따른 개별적 특징들을 분석하였다. 본 연구의 결과가 제시하고 있는 시사점은 기술변화 속도와 시장수요의 변화에 효과적으로 대응할 수 있는 전문 경영자의 교체주기가 빠를수록 연구개발 역량 제고에 기여할 가능성이 높다는 점이다. 개인기업의 경우에 법인기업으로의 전환을 통해 연구개발 인력들의 기업에 대한 소속감을 제고시킴으로써 연구개발 역량의 투입강도를 높일 필요가 있으며, 조직적 측면에서도 팀단위의 조직구성을 통해 책임과 권한의 정확성을 제공할 필요가 있다는 점이다. 기술상용화 실적건수나 기술인증건수는 역량제고에 기여하는 경우와 그렇지 않은 경우 모두 발생되고 있어, 경영자 입장에서 연구개발 역량제고를 위한 중요 인자로 검토하는데 한계가 있는 것으로 확인되었다. 마지막으로 실용신안출원의 경험 여부는 연구개발 역량에 중요한 영향을 미치는 요인으로 파악되어, 연구개발 역량 제고를 위해서는 실용신안출원 장려를 위한 동기부여를 제공할 필요성을 확인하였다. 이처럼 본 연구결과는 개별 기업들의 연구개발 역량 제고를 위한 기업 경영전략의 중요한 시사점을 제공할 수 있을 것으로 기대된다.

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

반복적 대화식 통합 탄성파 속도분석 (An Iterative, Interactive and Unified Seismic Velocity Analysis)

  • 서상용;정부흥;장성형
    • 지구물리와물리탐사
    • /
    • 제2권1호
    • /
    • pp.26-32
    • /
    • 1999
  • 탄성파 속도분석법은 일괄식 속도분석법과 대화식 속도 분석등 두 가지가 있다. 일괄식 속도분석법에서는 각 속도 분석점마다 셈블런스 컨투어, 슈퍼게더 및 중합 패널등을 일괄 작성하여 도면화 시킨 후 분석자가 그 도면을 보고 속도 함수를 결정하는 방법이다. 과거 유행한 전산처리 소프트웨어들이 이 방법을 사용하고 있다. 그러나 이 방법은 도면 분석시 아주 많은 수작업이 필요하고 속도분석 결과도 정밀치 못하다는 단점이 있다. 최근에는 워크스테이션의 고속 그래픽 기능을 이용한 대화식 속도분석 기술이 개발되었다. 그런데 이들 프로그램은 기존 일괄식 속도분석법과 대동소이한 내용을 그래픽 화면으로 처리할 수 있도록 함으로써 종이 절약 외에는 특별히 나아진 것이 없다. 프로그램의 주 기능은 속도 스펙트럼에서 속도점 노드를 선택하는 것이며, 입력자료에 있을 수 있는 잡음을 제거하여 다시 속도 스펙트럼을 수정하는 기능은 없다. 잡음의 제거없이 계산한 부정확한 속도 스펙트럼을 이용해서 속도 함수를 선정한다면 정밀 속도분석은 불가능할 것이다. 방대한 탄성파 탐사자료에 대한 속도분석을 신속 정확하게 수행하기 위해서는 속도 분석과 밀접한 관련이 있는 전산처리 공정들 즉, 슈퍼게더 조립, 셈블런스 계산, 동보정, 뮤트, 중합등을 동시에 지원하는 통합된 반복적 대화식 속도분석 프로그램이 필요하다. 분석 구간의 속도와 뮤트함수를 변화시켰을 때 그로부터 얻어지는 셈블런스와 동보정 및 중합을 검토하고 이러한 수정과 검토를 신속히 반복할 수 있도록 함으로써 정확한 속도분석이 가능하기 때문이다. 여기에서는 속도분석을 신속 정확하게 수행하기 위해 속도 분석과 밀접한 관련이 있는 전산처리 공정들 즉, 슈퍼게더 조립, 셈블런스 계산, 동보정, 뮤트, 중합등을 동시에 지원하는 대화식 속도분석 프로그램 xva를 작성하였다. 대화식 속도분석에서는 분석 구간의 트레이스들을 고속으로 참조해야 하는데 이를 위해 간단한 트레이스 인덱스 파일을 설계하여 사용하였다. 직접파와 굴절파등 천부 잡음을 제거하기 위한 효과적인 수단인 뮤트 함수 영역 변환법을 새로 고안하였으며, 본 프로그램은 이 기법을 이용하고 있다. 본 영 역 변환법은 기존 알려진 역동보정법과 같이 정밀 전산처리가 가능할 뿐만 아니라 동보정과 역동보정시 발생하는 자료의 내삽 오차가 없으며 계산 시간이 크게 단축되기 때문에 정밀 대화식 속도 분석에 사용 가능하다. 프로그램 xva는 28개의 소스 파일로 구성된 패키지인데 줄 수는 12,029, 단어 수는 34,990, 글자 수는 304,073이다. 프로그램 xva는 X-Window와 Motif 환경하에서 작동한다. 프로그램 메뉴는 Motif 표준 스타일에 따라 작성하였는 바 그 사용법을 간략히 기술하였다. 본 프로그램이 완성됨으로 인하여 정밀 탄성파 속도 분석이 가능하게 되었고 그 결과 가스층의 존재 여부를 직접 확인할 수 있는 AVO(Amplitude Versus Offset)단면도등의 제작에 활용할 수 있었다.

  • PDF

사용자 리뷰의 평가기준 별 이슈 식별 방법론: 호텔 리뷰 사이트를 중심으로 (Methodology for Identifying Issues of User Reviews from the Perspective of Evaluation Criteria: Focus on a Hotel Information Site)

  • 변성호;이동훈;김남규
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.23-43
    • /
    • 2016
  • 최근 IT기술의 발전에 따라 많은 사람들이 자신들의 여가활동에 대한 경험을 공유하고 있으며, 역으로 다른 사람들의 여가활동에 대한 경험을 참고하여 더 나은 여가활동을 누릴 수 있는 기회를 얻게 되었다. 이러한 현상은 영화, 숙박, 음식, 여행 등 여가활동 전반에 걸쳐 나타나고 있으며, 그 중심에는 여가활동에 대한 정보를 요약하여 제공하는 수많은 사이트가 있다. 대부분의 여가활동 정보 사이트는 각 상품에 대한 평균 평점뿐만 아니라 상세 리뷰를 제공함으로써, 해당 상품을 구매하고자 하는 잠재고객의 의사결정을 지원하고 있다. 하지만 기존 대부분의 사이트는 한 단계의 평가기준에 따라 평점과 리뷰를 제공하기 때문에, 각 평가기준을 구성하는 세부요소에 대한 특징과 평가기준 별 주요 이슈를 파악하기 위해서는 상당히 많은 수의 리뷰를 직접 읽어야 한다는 불편이 따른다. 즉 사용자는 자신이 중요한 것으로 생각하는 평가기준에 대한 조건을 파악하기 위해, 많은 수의 리뷰를 하나하나 읽어보는 과정에서 많은 시간과 노력을 소비하게 된다. 예를 들어 호텔의 접근성, 객실, 서비스, 음식 등 한 단계의 평가기준만을 사용하여 평점과 리뷰를 제공하는 사이트의 경우, 접근성 중 특히 지하철역과의 거리, 객실 중 특히 욕실의 상태를 살펴보고자 하는 사용자에게 필요한 정보를 충분히 제공하지 못하게 된다. 따라서 본 연구에서는 기존 여가활동 정보 사이트의 한계, 즉 평가기준별로 입력된 리뷰를 신뢰하기 어렵다는 점과 평가기준을 구성하고 있는 세부 내용을 파악하기 어렵다는 점을 극복하기 위한 방안을 제시하고자 한다. 본 연구에서 제안하는 방법론은 사용자가 별도의 구분 없이 입력한 리뷰를 그 내용에 따라 평가기준별로 자동 분류하고, 각 평가 기준 별 주요 이슈를 요약하여 제공한다. 제안 방법론은 최근 텍스트 분석에 활발하게 사용되고 있는 토픽 모델링(Topic Modeling)에 기반을 두고 있으며, 각 리뷰를 하나의 문서 단위로 사용하는 것이 아니라 리뷰를 문장 단위로 끊어 개별 리뷰 유닛(Review Unit)으로 분해한 뒤, 평가기준별로 리뷰 유닛을 재구성하여 분석한다는 측면에서 기존의 토픽 모델링 기반 연구와 큰 차이가 있다고 할 수 있다. 본 논문에서는 제안 방법론을 실제 호텔 정보 사이트에서 수집한 423건의 리뷰 문서에 적용하여 6가지 평가기준에 대해 총 4,860건의 리뷰 유닛을 재구성하고, 이에 대한 분석 결과를 소개함으로써 제안 방법론의 유용성을 간접적으로 보인다.