• 제목/요약/키워드: 빅데이터 마이닝

검색결과 452건 처리시간 0.029초

빅데이터 환경에서 텍스트마이닝 기법을 활용한 공공문서 분류체계의 적용사례 연구 (Case Study on Public Document Classification System That Utilizes Text-Mining Technique in BigData Environment)

  • 심장섭;이강욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.1085-1089
    • /
    • 2015
  • 과거의 텍스트마이닝기법은 텍스트 자체의 복잡성과 텍스트 내에 산재한 변수의 자유도 때문에 분석 알고리즘을 구현하는데 어려움이 있었다. 의미 있는 정보를 얻기 위하여 어렵게 알고리즘을 구현했다고 하더라도, 기계적으로 텍스트 분석에 소요되는 시간이 텍스트를 사람이 직접 읽어 분석 하는 것보다 많은 시간이 요구 되었다. 그러나 최근 하드웨어와 분석 알고리즘의 발전과 함께 빅데이터라는 기술이 등장하였으며, 앞에서 설명한 제약사항을 극복할 수 있게 되었고, 텍스트마이닝을 통한 분석이 현실세계에서 그 가치를 충분히 인정받고 있다. 만약, 텍스트의 탐색 수준에서 벗어나 마이닝을 통하여 분석이 가능하다면 텍스트 분석에 소비되는 인적, 물적 자원의 비용을 절감할 수 있기 때문에 공공분야에서 절실히 요구되는 창조적인 일에 더 많은 자원을 효과적으로 활용할 수 있을 것이다. 이에 본 논문에서는 인적 자원이 수작업으로 하는 공공분야 문서 분류의 결과값과 빅데이터 환경에서 텍스트마이닝기반의 문서내 단어 빈도수(TF-IDF)와 문서간 코사인 유사도(Cosine Similarity)를 활용한 공공분야 문서분류의 결과값을 비교하여 평가한다.

  • PDF

헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델 (Heterogeneous Lifelog Mining Model in Health Big-data Platform)

  • 강지수;정경용
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.75-80
    • /
    • 2018
  • 본 논문에서는 헬스 빅데이터 플랫폼에서 이기종 라이프로그 마이닝 모델을 제안한다. 이는 사용자의 라이프 로그를 실시간으로 수집하고 헬스케어 서비스를 제공하기 위한 온톨로지 기반의 마이닝 모델이다. 제안하는 방법은 이기종 라이프 로그 데이터를 분산처리하고, 클라우드 컴퓨팅 환경에서 실시간으로 처리한다. 이를 이기종 온톨로지를 기반으로 구성한 환경에 적합하도록 상위 온톨로지 방식으로 지식베이스를 재구성한다. 재구성한 지식베이스는 Jena 4.0 추론엔진을 이용해 추론 규칙들을 생성하고, 규칙 기반 추론 방법으로 실시간 헬스 서비스를 제공한다. 라이프로그 마이닝을 숨겨진 관계에 대한 분석과 시계열적 생체신호에 대한 예측모델을 구성한다. 이는 관계나 추론규칙에서 포함되지 않은 음의 상관관계나 양의 상관관계를 탐색하여 사용자의 생체신호에 대한 변화를 감지하고 예방 의료 서비스를 현실화하는 실시간 헬스케어 서비스가 가능하다. 성능 평가는 제안한 이기종 라이프로그 마이닝 모델 방법이 정확도에서 0.734, 재현율에서 0.752로 다른 모델에 비해 우수하게 나타난다.

빅데이터 분석을 활용한 콜라겐 키워드에 대한 패턴 (A Pattern Study on Keyword of the Collagen through Utilizing Big Data Analysis)

  • 유옥경;진찬용;남수태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.124-125
    • /
    • 2016
  • 빅데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 글로벌 리서치 기관들은 빅데이터를 2011년 이래로 최근 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅데이터의 적용을 통해 가치 창출을 위한 노력을 기울이고 있다. 본 연구에서는 다음 커뮤니케이션의 빅데이터 분석도구인 소셜 매트릭스를 활용하여 키워드 분석을 통해 콜라겐 키워드에 대한 의미를 분석하고자 한다. 또한 분석결과를 바탕으로 실무적 시사점을 제시하고자 한다.

  • PDF

빅데이터 분석 기반의 제품 평판 마이닝 알고리즘 (An algorithm for mining the reputation of a product based on big data analytics)

  • 박상민;박새빛;온병원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.420-423
    • /
    • 2016
  • 최근 여론조사 분야에서 빅데이터 분석 기법이 널리 활용되고 있다. 기업에서는 최근 출시된 제품에 대한 선호도를 조사하기 위해 기존의 설문조사나 전문가의 의견을 단순 취합하는 것이 아니라, 온라인상에 존재하는 다양한 종류의 데이터를 수집하고 분석하여 제품에 대한 대중의 기호를 정확히 파악할 수 있는 방안이 필요하다. 본 연구에서는 빅데이터로부터 제품의 평판을 자동으로 찾아내는 텍스트 마이닝 방안을 제안하고, 소나타 자동차를 중심으로 제안 방안의 효율성을 평가하고 실험 결과를 자세히 분석한다.

빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화 (Visualizing Unstructured Data using a Big Data Analytical Tool R Language)

  • 남수태;진금회;신성윤;진찬용
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.151-154
    • /
    • 2021
  • 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 또한 대부분의 빅데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 이에 해당된다. 그리고 빅데이터 분석 도구인 R언어를 이용하여 전-처리된 텍스트 데이터를 이용하여 다양한 시각화 함수를 통해 분석결과를 표현할 수 있다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 3월호 논문 21편을 대상으로 분석을 하였다. 최종 분석결과는 가장 많이 언급된 키워드는 "데이터"가 305회로 1위를 차지하였다. 따라서 이러한 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

  • PDF

패키징(Packaging) 분야에서의 빅데이터(Big data) 적용방안 연구 (Study on Application of Big Data in Packaging)

  • 강욱건;고의석;심원철;이학래;김재능
    • 한국포장학회지
    • /
    • 제23권3호
    • /
    • pp.201-209
    • /
    • 2017
  • 패키징 분야도 4차 산업혁명에 발 맞춰 IoT (Internet of Things), 빅데이터, 클라우드 및 소비자 기반 기술 등이 적용되어 스마트 패키징이 등장하고 있다. 정책, 예측, 마케팅, 디자인 등 다양한 분야에서 빅데이터 분석이 활용되고 있지만 패키징 분야에서의 연구는 아직 초보적 수준이다. 따라서 본 연구는 빅데이터를 패키징 분야에 적용하기 위해 선행연구과 관련서적을 통해 빅데이터의 정의와 연구에서 활용되는 데이터 수집, 저장, 분석방법을 정리하였고 패키징 분야에 적용할 수 있는 분석방법을 제시하였다. 오늘날 패키징 분야는 마케팅적 요소를 요구받고 있기 때문에 패키징에 대한 소비자의 인식을 파악할 필요가 있으며 빅데이터의 근원이 되는 5가지 데이터 중 사유데이터(private data)와 커뮤니티 데이터(community data)를 활용하여 소비자와 제품 간의 상호작용 분석하는데 활용하고자 한다. 패키징은 소비자의 관심을 끌기 위한 전략전인 도구로 사용되며 소비자의 구매위험을 줄이는 수단이 되기 때문에 패키징에 대한 소비자의 인식을 분석할 필요가 있다. 본 연구에서는 제품 개선을 위한 문제점 도출 과정에서 의미연결망 분석(Semantic Network Analysis)과 텍스트마이닝(Text mining)을 활용하여 제품을 구성하는 다양한 요소들을 파악하고 패키징 요소의 빈도분석을 거쳐 패키징의 영향력을 확인하는 방안과 저관여 제품을 대상으로 텍스트 마이닝(Text mining)과 오피니언 마이닝(Opinion Mining), 소셜 네트워크 분석(Social Network Analysis)을 통해 패키징에 대한 감정분석을 하여 동일한 제품군에서 소비자가 선호하는 패키징을 도출하는 방안을 제시하였다. 패키징은 제품을 구성하는 많은 요소들 중 하나이기 때문에 패키징이라는 단일 요소의 영향력을 파악하기란 쉽지 않지만 본 연구는 빅데이터를 활용하여 패키징에 대한 소비자의 인식과 감정을 분석하고 제품에서 패키징이 소비자에게 미치는 영향력을 분석할 수 있는 방안을 제시한 데 의의가 있다.

빅데이터를 활용한 폐교시설의 지표 개발에 관한 연구 -텍스트마이닝 기법을 중심으로- (A Study on the Development of the Use Index of Closed School Facilities Using Big Data -Focused on Text-Mining Techniques-)

  • 김재영;이종국
    • 교육녹색환경연구
    • /
    • 제18권2호
    • /
    • pp.1-11
    • /
    • 2019
  • 본 연구는 지속적으로 증가가 예상되는 폐교시설의 효율적인 활용을 위하여 활용지표의 개발을 통해 폐교 활용 시 객관적인 의사결정을 위한 목적을 가진다. 연구 단계는 크게 폐교 활용 예비지표 도출, 빅데이터를 활용한 최종지표 도출, 지표의 정량화 단계로 구분하여 진행하였으며, 최종적으로 지표를 정량화함으로써 객관화하였다. 향후 지표를 기준으로 시설에 적용 및 검증하고자 한다. 본 연구는 지금까지 폐교시설의 활용을 위한 계획 및 연구에 있어서 시도되지 않았던 빅데이터 분석기법을 적용한 것에 그 의의가 있다.

빅데이터 환경 분석과 글로벌 경쟁력 확보 방안에 대한 연구 (A Study on Securing Global Big Data Competitiveness based on its Environment Analysis)

  • 문승혁
    • 문화기술의 융합
    • /
    • 제5권2호
    • /
    • pp.361-366
    • /
    • 2019
  • 현대 지능정보사회에서 매일 새롭게 만들어지고 유통되는 데이터의 양은 상상을 초월한다. SNS나 인터넷을 통한 데이터로부터 정부나 기업으로부터 창출되는 정보에 이르기까지 다양하다. 이러한 다양한 데이터들이 가공되지 않은 원유와 같이 무한한 가치를 지닌 채 우리 곁에 있다. 축적된 데이터에서 유용한 상관관계를 찾아내고 미래의 불확실성에 대한 예측력을 강화하기 위하여 데이터 마이닝 등을 통한 빅데이터 분석 및 활용은 현대 산업사회에서 모든 영역에 걸쳐 그 중요성이 증대되고 있다. 본 논문에서는 복잡한 현대사회가 생산해 내는 빅데이터의 효율적 관리 및 활용에 대하여 연구한다. 또한 4차 산업혁명시대에 빅데이터를 기반으로 전반적인 산업 경쟁력을 확보하기 위한 전략, 산업 간 시너지 창출 및 비용의 절감과 효과적인 적용방안에 대하여 고찰한다.

빅데이터 마이닝을 위한 점진적 학습 기반 콘텐츠 큐레이션 시스템 설계 (Design of Contents Curation System Based on Incremental Learning Technology for Big Data Mining)

  • 민병원
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.421-422
    • /
    • 2017
  • 콘텐츠 큐레이션 서비스를 위해서 대용량 데이터를 학습하는 과정에서 발생하는 메모리부족 문제, 학습소요시간 문제 등을 해결하기 위한 "대용량 문서학습을 위한 동적학습 파이프라인 생성기술 중 빅데이터 마이닝을 위한 점진적 학습 모델" 기술이 필요하며, 본 논문에서 제안한 콘텐츠 큐레이션 서비스는 온라인상의 수많은 콘텐츠들 중 개인의 주관이나 관점에 따라 관련 콘텐츠들을 수집, 정리하고 편집하여 이용자와 관련이 있거나 좋아할 만한 콘텐츠를 제공하는 서비스이다. 큐레이션 서비스에서는 개인비서, 금융 분야의 투자, 자율주행, 저널리즘, 효율적인 업무 지시/감독, 제조업의 자동화 공정, 교육, 콘텐츠 유통, 학술정보 등에서 컴퓨터가 방대한 양의 데이터로 부터 학습하여 사람의 일을 대신 처리하거나 의사결정에 도움을 줌으로써 업무의 효율을 높여주는 서비스 산업에 활용이 가능하다.

  • PDF

빅 데이터기반 마이닝 마인즈 헬스케어 프레임워크

  • ;;;허태호;방재훈;강동욱;;;;이승룡
    • 정보와 통신
    • /
    • 제32권11호
    • /
    • pp.12-20
    • /
    • 2015
  • 최근 의학 기술이 눈부시게 발전함에 따라 사람들은 수명이 연장되고 삶의 질 향상에 많은 관심을 가지게 되었다. 더욱이 혁신적인 디지털 기술 발전과 함께 다양한 웨어러블 기기와 수많은 헬스케어 어플리케이션이 출시되고 있으며, 이들은 어떻게 하면 개인의 성향이나 체질에 잘 맞는 맞춤형 (개인화) 서비스를 제공할 수 있을 것인가에 관심을 두고 진화하고 있다. 따라서 IoT 환경의 일상생활에서 입력되는 센서 데이터의 수집, 처리, 가공 기술, 일상 행위 및 라이프 스타일 인지, 지식 획득 및 관리 기술, 개인화 추천서비스 제공, 프라이버시 및 보안을 통합적으로 지원할 수 있는 프레임워크 개발에 대한 요구가 증대되고 있다. 이에 본 고에서는 저자가 개발중인 개인 맞춤 건강 및 웰니스 서비스를 제공하는 마이닝 마인즈 프레임워크를 소개한다. 마이닝 마인즈는 현존하는 최신 기술의 집약체로 개인화, 큐레이션, 빅 데이터 처리, 클라우드 컴퓨팅의 활용, 다양한 센서 정보의 수집과 분석, 진화형 지식의 생성과 관리, UI/UX를 통한 습관화 유도 등 다양한 요소를 포함한다. 그리고 건강 및 웰니스 프레임워크 요구사항 분석을 통해 마이닝 마인즈가 이러한 요구를 충족시킬 수 있으며, 개발된 프로토타입을 통해 개인화 서비스의 발전 가능성을 입증하고 향후 나아가야 할 방향을 제시한다.