• 제목/요약/키워드: incremental data learning

검색결과 71건 처리시간 0.023초

점진적 빅데이터 학습기반의 전자저널 구독가치 큐레이션 서비스 (Journal Subscription Value Curation Service Based on Incremental Big Data Learning)

  • 이정원;진성일
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.409-410
    • /
    • 2019
  • 점진적 빅데이터 학습 기반의 전자저널 구독가치 큐레이션 서비스는 대용량의 학술정보 처리환경을 하드웨어 기반에서 소프트웨어 기반으로 데이터를 학습함에 있어 학습 소요시간 및 메모리 부족 문제 등을 해결하기 위해 널리 사용하는 자질축소 기법에 의존하지 않고 대량의 데이터를 자유롭게 학습하고 증분 데이터 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법이다. 학술정보의 논문요약과 참고문헌의 데이터 수집 정제 분류 저장 분석을 통해 활용할 수 있는 지표를 생성하여 도서관 학교 공공기관 연구기관 등에 제공하여 기관에서 구독하고 있는 학술지가 연구에 얼마나 활용되고 있는지를 판단하는 정보 가용성을 활용한 양질의 정보원을 확보하여 불필요한 저널 구독을 중단하고 연구자가 요구하는 품질 좋은 학술정보를 제공할 수 있는 서비스로 일반적인 학술문헌 이용도 평가방법과 달리 구독 가치에 대한 지표를 제공하는 큐레이팅 방법이다.

  • PDF

효율적인 문헌 분류를 위한 시계열 기반 데이터 집합 선정 기법 (Time-Series based Dataset Selection Method for Effective Text Classification)

  • 채영훈;정도헌
    • 한국콘텐츠학회논문지
    • /
    • 제17권1호
    • /
    • pp.39-49
    • /
    • 2017
  • 인터넷 기술이 발전함에 따라 온라인상의 데이터는 급격하게 증가하고 있고, 증가하는 데이터에 대해 점진적인 기계학습 기법을 통해 효율적으로 학습하기 위한 연구가 진행되고 있다. 온라인상의 문서는 대부분 게시일, 출판일과 같은 시계열적 정보를 포함하고 있고, 이를 분류에 반영한다면 효율적인 분류가 가능할 것이다. 본 연구에서는 웹 문서상에서 나타나는 어휘의 시계열적 변화를 분석하였고, 분석한 시계열 정보를 기반으로 데이터 집합을 분할하여 효율적인 분류 학습 기법을 제안한다. 실험 및 검증을 위해 온라인상의 뉴스 기사 100만 건을 시계열 정보를 포함하여 수집하였다. 수집된 데이터를 바탕으로 데이터 집합을 분할하여 $Na{\ddot{i}}ve$ Bayes 및 SVM 분류기를 사용하여 실험을 진행하였고, 각 모델에서 전체 데이터 집합 학습 대비 최대 2.02% 포인트, 2.32% 포인트의 성능 향상을 확인하였다. 본 연구를 통해 시계열적 어휘의 변화를 분류에 반영하여 분류의 성능을 향상시킬 수 있음을 확인하였다.

지역적 컨셉트 적응형 IOLIN시스템을 사용한 데이터 스트림의 분류 (Data Streams classification using Local Concept-adapted IOLIN System)

  • 김재우;송재원;이주홍
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권1호
    • /
    • pp.37-44
    • /
    • 2008
  • 데이터 스트림은 시간이 경과함에 따라서 데이터의 패턴이 변화하는 특성이 있다. 데이터 스트림에 내재되어 있는 이러한 특성 (컨셉트 변화)은 분류 모델의 예측 성능을 감소시킨다. CVFDT와 IOLIN은 점진적인 분류모델의 갱신을 통해 컨셉트 변화를 해결하고자 하였다. 그러나 이러한 방법들은 작은 패턴의 변화가 전체 분류 결과에 영향을 주는 지역적 컨셉트 변화를 식별하지 못함으로써 모델을 재 구축하는 단점이 있다. 본 논문은 컨셉트변화 발생 시 지역적 컨셉트 변화를 찾음으로써 시스템의 예측성능을 향상시키는 적응형 IOLIN을 제안한다. 실험 결과는 제안 기법인 적응형 IOLIN기법이 IOLIN기법에 비해 정확률에서 약 2.8%, CVFDT기법보다 약 11.2%정도 우수하였다.

  • PDF

일화 재인 기억에서 강화에 근거한 의사결정 준거 학습의 특성 개인차 연구 (Trait individual difference of reinforcement-based decision criterial learning during episodic recognition judgments)

  • 한상훈
    • 인지과학
    • /
    • 제20권3호
    • /
    • pp.357-381
    • /
    • 2009
  • 이전의 연구들이 외부 피드백 정보에 대한 반응민감도에 성격특성적 개인차가 반영된다는 사실을 밝힌바 있지만, 재인기억과 관련한 의사결정에서 이러한 기질 혹은 특성적 개인차가 어떻게 관여하는지는 아직 알려진 바가 없다. 본 연구는 재인기억 과제에서 피드백에 근거한 의사결정 준거의 순응적 변화정도와 피드백에 대한 일반적 반응민감도의 개인차간 관계를 살펴보았다. 통제 조건인 실험 1에서는 올바른 피드백 조건이 의사결정 준거의 유동성에 영향을 미치지 않음을 보인 반면 피드백 조작이 이루어진 실험 2에서는 확신도가 높은 오기억 반응에만 선택적으로 편향된 피드백이 주어졌음에도 전반적인 Old/New 반응 범주의 결정준거 또한 순응적으로 이동함이 나타났다. 보다 중요하게 이 피드백에 근거한 의사결정 준거 학습에 나타나는 개별 피험자들의 반응민감도 차이가 강화 추구 혹은 불안 회피와 밀접하게 관련된 안정적 성격(Behavioral Activation System-BAS 혹은Behavioral Inhibition System-BIS)의 개인차에 의해 유의미하게 예측될 수 있음이 나타났다. 이러한 결과는 그동안 외현적인 재인 기억 의사 결정에 있어서 중요하게 여기지 않았던 점증적 강화학습 기제가 결정 준거의 설정에 관여할 수 있음을 보여준다는 데에서 중요한 의미를 찾을 수 있다.

  • PDF

점진적 개념학습의 클러스터 응집도 개선 (The Study on Improvement of Cohesion of Clustering in Incremental Concept Learning)

  • 백혜정;박영택
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.297-304
    • /
    • 2003
  • 요즘, 인터넷 등장 이후 폭발적으로 증대되는 웹 정보를 효율적으로 사용하기 위한 시스템들이 요구되고 있다. 이러한 요구를 해결하기 위해 개발된 시스템들은 서비스 정보의 질을 향상시키기 위하여 클러스터링 기법을 이용하고 있다. 클러스터링은 무질서한 데이터들의 상호 연관관계를 정의하고 이를 통하여 보다 체계적으로 데이터를 군집화하는 것이다. 클러스터링을 이용한 시스템은 비슷한 내용을 묶어 사용자에게 제공함으로, 사용자는 보다 효율적으로 정보를 파악할 수 있다. 그래서 이전 연구에서 대량의 데이터를 효율적으로 클러스터링 하기 위하여 통합 클러스터링 방식을 제안하였다. 이 방식은 COBWEB 알고리즘을 이용하여 초기 클러스터를 생성한 후 Etzioni 알고리즘을 이용하여 클러스터링을 생성하는 방식이다. 본 논문은 이러한 기존의 통합 클러스터링 방식의 정확성과 효율성을 높이기 위하여, 다음 두 가지 방식을 제안한다. 첫째, 클러스터할 데이터의 속성의 가중치클 고려한 클러스터링 방식을 제안한다. 둘째, 기존의 클러스터링 방식의 효율성을 지원하기 위하여, 초기 클러스터를 생성하는 평가 함수를 재정의한다. 본 논문에서 제안하는 클러스터링 방식은 방대한 양의 데이터를 효율적으로 처리 할 수 있으며 데이터의 입력 순서의 의존도를 줄여, 데이터를 효과적으로 클러스터, 양질의 사용자 프로파일 구축에 도움을 주게 된다.

수정된 커널 주성분 분석 기법의 분류 문제에의 적용 (Modified Kernel PCA Applied To Classification Problem)

  • 김병주;심주용;황창하;김일곤
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.243-248
    • /
    • 2003
  • 본 논문에서는 학습 자료로부터 비선형 특징추출과 분류를 위한 점진적인 커널 주성분 분석 방법(IKPCA)을 제안한다. 일괄처리 방식의 커널 주성분 분석 방법은 학습 자료의 크기가 클 경우 과도한 계산량이 문제가 된다. 또한 새로 추가 되는 학습 자료가 있을 경우 고유벡터를 계산하기 위해 고유공간 전체를 다시 계산해야 하는 문제점이 있다. IKPCA는 이러한 문제점들을 고유공간 모델의 점진적인 계산과 경험 커널사상에 의해 해결하였다. IKPCA는 일괄처리방식의 커널 주성분 분석에 비해 기억공간 요구량에 있어 효율적이며 학습 자료의 재학습에 의해 성능을 쉽게 향상시킬 수 있다. 비선형 자료에 대한 실험을 통해 IKPCA는 일괄처리방식의 커널 주성분 분석 방법에 비해 특징추출과 분류 문제의 성능에 있어 유사한 결과를 나타내었다.

Interaction Effects of Lay Theories and Failure Type on Adaptive versus Compensatory Consumption Behavior

  • Choi, Nak-Hwan;Wang, Li;Chen, Chang
    • 산경연구논집
    • /
    • 제9권7호
    • /
    • pp.19-32
    • /
    • 2018
  • Purpose - This paper aims at exploring the effects of failure types such as failure in promotion orientation and failure in prevention orientation on consumers' consumption behavior, and the moderation role of lay theories in the effects. Research design, data, and methodology - This study employed 2 between-subject designs(failure in promotion orientation vs. failure in prevention orientation) and also 2 (failure in promotion orientation vs. failure in prevention orientation) with implicit self as the within-subject. Chinese consumers participated in the empirical study, and to verify the hypotheses ANOVA, T-test and regression analysis were used. Results - Consumers were more likely to choose adaptive consumption behavior rather than compensatory consumption behavior when they were encountered with failure in promotion orientation versus failure in prevention orientation. Lay theories did play the moderation role in the effect of failure types on consumption behavior. The incremental theorists who think that effort is an important way to accomplish their learning goals showed more willingness to conduct compensatory consumption behavior rather than adaptive consumption behavior. Conclusions - Marketers should put more attention on the ways by which their products can help consumers self-improve when consumers encounter with failure. They should also be aware of the importance of consumers' mindsets when designing and developing advertising messages.

IoT 스트리밍 센서 데이터에 기반한 실시간 PM10 농도 예측 LSTM 모델 (Real-time PM10 Concentration Prediction LSTM Model based on IoT Streaming Sensor data)

  • 김삼근;오택일
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.310-318
    • /
    • 2018
  • 최근 사물인터넷(IoT)의 등장으로 인터넷에 연결된 다양한 기기들에 의해 대규모의 데이터가 생성됨에 따라 빅데이터 분석의 중요성이 증가하고 있다. 특히 실시간으로 생성되는 대규모의 IoT 스트리밍 센서 데이터를 분석하여 새로운 의미 있는 미래 예측을 통해 다양한 서비스를 제공하는 것이 필요하게 되었다. 본 논문은 AWS를 활용하여 IoT 센서로부터 생성되는 스트리밍 데이터에 기반하여 실시간 실내 PM10 농도 예측 LSTM 모델을 제안한다. 또한 제안 모델에 따른 실시간 실내 PM10 농도 예측 서비스를 구축한다. 논문에 사용된 데이터는 PM10 IoT 센서로부터 24시간 동안 수집된 스트리밍 데이터이다. 이를 LSTM의 입력 데이터로 사용하기 위해 PM10 시계열 데이터로부터 30개의 연속된 값으로 이루어진 시퀀스 데이터로 변환한다. LSTM 모델은 바로 인접한 공간으로 이동해 가는 슬라이딩 윈도우 프로세스를 통하여 학습한다. 또한 모델의 성능 개선을 위해 24시간마다 수집한 스트리밍 데이터에 대해 점진적 학습 방법을 적용한다. 제안한 LSTM 모델의 성능을 평가하기 위해 선형회귀 모델 및 순환형 신경망(RNN) 모델과 비교한다. 실험 결과는 제안한 LSTM 예측 모델이 선형 회귀보다 700%, RNN 모델보다는 140% 성능 개선이 있음을 보여주었다.

능동형 모델 개선 피드백 기술을 활용한 보안관제 시스템 성능 개선 방안 (SIEM System Performance Enhancement Mechanism Using Active Model Improvement Feedback Technology)

  • 신윤섭;조인준
    • 한국콘텐츠학회논문지
    • /
    • 제21권12호
    • /
    • pp.896-905
    • /
    • 2021
  • 인공지능 기반 보안관제 시스템은 운영환경에서 발생할 수 있는 학습 데이터 오류, 신규 공격 이벤트 발생으로 인한 오탐 증가 등 문제를 해결하기 위해 피드백 기능이 연구되고 있다. 그러나 한정된 관제 인력의 피드백 수행 방식은 모델 개선에 오랜 시간이 걸리고 숙련되지 않은 관제 인력의 피드백은 오히려 모델 성능 저하의 원인이 될 수 있다. 본 논문에서는 관제 인력 한계 극복, 신규 오탐 개선, 빠른 모델 성능 향상을 위한 능동형 보안관제 모델 개선 프로세스를 제안하였다. 운영 중 예측된 유사 이벤트를 군집화 하고, 피드백이 우선적으로 필요한 군집을 계산하여 운영자에게 대표 이벤트 설명이 가능한 인공지능(eXplainable AI) 기반 시각화도 함께 제시하였다. 수신된 대표 피드백은 동일 군집과 다른 데이터를 계산하여 제외하고 피드백 전파 학습 데이터를 생성한다. 준비된 학습 데이터는 초기 모델과 함께 점진적 학습을 통해 모델을 생성함으로써 성능을 향상시키는 프로세스이다. 제안 프로세스의 실효성 검증을 위해 웹 어플리케이션 방화벽 데이터셋 PKDD2007과 CSIC2012를 선택하여 3개의 시나리오를 통해 실험을 진행하였다. 실험 결과 제안된 프로세스는 피드백을 주지 않았거나 소수 운영자 피드백을 적용한 모델 성능에 비해 모든 지표에서 약 30% 이상의 성능 향상을 확인하였다.

H.264 압축과 SVDD를 이용한 영상 감시 시스템에서의 비정상 집단행동 탐지 (Abnormal Crowd Behavior Detection via H.264 Compression and SVDD in Video Surveillance System)

  • 오승근;이종욱;정용화;박대희
    • 정보보호학회논문지
    • /
    • 제21권6호
    • /
    • pp.183-190
    • /
    • 2011
  • 감시카메라 환경에서 군중의 비정상 집단행동 탐지란 감시카메라로부터 유입되는 영상에서 다중 객체가 위험에 처한 상황을 신속하고 정확하게 탐지하는 분야를 말한다. 본 논문에서는 CCTV 등과 같은 감시카메라 환경에서 움직임 벡터와 SVDD를 이용하여 집단내의 비정상 상황을 탐지하는 프로토타입 시스템을 제안한다. 제안된 시스템은 H.264 압축과정에서의 움직임 벡터 정보를 이용하여 영상내의 움직임 정보를 추출 표현하였으며, 비정상 집단행동의 판별 문제를 실용적 차원의 단일 클래스 분류 문제로 재해석하여 단일 클래스 SVM의 대표적 모델인 SVDD를 탐지기로 설계하였다. 제안된 시스템은 H.264 압축 과정에서 얻어지는 움직임 벡터를 이용함으로써, 실시간성을 보장하며 SVDD의 점증적 갱신 학습 능력으로 인하여 비정상 집단행동 데이터베이스의 변화에도 능동적으로 적응할 수 있다. 공개적으로 사용 가능한 벤치마크 데이터 셋인 PETS 2009와 UMN을 이용하여 본 논문에서 제안한 비정상 집단행동 탐지 시스템의 성능을 실험적으로 검증한다.