• 제목/요약/키워드: Adaptive data processing

검색결과 392건 처리시간 0.028초

가중 문맥벡터와 X-means 방법을 이용한 변형 다의어스킵그램 (Modified multi-sense skip-gram using weighted context and x-means)

  • 정현우;이은령
    • 응용통계연구
    • /
    • 제34권3호
    • /
    • pp.389-399
    • /
    • 2021
  • 최근 자연어 처리 문제에서의 단어 임베딩은 아주 큰 주목을 받고 있는 연구 주제이며 스킵그램은 성공적인 단어 임베딩 기법 중 하나이다. 주변단어들 정보를 이용해서 단어들의 의미를 학습하여 단어 임베딩 벡터를 할당하며 텍스트 자료를 효과적으로 분석할 수 있게 한다. 그러나 벡터 공간 모델의 한계로 인해 기본적인 단어 임베딩 방법들은 모든 단어가 하나의 의미를 가지고 있다는 것을 가정한다. 다의어, 즉 하나 이상의 의미를 가진 단어가 실생활에서 존재 하기 때문에 Neelakantan 등 (2014)은 군집분석 기법을 이용하여 다의어의 여러 의미들에 해당하는 의미 임베딩 벡터를 찾기 위해 MSSG (multi-sense skip-gram)를 제안했다. 본 논문에서는 MSSG의 통계적 성능을 개선시킬 수 있는 변형된 MSSG 방법을 제안한다. 먼저, 가중치를 활용한 가중문맥 벡터를 제안한다. 나아가, 군집의 수, 즉 다의어의 의미 수를 자료에서 자동적으로 추정해주는 x-means 방법을 활용한 알고리즘을 제안한다. 본 논문에서 수행한 실증자료를 기반한 모의실험에서 제안한 방법은 기존 방법에 비해 우수한 성능을 보여주었다.

컴퓨팅 사고 교육 게임 데이터를 사용한 게임 점수 예측 모델 성능 비교 연구 (A Comparative Study on Game-Score Prediction Models Using Compuational Thinking Education Game Data)

  • 양영욱
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권11호
    • /
    • pp.529-534
    • /
    • 2021
  • 컴퓨팅 사고는 21세기에 필요한 중요한 소양 중 하나로 여겨지면서 여러 국가에서 컴퓨팅 사고 교육 과정을 도입하여 시행하고 있다. 컴퓨팅 사고 교육 방법 중 교육용 게임 기반 방법은 학생들의 참여와 동기를 증대시키고 컴퓨팅 사고에 대한 접근성을 높여준다. Autothinking은 학습자들에게 컴퓨팅 사고 교육을 제공하기 위한 목적으로 개발한 교육용 게임으로 학습자들에게 동적으로 피드백을 제공하고, 학습자의 컴퓨팅 사고 능력에 따라서 난이도를 자동으로 조절하는 적응적 시스템이다. 하지만 규칙기반으로 게임을 디자인하여 지능적으로 학습자들의 컴퓨팅 사고를 고려하거나 피드백을 주지 못한다. 본 연구에서는 Autothikning을 통해 수집한 게임 데이터를 소개하고, 이를 활용하여 해당 게임의 적응성을 높이기 위해 컴퓨팅 사고를 반영하는 게임 점수의 예측을 수행한다. 이 문제를 해결하기 위해 회귀 문제에 가장 많이 사용되는 선형 회귀, 결정 트리, 렌덤 포레스트, 서포트 벡터 머신 알고리즘에 대한 비교연구를 수행하였다. 연구 수행결과 선형회귀 방법이 게임 점수 예측에 가장 좋은 성능을 보여주었다.

공유 디스크 클러스터에서 친화도 기반 동적 트랜잭션 라우팅 (Affinity-based Dynamic Transaction Routing in a Shared Disk Cluster)

  • 온경오;조행래
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권6호
    • /
    • pp.629-640
    • /
    • 2003
  • 공유 디스크(Shared Disks: SD) 클러스터는 온라인 트랜잭션 처리를 위해 다수 개의 컴퓨터를 연동하는 방식으로, 각 노드들은 디스크 계층에서 데이타베이스를 공유한다. SD 클러스터에서 트랜잭션 라우팅은 사용자가 요청한 트랜잭션을 실행할 노드를 결정하는 것을 의미한다. 이때, 동일한 클래스에 속하는 트랜잭션들을 가급적 동일한 노드에서 실행시킴으로써 지역 참조성을 극대화할 수 있으며, 이를 친화도 기반 라우팅이라 한다. 그러나 친화도 기반 라우팅은 트랜잭션 클래스의 부하 변화에 적절히 대처할 수 없으며, 특정 트랜잭션 클래스가 폭주할 경우 해당 노드는 과부하 상태에 빠질 수 있다는 단점을 갖는다. 본 논문에서는 친화도 기반 라우팅을 지원하면서 SD 클러스터를 구성하는 노드들의 부하를 동적으로 분산할 수 있는 동적 트랜잭션 라우팅 기법을 제안한다. 제안한 기법은 지역 버퍼에 대한 참조 지역성을 높이고 버퍼 무효화 오버헤드를 줄임으로써 시스템의 성능을 향상시킬 수 있다.

개선된 QIM과 SVM을 이용한 공격에 강인한 다중 오디오 워터마킹 알고리즘 개발 (Development of a Robust Multiple Audio Watermarking Using Improved Quantization Index Modulation and Support Vector Machine)

  • 서예진;조상진;정의필
    • 융합신호처리학회논문지
    • /
    • 제16권2호
    • /
    • pp.63-68
    • /
    • 2015
  • 본 논문에서는 신호의 파워에 따라 적응적 스텝 사이즈를 갖는 개선된 QIM(Quantization index modulation)과 SVM(Support vector machine) 디코딩 모델을 이용한 다중 오디오 워터마킹 알고리즘을 제안한다. 워터마크는 주파수 크기 응답과 주파수 위상 응답에 QIM을 이용하여 삽입한다. 이는 주파수 크기 응답과 위상 응답에 강인한 공격이 다르기 때문에 양쪽 모두 삽입하여 강인성을 보완하기 위해서이다. 검출시에는 SVM 디코딩 모델을 사용하여 검출된 워터마크가 워터마크로서의 기능이 애매모호한 경우를 개선하여 검출 비율을 향상시킨다. 강인성 검증을 위해 11개의 공격을 사용하였고 그 결과 SVM 디코딩 모델을 사용하지 않은 기존의 다중 오디오 워터마킹 방법보다 훨씬 우수한 성능을 보였다. 특히 PSNR은 최대 7dB의 개선 효과를, BER은 10%의 개선 효과를 보인 것은 주목할 만한 결과이다.

DMT 변조방식을 사용하는 ADSL에서의 최적 비트 할당 방식 연구 (A Study on Optimal Bit Loading Algorithms for Discrete MultiTone ADSL)

  • 이철우;박광철;윤기방;장수영;김기두
    • 대한전자공학회논문지TE
    • /
    • 제39권4호
    • /
    • pp.395-402
    • /
    • 2002
  • 기존의 전화망(PSTN)을 이용하여 고속 데이터 통신을 가능하게 하는 ADSL은 여러 종류의 변복조 방식을 갖고 있다. 이 중 대표적으로 CAP(Carrierless Amplitude Phase)와 DMT(Discrete MultiTone) 방식이 사용되며, 특히 성능이 더 우수한 DMT 방식이 복잡하다는 단점에도 불구하고 점차 우세해지고 있는 상황이다. DWT 변조 방식은 전송채널을 좁은 대역을 갖는 256개의 부채널로 분할함으로써 거리에 따른 감쇄와 잡음에 대한 적응력을 높인 변조 방식이다. 이 경우 각각의 부채널에 신호대 잡음비(SNR : Signal-to-Noise Ratio)에 따라 비트수를 할당하는 방식이 비트 오류율(BER : Bit Error Rate)과 데이터 속도를 결정하는 주요한 요인이 된다. 그러므로 전체 에너지와 전체 목표 비트수 그리고 BER의 임계값을 어떻게 설정하느냐에 따라 다양한 할당 방식이 제안될 수 있다. 그런데 기존에 발표된 비트 할당 방식은 대부분 정렬과정을 실행하도록 하고 있어 처리속도가 지연되는 단점이 있다. 본 논문에서는 수식과정의 반복을 줄이고 정렬과정을 생략한 새로운 비트 할당 방식을 제안하였다. 할당표(Look-UP Table)를 사용하고 전체 목표 비트수에 도달하기 위해 추가 할당되는 비트수를 단일 수식으로 적용함으로써 처리 속도를 크게 개선하였다. 새로 제안된 방식과 기존 방식을 비교함으로서 다양한 적용 환경에 따른 최적의 비트 할당 방식이 가능하다는 것을 시뮬레이션 결과를 통하여 제시하였다.

하이브리드 셋업을 이용한 에너지 효율적 센서 네트워크 클러스터링 (An Energy-Efficient Sensor Network Clustering Using the Hybrid Setup)

  • 민홍기
    • 융합신호처리학회논문지
    • /
    • 제12권1호
    • /
    • pp.38-43
    • /
    • 2011
  • 센서 네트워크에서 사용되는 동적 클러스터링 방식은 주기적으로 클러스터 구조가 바뀌는 셋업과정으로 인한 에너지 소모가 크다. 셋업과정은 보안적용을 해야 할 경우 보안 키가 주기적으로 재 생성되는 등 클러스터 구성 이외에 추가적인 에너지 낭비가 발생한다. 본 논문은 최초에 구성된 클러스터 알고리즘과 이후 반복적으로 발생되는 클러스터 재셋업 알고리즘을 달리하는 하이브리드 방식을 제안한다. 재 셋업에서는 고정된 클러스터 내에서 순환적으로 클러스터 헤드노드를 선출하는 순환적 클러스터 헤드선정(RRCH: Round-Robin Cluster Header)방식을 이용하여 에너지 소모를 줄인다. 보안키 생성 및 적용으로 추가되는 에너지 소모는 클러스터가 지속적으로 고정되기 때문에 최초 클러스터 형성 때 사전 배포하는 방식으로 해결된다. 본 논문에서 제안한 방식의 타당성을 확인하기 위해 모의실험을 실시하였다. 라운드 구간을 100번 반복하여 클러스터 구성과 데이터 전송을 포함한 전체 에너지 소모량을 측정하였다. 결과는 제안한 방식이 LEACH방식보다 평균 26.5%, HEED방식보다 평균 20% 적게 소모되는 것을 확인하였다.

고밀도 임펄스 잡음에 훼손된 영상 복원을 위한 적응형 가중치 필터 알고리즘 (Adaptive Weight Filter Algorithm for Restoration Images Corrupted by High Density Impulse Noise)

  • 천봉원;김남호
    • 한국정보통신학회논문지
    • /
    • 제26권10호
    • /
    • pp.1483-1489
    • /
    • 2022
  • 최근 4차 산업혁명의 영향과 통신매체의 발전으로 다양한 디지털 영상장비가 산업현장에서 사용되고 있다. 영상 데이터는 카메라와 센서로부터 취득되는 과정 및 송수신 과정에서 잡음에 훼손되기 쉬우며, 훼손된 영상은 시스템의 처리과정에 영향을 미치기 때문에 잡음제거가 필수적으로 선행되고 있다. 본 논문에서는 고밀도의 임펄스 잡음에 훼손된 영상을 복원하기 위해 가중치 그래프를 사용한 가중치 필터 알고리즘을 제안하였다. 제안한 알고리즘은 영상의 필터링 마스크 내부의 화소값을 사용하여 가중치 그래프를 구하였으며, 최종 가중치를 필터링 마스크에 적용하여 영상을 복원하였다. 제안하는 알고리즘의 잡음제거 성능을 분석하기 위해 시뮬레이션을 진행하였으며, 확대영상 및 PSNR을 사용하여 기존 방법과 비교하였다. 제안한 알고리즘의 결과 영상은 고밀도 임펄스 잡음을 제거하며 우수한 성능을 보였다.

추론한 데이타 타입을 이용한 질의 가능 XML 압축 (A Queriable XML Compression using Inferred Data Types)

  • 박명제;민준기;정진완
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권4호
    • /
    • pp.441-451
    • /
    • 2005
  • HTML은 데이타베이스와 같은 특수한 형태의 저장소 대신, 전형적인 파일 시스템에 저장되는 경우가 대부분이다. 이와 마찬가지로, 최근 인터넷 상에서의 데이타 교환 및 표현의 표준으로 부각되는 XML 역시 파일 시스템을 통하여 저장되는 경우가 현저하다. 하지만, XML 문서가 지니는 비정규적인 구조와 장황성 때문에, 디스크 공간이나 네트워크 상의 대역폭의 사용이 정규적인 구조를 지니는 데이터에 비해 크다. 이러한 XML 문서의 비효율성을 해결하고자, XML 문서의 압축에 관한 연구가 진행되었다. 최근에 연구된 XML 압축 기법들을 살펴보면, 압축된 XML 문서에 대한 질의를 전혀 지원하지 않거나, 질의를 지원하더라도 XML 문서 내의 데이타 값들의 특성을 고려하지 않고 단순히 기존의 압축 방법들을 적용하기 때문에 영역 질의를 지원하기 위해서는 압축의 일부를 복원해야 한다. 그 결과, 압축된 XML 문서에 대한 질의 성능이 저하되었다. 따라서, 본 연구에서는 압축된 XML 문서에 직접적이고 효율적인 질의를 지원하는 XML 압축 기법을 제안하고자 한다. XML 문서의 각 태그를 사전 압축 방법을 사용하여 압축하고자 하며, 태그 별로 데이타들의 타입을 추론하여 추론된 타입에 적절한 압축 방법을 사용하여 데이타 값들을 압축하고자 한다. 또한, 제안하는 압축 기법의 구현 및 성능 평가를 통하여, 구현한 XML 압축기가 실생활에 사용되는 XML 문서들을 효율적으로 압축하며 압축된 XML 문서에 대해 향상된 질의 성능을 제공하는 것을 보인다.

웹 로그에서의 Apriori 알고리즘 기반 사용자 액세스 패턴 발견 (User Access Patterns Discovery based on Apriori Algorithm under Web Logs)

  • 염종림;정석태
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.681-689
    • /
    • 2019
  • 웹 사용 패턴 발견은 웹 로그 데이터를 사용하는 고급 수단이며 웹 로그 데이터 마이닝에 데이터 마이닝 기술을 적용한 특정 응용이다. 교육 분야에서 데이터 마이닝 (DM)은 데이터 마이닝 기술을 교육 데이터 (대학의 웹 로그, e-러닝, 적응형 하이퍼미디어 및 지능형 튜터링시스템 등)에 적용한다. 따라서 교육 연구 문제를 해결하기 위해 이러한 유형의 데이터를 분석하는 것이 목표이다. 본 논문에서는 대학의 웹 로그 데이터가 데이터 마이닝의 연구 대상으로 사용되어 진다. 데이터베이스 OLAP 기술을 사용하여 웹 로그 데이터가 데이터 마이닝에 사용될 수 있는 데이터 형식으로 사전 처리되고 그 처리 결과가 MSSQL에 저장된다. 동시에 처리 된 웹 로그 레코드를 기반으로 기본 데이터 통계 및 분석이 완료된다. 또한 웹 사용 패턴 마이닝의 Apriori Algorithm 및 구현 프로세스를 소개하고 Python 개발 환경에서 Apriori Algorithm 프로그램을 개발했다. 그런 다음 Apriori Algorithm의 성능을 보이고 웹 사용자 액세스 패턴의 마이닝을 실현했다. 이 연구 결과는 교육 시스템 개발에 패턴을 적용하는데 중요한 이론적 의미를 갖는다. 다음 연구로는 분산 컴퓨팅 환경에서 Apriori Algorithm의 성능 향상을 연구하는 것이다.

초분광 표적 탐지를 위한 L2,1-norm Regression 기반 밴드 선택 기법 (Band Selection Using L2,1-norm Regression for Hyperspectral Target Detection)

  • 김주창;양유경;김준형;김준모
    • 대한원격탐사학회지
    • /
    • 제33권5_1호
    • /
    • pp.455-467
    • /
    • 2017
  • 초분광 영상을 이용한 표적 탐지를 수행할 때에는 인접한 분광 밴드의 중복성의 문제 및 고차원 데이터로 인해 발생하는 방대한 계산량의 문제점을 해결하기 위한 특징 추출 과정이 필수적이다. 본 연구는 기계 학습 분야의 특징 선택 기법을 초분광 밴드 선택에 적용하기 위해 $L_{2,1}$-norm regression 모델을 이용한 새로운 밴드 선택 기법을 제안하였으며, 제안한 밴드 선택 기법의 성능 분석을 위해 표적이 존재하는 초분광영상을 직접 촬영하고 이를 바탕으로 표적 탐지를 수행한 결과를 분석하였다. 350 nm~2500 nm 파장 대역에서 밴드 수를 164개에서 약 30~40개로 감소시켰을 때 Adaptive Cosine Estimator(ACE) 탐지 성능이 유지되거나 향상되는 결과를 보였다. 실험 결과를 통해 제안한 밴드 선택 기법이 초분광 영상에서 탐지에 효율적인 밴드를 추출해 내며, 이를 통해 성능의 감소 없이 데이터의 차원 감소를 수행할 수 있어 향후 실시간 표적 탐지 시스템의 처리 속도 향상에 도움을 줄 수 있을 것으로 보인다.