• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
• /
• pp.670-672
• /
• 2002

Park과 Zhang은 최대 엔트로피 모델(maximum entropy model)을 실제 자연언어 처리에 적용함에 있어서 나타날 수 있는 여러가지 문제를 해결하기 위한 최대 엔트로피 모델(maximum entropy boosting model)을 제시하여 문서 단위화(text chunking)에 성공적으로 적용하였다. 최대 엔트로피 부스팅 모델은 쉬운 모델링과 높은 성능을 보이는 장점을 가지고 있다. 본 논문에서는 최대 엔트로피 부스팅 모델을 영어 전치사 접속 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 아주 작은 노력을 들였음에도 84.3%의 성능을 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
• /
• pp.130-137
• /
• 2001

최대 엔트로피 모델(maximum entropy model)은 여러 가지 자연언어 문제를 학습하는데 성공적으로 적용되어 왔지만, 두 가지의 주요한 문제점을 가지고 있다. 그 첫번째 문제는 해당 언어에 대한 많은 사전 지식(prior knowledge)이 필요하다는 것이고, 두번째 문제는 계산량이 너무 많다는 것이다. 본 논문에서는 텍스트 단위화(text chunking)에 최대 엔트로피 모델을 적용하는 데 나타나는 이 문제점들을 해소하기 위해 새로운 방법을 제시한다. 사전 지식으로, 간단한 언어 모델로부터 쉽게 생성된 결정트리(decision tree)에서 자동적으로 만들어진 규칙을 사용한다. 따라서, 제시된 방법에서의 최대 엔트로피 모델은 결정트리를 보강하는 방법으로 간주될 수 있다. 계산론적 복잡도를 줄이기 위해서, 최대 엔트로피 모델을 학습할 때 일종의 능동 학습(active learning) 방법을 사용한다. 전체 학습 데이터가 아닌 일부분만을 사용함으로써 계산 비용은 크게 줄어 들 수 있다. 실험 결과, 제시된 방법으로 결정트리의 오류의 수가 반으로 줄었다. 대부분의 자연언어 데이터가 매우 불균형을 이루므로, 학습된 모델을 부스팅(boosting)으로 강화할 수 있다. 부스팅을 한 후 제시된 방법은 전문가에 의해 선택된 자질로 학습된 최대 엔트로피 모델보다 졸은 성능을 보이며 지금까지 보고된 기계 학습 알고리즘 중 가장 성능이 좋은 방법과 비슷한 성능을 보인다 텍스트 단위화가 일반적으로 전체 구문분석의 전 단계이고 이 단계에서의 오류가 다음 단계에서 복구될 수 없으므로 이 성능은 텍스트 단위화에서 매우 의미가 길다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.54-57
• /
• 2022

본 논문에서는 심층 신경망 기반 점진적 다계층 오디오 코덱의 비트 전송률 효율 향상을 위한 엔트로피 모델 기반 양자화 방식을 제안한다. 최근 심층 신경망을 이용하여 전통적인 신호 처리 이론 기반의 상용 오디오 코덱들을 대체하기 위한 오디오 압축 및 복원 시스템에 관한 연구가 활발하게 이루어지고 있다. 그러나 아직은 기존 상용 코덱의 성능에 도달하지 못하고 있으며 특히 종단 간 오디오 압축 모델의 경우, 적은 정보량으로 높은 품질을 얻기 위해서는 부호화기의 양자화 구조를 개선하는 것이 필수적이다. 본 연구에서는 기존에 제안된 종단 간 오디오 압축 모델 중 하나인 점진적 다계층 오디오 코덱의 벡터 양자화기를 엔트로피 모델 기반 양자화기로 대체하고 전송률-왜곡 트레이드오프 관계를 활용하여 전송률을 다양한 형태로 조절할 수 있음을 보임으로써 엔트로피 모델 기반 양자화기 도입의 타당성을 검증한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권5_6호
• /
• pp.570-578
• /
• 2003

최대 엔트로피 모델은 자연언어를 모델링하기 위한 좋은 방법이다. 하지만, 최대 엔트로피 모델을 전치사구 접속과 같은 실제 언어 문제에 적용할 때, 자질 선택과 계산 복잡도의 두 가지 문제가 발생한다. 본 논문에서는, 이런 문제와 자연언어 자원에 존재하는 불균형 데이터 문제를 해결하기 위한 최대 엔트로피 부스팅 모델(maximum entropy boosting model)을 제시하고, 이를 영어의 전치사구 접속과 품사 결정 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 문제의 모델링에 아주 작은 노력을 들였음에도 불구하고, 전치사구 접속 문제에 대해 84.3%의 정확도와 품사 결정 문제에 대해 96.78%의 정확도를 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.522-524
• /
• 2003

품사 결정 문제는 자연언어처리의 가장 기본적인 문제들 중 하나이며, 기계학습의 관점에서 보면 분류 문제(classification problem)로 쉽게 표현된다. 본 논문에서는 품사 결정의 모호성을 해소하기 위해서 최대 엔트로피 부스팅 모델(maximum entropy boosting model)을 이 문제에 적응하였다. 그리고, 품사 결정에서 중요한 요소 중의 하나인 미지어 처리를 위해서 특별히 설계된 일차 자질을 고려하였다. 최대 엔트로피 부스팅 모델의 장점은 쉬운 모델링인데, 실제로 품사 결정을 위한 일차 자질만 작성하는 노려만 들이고도 96.78%의 정확도를 보여 지금까지 알려진 최고의 성능과 거의 비슷한 결과를 보였다.

• 방송과미디어
• /
• 제24권4호
• /
• pp.102-108
• /
• 2019

VVC(Versatile Video Coding)는 H.264/AVC(Advanced Video Coding)와 H.265/HEVC(High Efficiency Video Coding)의 엔트로피 코딩 기술로 사용되었던 CABAC(Context-based Adaptive Binary Arithmetic Coding)을 기반으로하여 압축율과 처리율을 향상시킬 수 있는 다양한 기술들이 채택되어 현재 CD(Committee Draft)가 완성되었고 참조 모델인 VTM6.0이 정식으로 배포되었다. 본 논문에서는 VVC Draft 6에 채택된 엔트로피 코딩 관련 기술들과 H.265/HEVC의 엔트로피 코딩의 차이점을 설명하고 엔트로피 코딩의 압축 성능과 엔트로피 코딩의 복잡도를 분석한다.

• 한국정보통신학회논문지
• /
• 제26권7호
• /
• pp.972-980
• /
• 2022

영상을 이용한 기계학습 기반의 나비 종 인식 기술은 나비 종의 다양성 및 개체 수, 종의 서식 분포 등을 파악하는데 관련 분야 종사자의 많은 시간과 비용 감소의 효과를 가져온다. 나비 종 분류의 정확성과 시간 효율을 높이기 위해 기계학습 모델의 입력으로 사용되는 여러 가지 특징들이 연구되었다. 그중 엔트로피 개념을 이용한 가지 길이 유사성 엔트로피나 색채 강도 엔트로피 방법이 푸리에 변환이나 웨이블릿 등 다른 특징들에 비해 높은 정확성과 적은 학습 시간을 보여주었다. 본 논문은 나비의 컬러 영상에 대한 RGB 색채 강도 엔트로피를 이용한 특징 추출 알고리즘을 제안한다. 또한 제안한 특징 추출 방법과 대표적인 앙상블 모델들을 결합한 나비 인식 시스템을 개발하고 성능을 평가한다.

• 한국인터넷방송통신학회논문지
• /
• 제9권3호
• /
• pp.25-30
• /
• 2009

강화학습을 통한 지능형시스템은 게임, 웹 검색 등 많은 분야에서 연구되고 있다. 좋은 훈련 모델은 훈련데이터에도 적합해야 하며 이전에 접해 보지 못한 레코드들도 정확하게 분류되어야 한다. 훈련 데이터에 잘 맞는 모델은 과인적합 되어서 좋지 못한 일반화의 오류를 가질 수 있다. 어떤 분야에서도 이런 과잉적합은 피할 수 없는 문제이며 과잉적합을 방지하는 연구는 필요하다. 본 논문에서는 과잉적합을 감소시키기 위한 방법으로 자연계의 모델인 엔트로피와 돌연변이를 웹 검색에 적용하여 제시한다. 학습과정은 엔트로피의 변화량으로 설명될 수 있고, 자연계의 적자로 생존할 수 있는 돌연변이 현상은 데이터마이닝에서 엔트로피의 인위적 발생으로 설명될 수 있다. 즉, 최대 엔트로피를 주기적으로 발생시키는 방안을 본 논문에서 제시한다. 훈련데이터의 최대 엔트로피 모델은 지능형 웹 검색의 주기적 일반화 강화과정이라고 볼 수 있다.

• 정보처리학회논문지B
• /
• 제10B권5호
• /
• pp.491-496
• /
• 2003

본 논문에서는 정지 영상과 동영상 컨텐츠에 적용하기 위한 새로운 워터마크 설계 가이드라인을 제공한다. 본 논문에서 제안하는 워터마크 설계 방법은 인간 시각 시스템 내의 시각 세포들의 기본적인 동작 특성인 상호간섭 및 배제 작용을 이용하여, 각각의 영상 컨텐츠의 특성을 반영하여 최대한의 워터마크 강도를 구하는데 있다. 영상 컨텐츠의 최대 워터마크를 결정할 수 있다면, 자연스럽게 워터마크의 강인성이 증가되어 일반적인 영상처리 공격이나 MPEG 공격에도 강인하게 동작한 수 있다. 정지영상에서는 여러 단계의 에지 성분이 나타나게 됨에 따라 인간 시각 시스템의 민감도가 급감하게 되고, 동영상에서는 움직임이 세밀해지고 또는 많아질수록 민감도가 급감한다는 점을 모델링하기 위해, 본 논문에서는 정지 영상에서의 엔트로피 마스킹과 동영상에서의 움직임 엔트로피 마스킹을 이용하여 민감도 저하 현상을 모델링하였다. 또한, (움직임) 엔트로피 마스킹 모델을 기존의 워터마크 기법에 적용한 결과를 통해, 일반적인 워터마크 기법에 엔트로피 마스킹을 더함으로써, 워터마크의 투명성을 늘리고, 자연스럽게 워터마크의 강건성을 늘릴 수 있음을 보였다.

• 전자공학회논문지CI
• /
• 제47권1호
• /
• pp.22-29
• /
• 2010

비디오 시퀀스에서 움직임 있는 객체의 실시간 검출 및 추적은 스마트 감시 시스템에서 매우 중요한 요소로 분류되고 있다. 본 논문에서 우리는 움직임이 있는 객체의 검출을 위해 클라우지우스 엔트로피와 적응적 가우시안 혼합모델을 사용한 객체 검출 방법을 제안한다. 먼저, 엔트로피의 증가는 일반적으로 불안전한 조건에서 많은 엔트로피의 변화가 발생한 경우 복잡성 및 객체의 움직임이 증가함을 의미한다. 만약 순간적으로 엔트로피 변화가 큰 화소는 움직임 객체에 속한다고 고려하여 움직임 분할 특성을 적용한다. 따라서 우리는 먼저 클라우지우스 엔트로피 이론을 적용하여 엔트로피에 대한 에너지 변화량을 dense 맵으로 변환한다. 두 번째로 우리는 움직임 객체를 검출하기 위해 적응적 가우시안 혼합 모델을 적용하였다. 실험 결과에서 제안된 방법이 효율적으로 움직임이 있는 객체를 검출할 수 있었다.