• 제목/요약/키워드: 교착

검색결과 217건 처리시간 0.026초

Low-Resource 환경에서 Multi-Task 학습을 이용한 카자흐어 형태소 분석 (Low-Resource Morphological Analysis for Kazakh using Multi-Task Learning)

  • ;박성배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.437-440
    • /
    • 2021
  • 지난 10년 동안 기계학습을 통해 자연어 처리 분야에서 많은 발전이 있었다. Machine translation, question answering과 같은 문제는 사용 가능한 데이터가 많은 언어에서 높은 정확도 성능 결과를 보여준다. 그러나 low-resource 언어에선 동일한 수준의 성능에 도달할 수 없다. 카자흐어는 형태학적 분석을 위해 구축된 대용량 데이터셋이 없으므로 low-resource 환경이다. 카자흐어는 단일 어근으로 수백 개의 단어 형태를 생성할 수 있는 교착어이다. 그래서 카자흐어 문장의 형태학적 분석은 카자흐어 문장의 의미를 이해하는 기본적인 단계이다. 기존에 존재하는 카자흐어 데이터셋은 구체적인 형태학적 분석의 부재로 모델이 충분한 학습이 이루어지지 못하기 때문에 본 논문에서 새로운 데이터셋을 제안한다. 본 논문은 low-resource 환경에서 높은 정확도를 달성할 수 있는 신경망 모델 기반의 카자흐어 형태학 분석기를 제안한다.

상대적 위치 표현을 이용한 한국어 BERT 학습 방법 (Korean BERT Learning Method with Relative Position Representation)

  • 오연택;전창욱;민경구
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.111-114
    • /
    • 2019
  • BERT는 자연어처리 여러 응용 분야(task)에서 우수한 성능을 보여줬으나, BERT 사전학습 모델을 학습하기 위해서는 많은 학습 시간과 학습 자원이 요구된다. 본 논문에서는 빠른 학습을 위한 한국어 BERT 학습 방법을 제안한다. 본 논문에서는 다음과 같은 세 가지 학습 방법을 적용했다. 교착어인 한국어 특성을 반영하기 위해 형태소 분석 기반의 사전을 사용하였으며, 단어 간 상대적 위치 표현을 추가하여, 상대적 위치 정보를 학습했다. 또한 BERT 베이스 모델의 12-레이어 중 3-레이어만을 사용하여, 모델을 경량화시켰다.

  • PDF

사전 정보를 활용한 신경망 기계 번역 (Neural Machine Translation with Dictionary Information)

  • 전현규;김지윤;최승호;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.86-90
    • /
    • 2023
  • 최근 생성형 언어 모델이 주목받고 있으며, 이와 관련된 과제 또한 주목받고 있다. 언어 생성과 관련하여 많은 연구가 진행된 분야 중 하나가 '번역'이다. 번역과 관련하여, 최근 인공신경망 기반의 신경망 기계 번역(NMT)가 주로 연구되고 있으며, 뛰어난 성능을 보여주고 있다. 하지만 교착어인 한국어에서 언어유형학 상의 다른 분류에 속한 언어로 번역은 매끄럽게 번역되지 않는다는 한계가 여전하다. 따라서, 본 논문에서는 이러한 문제점을 극복하기 위해 한-영 사전을 통한 번역 품질 향상 방법을 제안한다. 또한 출력과 관련하여 소형 언어모델(sLLM)을 통해 CoT데이터셋을 구축하고 이를 기반으로 조정 학습하여 성능을 평가할 것이다.

  • PDF

한국어 헬스케어 개체명 인식을 위한 거대 언어 모델에서의 형태소 기반 Few-Shot 학습 기법 (Morpheme-Based Few-Shot Learning with Large Language Models for Korean Healthcare Named Entity Recognition)

  • 강수연;김건우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.428-429
    • /
    • 2023
  • 개체명 인식은 자연어 처리의 핵심적인 작업으로, 특정 범주의 명칭을 문장에서 식별하고 분류한다. 이러한 기술은 헬스케어 분야에서 진단 지원 및 데이터 관리에 필수적이다. 그러나 기존의 사전 학습된 모델을 특정 도메인에 대해 전이학습하는 방법은 대량의 데이터에 크게 의존하는 한계를 가지고 있다. 본 연구는 방대한 데이터로 학습된 거대 언어 모델(LLM) 활용을 중심으로, 한국어의 교착어 특성을 반영하여 형태소 정보를 활용한 Few-Shot 프롬프트를 통해 한국어 헬스케어 도메인에서의 개체명 인식 방법을 제안한다.

주기억장치 데이터베이스를 위한 동시성 제어 관리자의 설계 및 구현 (Design and Implementation of a Concuuuency Control Manager for Main Memory Databases)

  • 김상욱;장연정;김윤호;김진호;이승선;최완
    • 한국통신학회논문지
    • /
    • 제25권4B호
    • /
    • pp.646-680
    • /
    • 2000
  • 본 논문에서는 주기억장치 DBMS(main memory DBMS: MMDBMS)를 위한 동시성 제어 관리자의 설계 및 구현에 관하여 논의한다. MMDBMS는 디스크 기반 DBMS와는 달리 주기억장치 액세스만으로 데이터 검색 및 갱신을 수행하므로 전체 수행 비용 중 동시성 제어 관리자의 수행 비용이 차지하는 비중은 매우 크다. 따라서 효율적인 동시성 제어 관리자의 개발은 MMDBMS의 성능에 큰 영향을 미치게 된다. 본 연구에서 개발된 동시성 제어 관리자는 이단계 라킹 규약을 기반으로 하며, 다음과 같은 특징을 갖는다. 첫째, 락의 단위를 주기억장치의 물리적인 할당 단위인 파티션으로 설정함으로써 응용 분야의 특성 분석을 통하여 동시성과 락 관리 비용을 유연하게 조정할 수 있다. 둘째, 락에 관한 정보를 파티션 내부에서 직접 관리함으로써 락 관리 비용을 크게 줄일 수 있다. 셋째, 시스템 데이터의 물리적 일관성 유지를 위한 수단으로서 래치를 제공한다. 개발된 래치는 공유 모드와 배제 모드를 모두 지원하며, CPU 이용률의 극대화를 위하여 Bakery 알고리즘과 Unix의 세마포어 기능을 결합하는 방법을 사용한다. 넷째, 락에 의한 교착 상태의 해결을 위하여 락 대기 정보를 기반으로 시스템의 교착 상태 여부를 주기적으로 검출하는 기능을 제공한다. 본 논문에서는 트랜잭션 테이블의 상호배제, 인덱스 혹은 시스템 카탈로그의 상호 배제, 실시간 응용의 지원 등 실제 구현에서 발생하는 중요한 이슈들에 관해서도 이울러 논의한다.

  • PDF

CPN 기반의 침입방지시스템 보안모델의 안정성 검증 (Secured Verification of Intrusion Prevention System Security Model Based on CPNs)

  • 이문구
    • 전자공학회논문지CI
    • /
    • 제48권3호
    • /
    • pp.76-81
    • /
    • 2011
  • 침입방지시스템은 내부 시스템 보안 또는 외부 공격의 문제를 해결하기 위한 중요한 솔루션이다. 이러한 침입방지시스템을 도입 시 가장 우선적으로 고려해야 될 사항으로는 다양한 기능보다 안정성이다. 본 논문은 침입방지시스템 보안모델의 사용자 인증기능에 대한 안정성 검증을 위하여 칼라 페트리 네트를 이용하였다. CPN은 분산되어있고, 동시 발생적이며, 결정적 또는 동기화 방식의 비결정적인 시스템들에 대하여 그래픽적인 모델링 언어로 표현이 가능하다. 이런 칼라 페트리 네트는 각 처리 단계에 대하여 모든 가능한 상태와 발생 그래프로 표현된다. 침입방지시스템 보안 모델의 안정성은 칼라 페트리 네트를 이용한 모든 상태표현과 발생그래프의 분석결과가 무한반복 혹은 교착상태가 없으므로 검증되었다.

TAKTAG: 통계와 규칙에 기반한 2단계 학습을 통한 품사 중의성 해결 (TAKTAG: Two phase learning method for hybrid statistical/rule-based part-of-speech disambiguation)

  • 신상현;이근배;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.169-174
    • /
    • 1995
  • 품사 태깅은 형태소 분석 이후 발생한 모호성을 제거하는 것으로, 통계적 방법과 규칙에 기 반한 방법이 널리 사용되고 있다. 하지만, 이들 방법론에는 각기 한계점을 지니고 있다. 통계적인 방법인 은닉 마코프 모델(Hidden Markov Model)은 유연성(flexibility)을 지니지만, 교착어(agglutinative language)인 한국어에 있어서 제한된 윈도우로 인하여, 중의성 해결의 실마리가 되는 어휘나 품사별 제대로 참조하지 못하는 경우가 있다. 반면, 규칙에 기반한 방법은 차체가 품사에 영향을 받으므로 인하여, 새로운 태그집합(tagset)이나 언어에 대하여 유연성이나 정확성을 제공해 주지 못한다. 이러한 각기 서로 다른 방법론의 한계를 극복하기 위하여, 본 논문에서는 통계와 규칙을 통합한 한국어 태깅 모델을 제안한다. 즉 통계적 학습을 통한 통계 모델이후에 2차적으로 규칙을 자동학습 하게 하여, 통계모델이 다루지 못하는 범위의 규칙을 생성하게 된다. 이처럼 2단계의 통계와 규칙의 자동 학습단계를 거치게 됨으로써, 두개 모델의 단점을 보강한 높은 정확도를 가지는 한국어 태거를 개발할 수 있게 하였다.

  • PDF

경로 점유권을 이용한 AGV의 경로 제어 알고리즘 (Path Control Algorithm for AGV Using Right of Path Occupation)

  • 주영훈;김종선
    • 한국지능시스템학회논문지
    • /
    • 제18권5호
    • /
    • pp.592-598
    • /
    • 2008
  • 본 논문에서는 AGVS(Automated Guide Vehicle System)의 충돌 및 교착 상태를 예측 및 회피하는 방법을 제안하고 회피에 따른 AGV의 지연 시간을 분산시킬 수 있도록 경로 점유권(PO: right of Path Occupying)을 제안한다. 이를 위해 먼저, AGV의 복잡한 작업 환경을 AGVS의 필요한 요소로 분류하는 모델을 제시한다. 이후, AGV의 최단 경로 탐색 알고리즘을 그래프 탐색 기법인 A* 알고리즘을 이용하여 구현하고 경로의 소요 시간, 방향 및 방향 전환 벡터를 얻은 뒤 이를 시뮬레이션 프로그램의 입력 데이터 사용하였다. 시뮬레이션 수행은 충돌 예측과 회피를 평가하기 위해 사용되었으며 그 결과 본 논문에서 제안한 방법이 지연시간을 최소화하는데 효과적임을 입증하였다.

데이타 우선순의에 기초한 트랜잭션 스체줄링 알고리즘의 제안 및 실시간 DBMS에서의 성능 비교연구 (A Proposal on Data Priority Based Transaction Scheduling Algorithm and the Comparative Performance Evaluation in Real Time Database Management System)

  • 윤석환;이재영;박치항
    • 한국정보처리학회논문지
    • /
    • 제3권4호
    • /
    • pp.803-816
    • /
    • 1996
  • 본 논문에서는 기존의 알고리즘들이 트랜잭션에 부여하였던 우선순의를 특정 데이 타 항목에 부여하여 접근하는 트랜잭션중 가장 높은 우선순의 트랜잭션을 먼저 수행토 록 함으로써 교착상태(deadlock)를 쉽게 예방할 수 있는 점에 착안하여 데이타 항목에 우선순위를 부여하는 데이타 우선순위에 기초한 잠금 프로토콜 (DPLP:Data-Priority Based Locking Protocol)을 제안하고, 이 알고리즘의 성능을 실시간 데이타베이스 시스템에서 기존 잠금 프로토콜의 성능과 비교분석하였다. 비교 기준으로는 트랜잭션 도착 시간차(IAT:inter arrival time) 에 따른 트랜잭션의 성공 비율(success ratio), 평균 지연(average-lateness),충돌 비율(conflict-ratio), 재시작 비율(restart-ratio) 을 채택하였다. 성능 비교의 결과는 본 논문에서 제안하는 데이타 우선순위에 기초한 잠금 프로토콜이 기존의 잠금 프로토콜들보다 우수한 성능을 보임을 확인하였다.

  • PDF

웜홀 방식의 네트워크에서 경로전송을 기반으로 하는 효율적인 다중전송 알고리즘 (An Efficient Path-Based Multicast Algorithm in Wormhole-Routed Net works)

  • 김시관
    • 한국산업정보학회논문지
    • /
    • 제6권3호
    • /
    • pp.20-28
    • /
    • 2001
  • 본 논문에서는 웜홀 스위칭 방식을 이용하는 메쉬 구조를 갖는 네트워크에서 경로를 기반으로 하는 효율적인 다중전송 알고리즘을 제안한다. 제안한 다중전송 알고리즘은 웜홀 스위칭 방식의 경로 기반 다중전송이 갖는 특성을 이용하고, 종래의 하나의 해밀톤 경로만 이용한 알고리즘의 단점을 극복한다. 제안한 다중전송 알고리즘은 2개의 각 가상채널에 해밀톤 경로를 사용하여 다중전송 메시지가 트래픽의 양에 따라 임의의 해밀톤 경로를 선택하여 전송하기 때문에 기존의 단일 해밀톤 경로를 사용한 방법보다 링크를 보다 효율적으로 사용하여 전반적인 성능을 향상시킨다. 그리곤 본 논문에서 제안한 다중전송 알고리즘이 교착 상태가 없음을 증명하고 기존의 방법에 비해서 약 15∼20%의 성능 향상을 보임을 시뮬레이션을 통하여 검증하였다.

  • PDF