• 제목/요약/키워드: Chunking

검색결과 70건 처리시간 0.037초

최대 엔트로피 부스팅 모델을 이용한 전치사 접속 모호성 해소 (Resolving Prepositional Phrase Attachment Using a Maximum Entropy Boosting Model)

  • 박성배;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.670-672
    • /
    • 2002
  • Park과 Zhang은 최대 엔트로피 모델(maximum entropy model)을 실제 자연언어 처리에 적용함에 있어서 나타날 수 있는 여러가지 문제를 해결하기 위한 최대 엔트로피 모델(maximum entropy boosting model)을 제시하여 문서 단위화(text chunking)에 성공적으로 적용하였다. 최대 엔트로피 부스팅 모델은 쉬운 모델링과 높은 성능을 보이는 장점을 가지고 있다. 본 논문에서는 최대 엔트로피 부스팅 모델을 영어 전치사 접속 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 아주 작은 노력을 들였음에도 84.3%의 성능을 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

  • PDF

$k$-NN으로 확장된 한국어 단위화 (Expanded Korean Chunking by $k$-NN)

  • 박성배;장병탁;김영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.182-184
    • /
    • 2000
  • 대부분의 자연언어처리에서 단위화는 구문 분석 이전의 매우 기본적인 처리 단계로, 텍스트 문장을 문법적으로 서로 관련된 단위로 분할하는 것이다. 따라서, 단위화를 이용하면 구문 분석이나 의미 분석 등에서 메모리와 시간을 효율적으로 줄일 수 있다. 일반적으로 통찰에 의한 규칙을 사용해서도 비교적 높은 단위화 성능을 얻을 수 있지만, 본 논문에서는 기계 학습 기법인 k-NN을 사용하여 보다 정확한 단위화를 구현한다. 인터넷 홈페이지에서 얻은 1,273 문장을 대상으로 학습한 결과, k-NN으로 단위화를 확장했을 때에 확장하지 않았을 때보다 2.3%의 정확도 증가를 보였다.

  • PDF

중복 데이터 관리 기법을 통한 저장 시스템 성능 개선 (Storage System Performance Enhancement Using Duplicated Data Management Scheme)

  • 정호민;고영웅
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권1호
    • /
    • pp.8-18
    • /
    • 2010
  • 기존의 전통적인 저장 서버는 중복 데이터 블록에 의해서 저장 공간과 네트워크 대역폭의 낭비가 발생되고 있다. 이와 같은 문제를 해결하기 위하여, 다양한 중복 제거 메커니즘이 제시되었으나, 대부분 Contents-Defined Chunking (CDC) 기법을 사용하는 백업 서버에 한정되었다. 왜냐하면 CDC 기법은 앵커를 사용하여 중복 블록을 쉽게 추적할 수 있기 때문에 파일의 업데이트를 관찰하기 유리한 백업 시스템에서 널리 사용되고 있는 것이다. 본 논문에서는 저장 시스템 성능을 개선하기 위하여, 새로운 중복 제거 메커니즘을 제시하고 있다. 범용적인 중복제거 서버를 구축하기 위한 효율적인 알고리즘에 초점을 맞추고 있으며, 이를 통하여 백업 서버, P2P 서버, FTP 서버와 같은 다양한 시스템에 활용이 가능하게 하는 것을 목표로 한다. 실험 결과 제안한 알고리즘이 중복 영역의 블록을 찾아내는 시간을 최소화하고 효율적으로 저장 시스템을 관리하는 것을 보였다.

효율적인 데이터 중복제거를 위한 GPGPU 병렬 라빈 핑거프린팅 (Parallel Rabin Fingerprinting on GPGPU for Efficient Data Deduplication)

  • 마정현;박세진;박찬익
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.611-616
    • /
    • 2014
  • 데이터 중복 제거를 수행하기 위한 여러 단계 중 청킹에 사용되는 라빈 핑거프린트 값을 구하는 단계가 가장 큰 오버헤드를 차지한다. 따라서, 본 논문에서는 효율적인 데이터 중복 제거를 위한 병렬라빈 핑거프린트 방법을 제안한다. 또한 효율적인 라빈 핑거프린팅의 병렬화를 위해 네 가지 이슈를 고려한다. 첫 번째로 병렬처리를 위해 입력 데이터 스트림을 일정한 크기의 데이터 섹션으로 분할할 때, 데이터 섹션의 경계선에 있는 데이터들에 대해서도 라빈 핑거프린팅을 수행하기 위한 고려, 두 번째로 라빈 핑거프린팅 연산 특징을 효율적으로 이용하기 위한 고려, 세 번째로 순차 방식으로 청크 경계선을 구했을 때와 비교하여 병렬 방식으로 청크 경계선을 구했을 때, 변경 될 수 있는 청크 경계선에 대한 고려를 한다. 마지막으로 최적의 GPGPU 메모리 접근을 위한 고려를 한다. GPGPU를 이용한 병렬 라빈 핑거프린트 방식은 CPU를 이용한 순차 라빈 핑거프린트 방식에 비해 약 16배 성능향상을 보였고, CPU를 이용한 병렬 라빈 핑거프린트 방식에 비해서도 약 5.3배 성능향상을 보였다. 이러한 라빈 핑거프린팅 연산 처리량의 증가는 데이터 중복 제거 기법의 전체적인 성능향상을 가져올 수 있다.

클라우드 환경에서 보안 가시성 확보를 위한 자동화된 패킷 분류 및 처리기법 (Near Realtime Packet Classification & Handling Mechanism for Visualized Security Management in Cloud Environments)

  • 안명호;류미현
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.331-337
    • /
    • 2014
  • 컴퓨팅 패러다임이 클라우드 컴퓨팅으로 변화됨에 따라 보안 이슈가 더욱 더 중요하게 되었다. 컴퓨팅 플랫폼 서비스 제공자들은 Firewall, Identity Management 등을 제공하지만 클라우드 컴퓨팅 인프라는 사용자가 맘대로 제어하거나 새로운 장치들을 부착하여 사용할 수 없기 때문에 비교적 보안에 취약한 것이 사실이다. 이런 환경에서는 사용자 스스로 보안을 대비해야 하기 때문에 직관적인 방법으로 전체 네트워크 트래픽 상황을 가시적으로 조망할 수 있는 기법이 필요하다. 이를 위해서는 네트워크 패킷을 실시간으로 저장하고, 저장된 데이터를 준 실시간으로 분류할 수 있는 기술이 요구된다. 네트워크 패킷 분류에서 중요한 사항은 패킷 분류를 비지도 방식으로 사람의 개입 없이도 판단 기준을 지능적으로 생성하고 이를 통해 패킷을 스스로 판별할 수 있는 기술개발이 필요하다. 또한, 이를 위해서 Naive-Bayesian Classifier, Packet Chunking 등의 방법들을 활용해 사용자 개입없이 분류에 필요한 시그니쳐(Signature)를 탐색하고 이를 학습해 스스로 자동화된 패킷 분류를 실현할 수 있는 방안을 제시한다.

  • PDF

저장 시스템의 논리 파티션을 이용한 파일 중복 제거 (File Deduplication using Logical Partition of Storage System)

  • 공진산;유혁;고영웅
    • 대한임베디드공학회논문지
    • /
    • 제7권6호
    • /
    • pp.345-351
    • /
    • 2012
  • In traditional target-based data deduplication system, all of the files should be chunked and compared for reducing duplicated data blocks. One of the critical problem of this system arises as the number of files are increasing. The system suffers from computational delay for calculating hash value and processing metadata for handling each file. To overcome this problem, in this paper, we propose a novel data deduplication system using logical partition of storage system. The system applies data deduplication scheme to each logical partition not each file. Experiment result shows that the proposed system is more efficient compared with traditional deduplication scheme where the logical partition is full of files by 50% in terms of deduplication capacity and processing time.

어절의 중심어 정보를 이용한 한국어 기반 명사구 인식 (Korean BaseNP Chunking Using Head-word of Word Phrase)

  • 서충원;오종훈;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.145-151
    • /
    • 2003
  • 기반 명사구는 명사구 내부에 다른 명사구를 포함하지 않는 명사구로 정의된다. 이러한 기반명사구인식은 구문해석의 성능을 향상시키기 위한 방법으로 많이 사용되어 왔다. 효과적인 기반 명사구인식을 위해서는 올바른 학습자질의 선택과 적절한 문맥의 범위의 설정이 중요하다. 이러한 관점에서 기존의 연구에서는 여러 가지 학습자질과 문맥의 범위로 기반명사구를 인식하였다. 하지만 기존의 연구들에서는 학습자질로 단순한 어휘, 품사, 띄어쓰기 정보만을 사용하여 좁은 범위의 문맥정보만을 사용하였다. 본 논문에서는 한국어의 기반 명사구 인식을 위해 학습의 자질로 어절의 중심어를 사용하는 HMM모델을 제안한다. 본 논문의 방법을 통해 정확률 94.3%, 재현률 93.2%의 성능을 얻었다.

  • PDF

공통변환 기반 다국어 자동번역을 위한 언어학적 모델링 (Linguistic Modeling for Multilingual Machine Translation based on Common Transfer)

  • 최승권;김영길
    • 한국언어정보학회지:언어와정보
    • /
    • 제18권1호
    • /
    • pp.77-97
    • /
    • 2014
  • Multilingual machine translation means the machine translation that is for more than two languages. Common transfer means the transfer in which we can reuse the transfer rules among similar languages according to linguistic typology. Therefore, the multilingual machine translation based on common transfer is the multilingual machine translation that can share the transfer rules among languages with similar linguistic typology. This paper describes the linguistic modeling for multilingual machine translation based on common transfer under development. This linguistic modeling consists of the linguistic devices such as 1) multilingual common Part-of-Speech set, 2) multilingual common transfer format, 3) multilingual common transfer chunking, and 4) multilingual common transfer rules based on linguistic typology. Validity of this linguistic modeling for multilingual machine translation is shown in the simulation. The multilingual machine translation system based on common transfer including Korean, English, Chinese, Spanish, and French will be developed till 2018.

  • PDF

온라인 리뷰를 활용한 사용자 이해 및 서비스 가치 증대 (Enhancement of User Understanding and Service Value Using Online Reviews)

  • 김진화;변현수;이승훈
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제20권2호
    • /
    • pp.21-36
    • /
    • 2011
  • The Web has become an excellent source for gathering consumer opinions. There are now numerous Web sites containing such opinions, e.g., customer reviews of products, forums, discussion groups, and blogs. This paper focuses on online customer reviews of products. It makes some contributions. Especially it proposes minimalism and chunking framework for analyzing and comparing consumer opinions of competing products. Users are able to clearly see the strengths and weaknesses of each product in the minds of consumers in terms of various product features. This comparison is useful to both potential customers and product manufacturers. For a product manufacturer, the comparison enables it to easily gather marketing intelligence and product benchmarking information. In this paper, we only focus on mining opinion/product features that the reviewers have commented on. Five types of online review presentations are presented to mine such features. Our experimental results show that these techniques are useful to identify customers' opinions and trends.

슬라이싱과 청킹 개념을 도입한 확장 가능한 경로 테스팅 방안 (Scalable Path Testing Method Adopting Slicing and Chunking Concept)

  • 최은만;최희성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.164-166
    • /
    • 2012
  • 화이트 박스 테스팅을 위하여 주로 사용하는 경로 테스팅 방법은 테스트 대상 프로그램의 규모에 크게 영향을 받는다. 이런 단점을 해소하기 위하여 이 논문에서는 슬라이싱과 청킹 개념을 도입하였다. 청킹은 논리 흐름의 덩어리를 프레임화 하여 필요에 따라 펼치거나 추상화할 수 있게 한다. 또한 슬라이싱은 프로그램 동작의 부분 집합을 추출하여 복잡도를 줄이고 특정 변수에 집중하게 한다. 본 논문에서는 이런 두 가지 개념을 도입하여 확장 가능한 경로 테스팅 방법을 제안하여 화이트 박스 테스팅의 실용성을 높일 수 있음을 보였다.