• 제목/요약/키워드: 통계 처리

검색결과 3,103건 처리시간 0.031초

통계와 규칙을 이용한 강인한 품사 태거 (Robust Part-of-Speech Tagger using Statistical and Rule-based Approach)

  • 심준혁;김준석;차정원;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.60-75
    • /
    • 1999
  • 품사 태깅은 자연 언어 처리의 가장 기본이 되는 부분으로 상위 자연 언어 처리 부분인 구문 분석, 의미 분석의 전처리로 사용되고, 독립된 응용으로 언어의 정보를 추출하거나 정보 검색 등의 응용에 사용되어 진다. 품사 태깅은 크게 통계에 기반한 방법, 규칙에 기반한 방법, 이 둘을 모두 이용하는 혼합형 방법 등으로 나누어 연구되고 있다. 포항공대 자연언어처리 연구실의 자연 언어 처리 엔진(SKOPE)의 품사 태깅 시스템 POSTAG는 미등록어 추정이 강화된 혼합형 품사 태깅 시스템이다 본 시스템은 형태소 분석기, 통계적 품사 태거, 에러 수정 규칙 후처리기로 구성되어 있다. 이들은 각각 단순히 직렬 연결되어 있는 것이 아니라 형태소 접속 테이블을 기준으로 분석 과정에서 형태소 접속 그래프를 생성하고 처리하면서 상호 밀접한 연관을 가진다. 그리고, 미등록어용 패턴사전에 의해 등록어와 동일한 방법으로 미등록어를 처리함으로써 효율적이고 강건한 품사 태깅을 한다. 한편, POSTAG에서 사용되는 태그세트와 한국전자통신연구원(ETRI)의 표준 태그세트 간에 양방향으로 태그세트 매핑을 함으로써, 표준 태그세트로 태깅된 코퍼스로부터 POSTAC를 위한 대용량 학습자료를 얻고 POSTAG에서 두 가지 태그세트로 품사 태깅 결과 출력이 가능하다. 본 시스템은 MATEC '99'에서 제공된 30000어절에 대하여 표준 태그세트로 출력한 결과 95%의 형태소단위 정확률을 보였으며, 태그세트 매핑을 제외한 POSTAG의 품사 태깅 결과 97%의 정확률을 보였다.

  • PDF

SUSHI 기반 학술정보 이용통계 수집 모델 연구 (A Study on the Acquisition of Usage Statistics based on SUSHI Project)

  • 김선태;임석종
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.35-39
    • /
    • 2007
  • 최근 이용통계는 온라인 정보제공자로부터 폭넓게 제공받고 있다. 그러나 그 통계는 여전히 일치된 데이터 수집기로 이용할 수 없으며, 개별 정보제공자들의 관리 비용도 높은 상황이다. 표준화된 이용통계 수집을 주도하는 SUSHI는 정보제공사에서 제공한 이용통계를 도서관에 전자적으로 저장하기 위해 COUNTER 프로젝트를 실행할 자동화된 질의 응답 프로토콜을 개발하고 있다. SUSHI는 도서관들이 COUNTER 프로젝트의 통계를 활용함으로써 관리상의 업무부하 절감과 함께 의사결정을 지원할 것이다. 전자자원에 대한 이용통계의 기록과 교환에 있어서 출판사들이 COUNTER의 실무 규칙을 준수함으로써 최초로 저널과 데이터베이스들에 적용된다. 업체들은 COUNTER의 표준을 이용하여 엑셀이나 CSV 파일로 도서관 고객에게 제공할 수 있다. 그 결과 다양한 학술출판사와 정보서비스 기관에서 생성되고 있는 이용통계 데이터를 일관성, 신뢰성, 용이성을 확보할 수 있게 되는 것이다. 이에 본 연구에서는, 해외 전자저널 공동구매 컨소시엄인 KESLI의 전자저널 이용통계 수집 및 처리 절차를 분석하여, SUSHI에 기반한 전자저널 이용통계 수집 모델을 제안하고자 한다.

  • PDF

통계학적 방법을 이용한 지문 정합 방법 (Fingerprint Matching Method using Statistical Methods)

  • 김용길;박종민
    • 스마트미디어저널
    • /
    • 제3권3호
    • /
    • pp.15-19
    • /
    • 2014
  • 지문 인식 시스템은 지문인식 장치(fingerprint acquisition device)를 통하여 아날로그(analog) 지문으로부터 변환된 디지털(digital) 지문에서 특이점을 추출하고 추출한 특이점들에 대한 정보를 데이터베이스에 등록하는 오프라인(off-line) 처리와 사용자가 시스템에 접근 할 때 입력한 지문으로부터 특이점을 추출한 후 데이터베이스에 저장되어 있는 특이점들과 정합(matching) 하여 사용자의 시스템 접근 여부를 결정하는 온라인(on-line) 처리로 이루어져 있다. 본 논문에서는 다양한 생체인식시스템 중, 통계 지문 인식 정합 방법인 지문의 특이점 을 사용한다. 좌표를 기준으로서 유사성 거리 측정을 하고, 그리고 특정한 각도, 통계 배포 판에 따라서 지문 인식 모델을 찾는 것이다.

퍼지 필터링 구조를 이용한 멀티미디어 통계 사서함 시스템 (Multimedia Statistic Post-office Box System using Fuzzy Filtering Structures)

  • 이종득;김대경
    • 정보처리학회논문지B
    • /
    • 제11B권6호
    • /
    • pp.709-716
    • /
    • 2004
  • 최근에 인터넷과 통신망의 활성화로 인하여 특정 도메인 정보들을 효율적으로 구축하고 서비스하기 위한 여러 가지 방법들이 제안되고 있다. 본 논문에서는 멀티미디어 통계 사서함 구축을 위한 퍼지 필터링 객체 관련성 기법을 제안한다 제안된 기법은 S-cut을 이용하여 문서 객체들을 그룹화하기 위해 RelCRO( $D_{omain}$, Gi), RelSRO( $D_{omain}$, Gi), FAS를 이용한다. 또한 제안된 기법의 성능을 알아보기 위해 1600개의 멀티미디어 타입정보를 이용하여 실험을 수행하고 랜덤 키, OGM, 그리고 제안된 방법을 비교 분석한다. 그 결과 제안된 방법의 성능이 보다 효율적임을 보인다.

웨이블렛 변환 영역에서 MAD 순서통계량을 이용한 SAR 영상의 화질개선 구현 (Implementation of Image Improvement using MAD Order Statistics for SAR Image in Wavelet Transform Domain)

  • 이철;이정석
    • 한국전자통신학회논문지
    • /
    • 제9권12호
    • /
    • pp.1381-1388
    • /
    • 2014
  • 본 논문에서는 지형의 형태 파악에 주로 이용되는 SAR(Synthetic Aperture Radar) 영상의 화질을 저해하는 주된 요소인 잡음을 제거하기 위하여 웨이블렛 변환 기반 MAD순서통계량 알고리즘을 논의한다. 효과적인 영상개선을 위하여 SAR 영상에 근사부분대역의 웨이블렛 계수에 가중평균(Weighted average)법으로 영상처리하고 상세 부분대역의 웨이블렛 계수에 중앙절대편차(MAD : Median Absolute Deviation)를 이용한 임계값을 설정하여 왜곡요소를 제거하는 방법을 제안한다. 특히 제안 방법의 임계값은 잡음과 같은 왜곡요소를 배재하고 영상의 통계량을 고려하여 설정하였다. 제안된 방법은 실시간처리를 보장하기 위하여 DSP와 FPGA를 이용한 하드웨어로 구현하였으며 Xilinx FPGA를 사용하여 실험 하였다.

의류상품의 인터넷 쇼핑에 관한 연구

  • 고은주;황승희
    • 마케팅과학연구
    • /
    • 제2권
    • /
    • pp.203-234
    • /
    • 1998
  • 본 연구 목적은 인터넷 쇼핑의 현황(구매품목, 횟수, 동기, 결제 방식, 가격, 카달로그 이용여부)을 조사하고, 인터넷 쇼핑의 구매자와 비구매자의 특성(인터넷 사용 관련 사항, 인구통계학적 특성)을 비교하며, 인터넷 쇼핑시 소비자 만족/불만족 요인을 조사하여, 인터넷 쇼핑시 소비자 만족/불만족 요인과 구매의도와의 상관관계를 분석하는 것이다. 본 연구는 설문조사 방법으로서 편의 추출된 인터넷을 사용하는 소비자 73명을 대상으로 하였다. 자료분석방법으로는 기술통계(빈도, 평균, 표준편차)와 요인분석, 신뢰도 분석, 상관관계분석법으로 분석하였다. 연구 결과 첫째, 구매 경험자가 가장 많이 구입한 품목이 남성상의 단품과 넥타이와 스카프의 구매가 높게 나타났다. 둘째, 인터넷 사용 관련 상황으로 구매자는 인터넷 사용에 대해 전반적으로 비구매자 보다 훨씬 더 편리하게 느끼는 것으로 조사되었다. 구매자의 인구 통계학적 특성을 남성이고, 학력이 높으며, 전문직종으로, 한달 구매 지출비가 11${\sim}$20만원이고 한달 총수입이 높은 사람으로 나타났다. 셋째, 인터넷 쇼핑시 소비자의 만족/불만족 요인으로 주문처리 정확성, 인터넷 사용 용이성, 구매편의성/신뢰성, 상품의 다양성/합리성, 주문 방법의 편의성/경제성, 선호성, 상품의 혜택추구성의 7개 요인이 추출되었다. 넷째, 소비자 만족/불만족 요인 중에서 주문처리 정확성 요인과 상품의 혜택추구성 요인이 구매 의도와 상관관계가 있었다.

  • PDF

생활하수를 처리하는 회전원판체에서 발견된 사상세균 (Filamentous Bacteria Found in Rotating Biological Contactors Treating Domestic Wastewater)

  • 정재춘
    • 미생물학회지
    • /
    • 제28권4호
    • /
    • pp.337-344
    • /
    • 1990
  • 미국 뉴저지주에 있는 10개의 회전원판 처리장에서 생물막 시료를 채취하여 사상세균에 대해 현미경적 연구를 실시하였다. 활성오니에서 부유형 성장을 하며 흔히 출현하는 Type 1701, Type 0041. Type 021N, Nocardia, Beggiatoa 및 Sphaerotilus가 회전원판체 생물막에서도 출현하였으나 수도(abundance)는 크게 달랐다. 여기서는 Beggiatoa의 출현빈도가 가장 높았으며, Sphaerotilus, Type 0041, Type 1701, Type 021N, Nocardia의 순이었다. 회전원판 생물막에서 발견된 Beggiatoa는 형태적으로 뚜렷히 구별되는 2가지 Type이 존재하였다. 회전원판체의 중심축으로 100cm 깊이에 존재하는 생물막과 외부의 생물막에 존재하는 사상세균의 군집에 대해 인자분서법에 의한 통계처리를 수행한 결과 대부분의 경우, 내부의 군집과 외부의 군집이 통계적으로 유의하게 달랐으며 장소(내부, 외부)와 단(stage) 사이에도 많은 경우 통계적으로 유의한 상호작용이 있었다.

  • PDF

한국어 어휘의미망에 기반을 둔 어의 중의성 해소 시스템의 구현 (Implementation of Word Sense Disambiguation System based on Korean WordNet)

  • 김민호;황명진;신종훈;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.96-102
    • /
    • 2008
  • 자연언어처리에서 어휘의 의미를 구분하는 것은 기계번역이나 정보검색과 같은 여러 응용 분야에서 매우 중요한 역할을 한다. 국내에서도 여러 어의 중의성 해소 시스템이 소개되었으나 대부분 시스템이 의미 부착 말뭉치를 이용한 감독 학습 방식을 기반으로 두고 있다. 본 논문은 한국어 어휘의미망을 이용한 비감독 어의 중의성 해소 시스템을 소개한다. 일반적으로 감독어의 중의성 해소 시스템은 비감독 어의 중의성 해소 시스템보다 성능은 좋으나 대규모의 의미 부착 말뭉치가 있어야 한다. 그러나 본 시스템은 한국어 어휘의미망과 의미 미부착 말뭉치에서 추출한 어휘 통계정보를 이용해, 의미 부착 말뭉치에서 추출한 의미별 통계 정보를 이용하는 감독 중의성 해소 방법과 같은 효과를 낸다. 본 시스템과 타 시스템의 성능 비교를 위해 'SENSEVAL-2' 평가 대회의 한국어 평가 데이터를 이용하였다. 실험 결과는 추출된 통계 정보를 바탕으로 우도비를 이용하였을 때 정확도 72.09%, 관계어 가중치를 추가로 이용하였을 때 정확도 77.02%로 감독 중의성 해소 시스템보다 높은 성능을 보였다.

  • PDF

선박 조우상황시 느끼는 해기사 반응 데이터의 통계처리에 관한 연구 (Studies on the Officer's Feeling Response Data when the Ship Encounter Situaitons)

  • 김대식;김득봉
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2015년도 추계학술대회
    • /
    • pp.202-204
    • /
    • 2015
  • 2010년부터 최근 5년간 해양안전심판원의 충돌사고 통계분석 결과에 따르면 98%가 인적과실이 원인이 될 정도로 경계소홀 등 해기사에 의한 운항과실이 해양사고의 대부분을 차지하고 있으나 그동안 외국뿐만 아니라 국내에서도 이에 대한 연구는 극히 미흡한 실정이다. 본 연구는 항해중인 선박이 타 선박과 6가지 유형(Head-on, $045^{\circ}$, $090^{\circ}$, $135^{\circ}$, Overtaking, Overtaken)의 다른 방위각으로 조우 상황시 양 선박의 거리가 가까워지면서 거리별 항해당직사관인 해기사가 느끼는 스트레스(주관적 위험도)를 실제 항해중인 선박에 승선하여 실험하였고 획득한 데이터를 통계적으로 분석 및 처리하였다. 데이터를 곡선적합(Curve fitting) 적용 결과 6가지 조우각도별 거리에 따른 연속 데이터 획득이 가능 하였고 인적과실의 주요 원인 중의 하나인 타 선박 조우 상황시 해기사가 느끼는 스트레스 일반화 모델을 위한 기초 식을 제안하였다. 이러한 결과는 향후 해기사의 인적과실을 줄여 해양사고 예방을 위한 기초 자료로 활용 할 수 있을 것이다.

  • PDF

기술문서 분류를 위한 통계기반 기계학습 모델 성능비교 및 한계 연구 (Performance Comparison of Statistics-Based Machine Learning Model for Classification of Technical Documents)

  • 김진구;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.393-396
    • /
    • 2022
  • 본 연구는 국방과학기술 분야의 특허 및 논문 실적을 이용하여 통계기반 기계학습 모델 4 종을 학습하고, 실제 분석 대상기관의 데이터 입력결과를 분석하여 실용성에 대한 한계점 분석을 목적으로 한다. 기존 연구에서는 특허분류코드를 기준으로 분류하여 특수 목적으로 활용하거나 세부 연구 범위 내 연구 주제탐색 및 특징연구 등 미시적인 관점에서의 상세연구 활용 목적인 반면, 본 연구는 거시적인 관점에서 연구의 전체적인 흐름과 경향성 파악을 목적으로 한다. 이에 ICT 기술 138 종의 특허 및 논문 30,965 건과 국방과학기술 192 종의 특허 및 논문 23,406 건을 학습데이터로 각 모델을 학습하였다. 비교한 통계기반 학습모델은 Support Vector Machines, Decision Tree, Naive Bayes, XGBoost 모델이다. 학습데이터에 대한 학습검증 단계에서는 최대 99.4%의 성능을 보였다. 다만, 실제 분석대상기관의 특허 및 논문 12,824 건으로 입력분석한 결과, 모델별 편향성 문제, 데이터 전처리 이슈, 다중클래스 및 다중레이블 문제를 확인, 도출한 문제에 대한 해결방안을 제시하고 추가 연구의 방향성을 제시한다.