• 제목/요약/키워드: 자동수집

검색결과 1,083건 처리시간 0.034초

음식메뉴 개체명 인식을 위한 음식메뉴 사전 자동 구축 (Automatic Construction of Restaurant Menu Dictionary)

  • 구영현;유성준
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.102-106
    • /
    • 2013
  • 레스토랑 리뷰 분석을 위해서는 음식메뉴 개체명 인식이 매우 중요하다. 그러나 현재의 개체명 사전을 이용하여 리뷰 분석을 할 경우 구체적이고 복잡한 음식메뉴명을 표현하는데 충분하지 않으며 지속적인 업데이트가 힘들어 새로운 트렌드의 음식 메뉴명 등이 반영되지 않는 문제가 있다. 본 논문에서는 레스토랑 전문 사이트와 레시피 제공 사이트에서 각 레스토랑의 메뉴 정보와 음식명 등을 래퍼기반 웹 크롤러로 수집하였다. 그런 다음 빈도수가 낮은 음식메뉴와 레스토랑 온라인 리뷰에서 쓰이지 않는 음식메뉴를 제거하여 레스토랑 음식 메뉴 사전을 자동으로 구축하였다. 그리고 레스토랑 온라인 리뷰 문서를 이용해 음식 메뉴 사전의 엔티티들이 어느 유형의 레스토랑 리뷰에서 발견되는지를 찾아 빈도수를 구하고 분류 정보에 따른 비율을 사전에 추가하였다. 이 정보를 이용해 여러 분류 유형에 해당되는 음식메뉴를 구분할 수 있다. 실험 결과 한국관광공사 외국어 용례사전의 음식 메뉴명은 1,104개의 메뉴가 실제 레스토랑 리뷰에서 쓰인데 비해 본 논문에서 구축한 사전은 1,602개의 메뉴가 실제 레스토랑 리뷰에서 쓰여 498개의 어휘가 더 구성되어 있는 것을 확인 할 수 있었다. 이와 아울러, 자동으로 수집한 메뉴의 정확도와 재현율을 분석한다. 실험 결과 정확률은 96.2였고 재현율은 78.4, F-Score는 86.4였다.

  • PDF

원격 자동 수질 측정 기록 시스템 연구 (A Study on Remote automatic water quality measurement recording systems)

  • 손오섭;장종욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.447-450
    • /
    • 2010
  • 오늘날 상대적으로 미비한 소규모저수지 및 간척담수호 농업용수의 수질정보를 온라인으로 수집 및 분석하고, 분석된 정보를 실시간으로 전달 및 데이터베이스화함으로써 농업용저수지와 담수호의 수질관리를 체계적으로 할 수 있다. 본 논문에서는 원격에서 자동으로 수질을 측정하고 사용자에게 측정된 정보를 제공하기 위해 각 센서로부터 수집된 정보를 통합 처리 이후 무선 네트워크를 통해서 실시간으로 통합관리 함으로써 관측지점에 대한 수질정보를 실시간으로 모니터링 할 수 있으며 이동 통신망의 이용도 가능한 시스템을 제안하고자 한다.

  • PDF

토픽모델의 성능 향상을 위한 불용어 자동 생성 기법 (Automatic Generating Stopword Methods for Improving Topic Model)

  • 이정빈;인호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.869-872
    • /
    • 2017
  • 정보검색(Information retrieval) 및 텍스트 분석을 위해 수집하는 비정형 데이터 즉, 자연어를 전처리하는 과정 중 하나인 불용어(Stopword) 제거는 모델의 품질을 높일 수 있는 쉽고, 효과적인 방법 중에 하나이다. 특히 다양한 텍스트 문서에 잠재된 주제를 추출하는 기법인 토픽모델링의 경우, 너무 오래되거나, 수집된 문서의 도메인이나 성격과 무관한 불용어의 제거로 인해, 해당 토픽 모델에서 학습되어 생성된 주제 관련 단어들의 일관성이 떨어지게 된다. 따라서 분석가가 분류된 주제를 올바르게 해석하는데 있어 많은 어려움이 따르게 된다. 본 논문에서는 이러한 문제점을 해결하기 위해 일반적으로 사용되는 표준 불용어 대신 관련 도메인 문서로부터 추출되는 점별 상호정보량(PMI: Pointwise Mutual Information)을 이용하여 불용어를 자동으로 생성해주는 기법을 제안한다. 생성된 불용어와 표준 불용어를 통해 토픽 모델의 품질을 혼잡도(Perplexity)로써 측정한 결과, 본 논문에서 제안한 기법으로 생성한 30개의 불용어가 421개의 표준 불용어보다 더 높은 모델 성능을 보였다.

요구사항 분류 언어를 통한 반 자동 품질 요구사항 분류

  • 박수용;민성기;최순황
    • 시스템엔지니어링워크숍
    • /
    • 통권1호
    • /
    • pp.127-133
    • /
    • 2003
  • 시나리오 형태의 요구사항 분류는 ATAM, SAAM, Software Quality Metric 과 같은 품질 요구사항 분석 및 평가 방법 등 많은 분야에 응용된다. 이들 기법들은 소프트웨어 시스템의 품질 요구사항을 분석, 평가하기에 앞서 초기 수집된 요구사항들을 분류하게 된다. 그러나 요구사항을 분류하는 일은 수작업을 통해 이루어지게 되고, 따라서 미 분류, 중복분류, 등의 결함을 가질 수 있다. 결함의 가능성을 요구사항의 수가 많은 대형 프로젝트 일수록 높아지게 된다. 따라서 본 논문에서는 요구사항 분류언어를 통한 품질 요구사항 자동 분류 기법을 제안한다. 제안된 기법은 분류언어와 유사도를 이용한 2 단계 분류기법을 이용하였다. 분류언어는 각 도메인별로 개발되어 비슷한 도메인일 경우 재사용될 수 있다. 이를 검증하기 위해, 본 논문에서는 15 여개의 프로젝트로부터 수집된 요구사항을 이용해 실험을 수행하고 그 결과를 분석, 평가 하였다.

  • PDF

교통사고 자동탐지를 위한 다중시점 협업기반 상황인식 시스템 (Multiple-View Cooperation based Context Recognition System for Automatic Detection of Traffic Accidents)

  • 이시혁;민준기;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.273-275
    • /
    • 2011
  • 최근 교통량이 증가함에 따라 자동차 사고피해도 비례하여 증가하고 있으며, 이로 인해 CCTV 등과 같이 교통사고 예방에 소모되는 비용이 막대하게 지출되고 있다. 단일시점 카메라의 시스템은 객체들의 겹침, 카메라각도에 의한 인식오류 등으로 오차율이 높은 단점이 있다. 이를 보완하기 위해 다중시점의 협업기반 자동 상황인지 시스템을 제안한다. 제안하는 방법은먼저 영상데이터로부터 차량, 사람 등의 객체를 추출하고 이들 객체 쌍의 특징 정보를 계산한다. 이를 바탕으로 각 카메라 센서노드의 규칙기반 시스템을 이용하여 객체간의 사고여부를 가려낸다. 각 센서노드의 사고여부 정보는 메인서버로 수집되고, 수집된 정보는 상위 규칙에 의해 최종 사고 여부가 판단된다. 본 논문에서는 실제 교차로에 설치된세대의 카메라를 이용한 실험을 통해 제안하는 시스템의 성능을 검증하였다.

이벤트 알림서비스를 이용한 효율적인 비닐하우스 모니터링 애플리케이션 (Automtical Control System of GreenHouse Using Sensing Information)

  • 이주경;안현우;정상우;송특섭;전용하;김혜영;곽내정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.539-540
    • /
    • 2017
  • 본 논문에서는 센서를 이용하여 비닐하우스의 정보 데이터를 수집하고 비닐하우스 내부를 실시간으로 확인 할 수 있는 스마트 팜 자동 제어 시스템을 제안한다. 제안 시스템은 비닐하우스의 모니터링을 PC와 핸드폰에서 가능하도록 하였으며 비닐하우스의 센서 데이터를 주기적으로 수집하여 데이터에 이상 변화 이벤트가 감지가 될 경우 모니터링부로 알림 서비스를 제공한다.

  • PDF

시계열 학습 알고리즘을 이용한 뇌파 자동 분류 (EEG Classification using Time-series Learning Algorithm)

  • 김종환;남상하;김인철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.240-243
    • /
    • 2013
  • 본 논문에서는 로봇 제어 목적의 응용을 위해 SVM 알고리즘과 HMM 알고리즘을 근간으로 하는 효과적인 뇌파 데이터 자동 분류 방법을 제안한다. Emotive Epoc 헤드셋 뇌파 측정 장비를 이용하여 뇌파 데이터를 수집하고, 수집된 뇌파 데이터로부터 FFT알고리즘을 이용하여 특징 추출을 수행한다. 그리고 SVM 알고리즘을 이용한 1단계 분류 방법과 SVM 알고리즘의 분류 결과를 다시 입력 시퀀스로 삼아 시계열 학습 알고리즘인 HMM에 적용하는 2단계 분류 방법의 실험 결과를 소개한다.

영한 기계번역을 위한 영어 복합명사 자동 수집 (Automatic Collection of English Composition Nouns for English-Korean Machine Translation)

  • 조재호;김성동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.407-410
    • /
    • 2011
  • 영한 기계번역에서 복합명사는 어휘분석, 구문분석을 복잡하게 하고 사전에 의미가 등록되어 있지 않을 경우에는 올바르게 번역하기 어렵다. 또한 복합명사는 계속하여 새로 나타나고 있어, 정확하고 자연스러운 번역을 위해서는 복합명사를 독립적으로 처리하는 모듈이 필요하다. 본 논문에서는 복합명사를 구성하지 못하는 불용어를 파악하고 빈도수를 이용하여 복합명사를 자동으로 수집하는 방법을 제안한다. 문서를 번역하기 전에 복합명사를 파악하면, 복합명사에 대한 정보를 활용하여 어휘분석과 구문분석의 복잡도를 줄이고 복합명사를 포함한 문장을 보다 자연스럽게 번역할 수 있어 영한 기계번역 시스템의 성능 개선에 기여할 것이다.

텍스트 기반의 훈련 데이터 구축을 위한 자동 데이터 태깅 작업에 대한 연구 (A Study on Automatic Data Tagging for Text-based Training Data Construction)

  • 김나연;소혜령;박준호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.1008-1009
    • /
    • 2020
  • 텍스트 기반의 훈련 데이터는 데이터를 수집한 이후에 각 문자별로 태깅 작업이 필요하다. 말뭉치(Corpus)는 언어학에서 주로 이루고 있는 텍스트 집합이다. 말뭉치는 각 단어의 품사 표기에 대한 정보가 태그 형태로 되어 있다. 본 연구에서는 한국어 기반의 태깅 작업을 연구했으며, 기본 한국어 말뭉치가 아닌 기업이나 연구 기관에서 데이터를 수집하여 말뭉치나 별도 학습 데이터를 구축하기 위한 자동 태깅 방법에 대해 알아본다.

TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발 (Management System for Experimental Data In Remote Measurement Device Using TCP/IP Socket)

  • 김선영;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(B)
    • /
    • pp.397-400
    • /
    • 2010
  • 최근의 과학 실험은 그 규모나 내용에 있어서 점차 대형화되는 동시에 복잡해지고 있다. 이로 인하여 다양한 측정 장비로부터 도출된 실험 결과를 효율적으로 분석, 관리, 종합하는 도구의 필요성이 커지고 있다. 본 논문에서는 원격 측정 장치로부터 서로 다른 포맷의 실험 데이터를 자동 수집한 후 이중 정제한 데이터들만 추출하여 웹에서 시각화하는 실험 데이터 통합 관리 시스템을 제안한다. 먼저 원격 측정 장치의 데이터를 자동으로 수집하기 위해 폴링 서버를 설계하여 장치마다 폴링 에이전트를 도입하였다. 이를 통해 관리자가 각 측정 장치에 직접 접근하지 않고도 데이터를 수집할 수 있다. 폴링으로 확보한 데이터는 파싱을 통해 정제하고, 이들 데이터로 데이터베이스를 구축한다. 정제한 데이터는 시각화하여 사용자가 웹에서 쉽게 파악할 수 있다. 데이터 폴링은 TCP/IP Socket을 통해 수행하므로 보편적으로 사용하는 FTP 방식에 비해 데이터 확보 시 신뢰성을 높일 수 있으며, 폴링 여부 판단 시에는 동기식, 실제 폴링 시에는 비동기식 통신 방법을 사용하여 폴링의 효율을 높였다. 본 시스템을 활용하여 사용자의 임의적인 데이터 접근을 최소화하였고 데이터의 전송, 저장, 관리를 자동화함으로써 편의성을 높였다. 본 시스템을 활용하여 원격 실험 장치로부터 데이터를 확보할 때의 정확성과 폴링 및 파싱 속도를 실험을 통해 측정하였고, 그 결과 폴링 시 100%의 정확도와 정상 포맷의 데이터에 대해서 100%의 파싱 결과를 보임으로써 본 시스템이 원격 장치의 실험 데이터를 통합 관리할 때 적합함을 알 수 있었다. 추후 데이터의 속성에 따라 클러스터링 할 예정이며 클러스터링에 따른 시각화 서비스를 제공할 계획이다.

  • PDF