• 제목/요약/키워드: 데이터수집시스템

검색결과 3,469건 처리시간 0.038초

생의학 분야 학술 논문에서의 개체명 인식 및 관계 추출을 위한 언어 자원 수집 및 통합적 구조화 방안 연구 (A Study on Collecting and Structuring Language Resource for Named Entity Recognition and Relation Extraction from Biomedical Abstracts)

  • 강슬기;최윤수;최성필
    • 한국문헌정보학회지
    • /
    • 제51권4호
    • /
    • pp.227-248
    • /
    • 2017
  • 본 논문에서는 급격히 증가하는 생의학 분야 비정형 텍스트에서 핵심적 내용을 추출할 수 있는 기계학습 기반 정보 추출시스템을 구축하기 위한 언어자원 수집 및 통합적 구조화 방안을 제안한다. 제안된 방법은 정보 추출 시스템을 크게 개체명 인식과 개체명 간 관계 추출 시스템으로 구분하고, 각각의 시스템에 적합한 학습데이터를 구성하기 위해 생의학 분야 개체명 사전과 학습 집합을 수집한다. 그리고 수집된 해당 자원들의 특성을 분석하여 개체 구별을 위해 필수적으로 포함시켜야 할 항목들을 도출하고 이를 통해 시스템 학습과정에서 사용될 학습 데이터를 구성하기 위한 항목을 선정한다. 이와 같이 선정된 학습데이터의 구성 내용에 따라 수집된 자원들을 가공하여 학습 데이터를 구축한다. 본 연구에서는 생의학 분야의 하위 분야인 유전자, 단백질, 질병, 약물 4개 분야에 대한 개체명 사전과 학습 집합을 수집하여 각각을 학습 데이터로 구축하였으며, 개체명 사전을 통해 구축된 개체명 인식용 학습 데이터를 대상으로 개체명 수용 범위를 측정하기 위한 검증 과정을 수행하였다.

GNSS 수신기용 고속데이터 수집장치 설계 (Design of High Speed Data Acquisition System for GNSS Receiver)

  • 박찬식;김태호;이학주;조종철;이상정;차은종
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2006년도 춘계학술대회 학술발표 논문집 제16권 제1호
    • /
    • pp.249-253
    • /
    • 2006
  • 본 논문에서는 USB 2.0을 이용하여 고속 GNSS 데이터 수집장치 설계 및 구현을 하였으며 16bit, 5.714MHz의 샘플링 시간을 만족 시키기 위해 USB 펌웨어, 디바이스 드라이버, 응용프로그램 그리고 하드웨어부인 RF, 마이크로프로세서, USB을 설계 및 제작하여 실험 하였고 SDR 프로그램을 통하여 확인하였다.

  • PDF

제조기업 현장 데이터를 이용한 빅데이터 분석시스템 모델

  • 김재중;성백민;유재곤;강찬우;김종배
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.741-743
    • /
    • 2015
  • 오늘날 BI(Business Intelligence)시스템 다차원 데이터를 다루는 많은 방법들이 제안되어 TB 이상의 데이터를 다룰 수 있다. 하지만 IT 전문가 및 IT에 대한 투자여력이 충분하지 않은 중소 제조 기업들은 발 맞춰가기 힘들다. 또한 생산관리시스템(MES)을 미 도입한 기업이 대다수이고, 존재하는 현장데이터의 대부분도 수기데이터 또는 Excel 데이터로 보관 되어 있어, 수작업에 의한 데이터 분석과 의사결정을 수행한다. 이로 인해, 불량 요인 파악이나 이상 현상 파악이 불분명하기 때문에 데이터 분석에 어려움을 겪는다. 이에 본 연구에서는 중소제조기업의 경쟁력 강화를 위하여 제조 기업현장에서 사용되는 데이터를 자동으로 수집하여 정제 및 처리하여 저장이 가능하도록 하는 빅 데이터 분석 시스템 모델을 개발하였다. 이 분석 시스템 모델은 ERP, MIS 등에 존재하는 데이터들이 각 시스템의 DB 기능을 활용하여 데이터를 추출하고 정제하여 수집하는 ETL(Extract Transform Loading)과정을 통한다. 현장에서 비정형으로 기록되고 있는 정보들(ex. Excel)은 ODE(Office Data Excavation)모듈을 통해 문서의 패턴을 자동으로 인식하고 정형화된 정보로서 추출, 정제되어 수집된다. 저장된 데이터는 오픈소스 데이터 시각화 라이브러리인 D3.js를 이용하여 다양한 chart들을 통한 강력한 시각효과를 제공함으로써, 정보간의 연관 관계 및 다차원 분석의 기반을 마련하여 의사결정체계를 효과적으로 지원한다. 또한, 높은 가격에 형성되어 있는 빅데이터 솔루션을 대신해 오픈소스 Spago BI를 이용하여 경제적인 빅 데이터 솔루션을 제공한다. 본 연구의 기대효과로는 첫째, 현장 데이터 중심의 효과적인 의사결정 기반을 마련할 수 있다. 둘째, 통합 데이터 기반의 연관/다차원 분석으로 경영 효율성이 향상된다. 마지막으로, 중소 제조기업 환경에 적합한 분석 시스템을 구축함으로써 경쟁력과 생산력을 강화한다.

  • PDF

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

USN 기반의 지하역사 모니터링 시스템의 설계 및 개발 (Design and Development of Monitoring System for Subway Station based on USN)

  • 이석철;정신일;김창수
    • 한국멀티미디어학회논문지
    • /
    • 제12권11호
    • /
    • pp.1629-1639
    • /
    • 2009
  • 본 논문은 지하철 역사의 쾌적한 환경 유지를 위한 USN 기반의 환경 모니터링 시스템에 관한 내용을 수록하고 있다. 개발된 시스템은 통합 센서 장비 기반의 센서 필드, 측정된 센서 장비의 데이터를 수집, 분석, 저장하는 미들웨어, 수집된 데이터를 사용자에게 서비스하는 로컬 및 웹 기반 모니터링 시스템으로 구성되어 있다. 본 논문에서는 환경 측정을 위해 온/습도, 미세먼지 센서와 선로의 청결 유지 관리를 위한 물탱크의 수위 레벨 센서를 기본적인 실험환경으로 구성하였고, 기존 설치된 센서와의 연동을 위한 4~20mA의 아날로그 센서와 지그비(Zigbee) 기반 센서 네트워크 장비인 Telos-b를 연동한 장치로 구성하여 현장에 기 구축된 센서의 재사용이 가능하도록 하였다. 미들웨어는 멀티 홉 센서 네트워크를 통한 데이터 수집과, 수집된 데이터를 분석, 저장하는 기능을 내장하였고, 모니터링 시스템은 상황실을 위한 로컬 모니터링과 원격지에서의 웹 기반 모니터링을 지원한다. 본 논문에서 제안하는 미들웨어와 모니터링 시스템은 컴포넌트 형태로 구성되어 개발된 센서의 종류가 변경되거나 응용 프로그램의 목적이 변경되어도 재사용할 수 있는 장점을 가진다. 개발된 시스템은 기존의 PLC 기반의 시스템과 비교하였을 때, 센서 장치의 이동성과 시스템의 분산 환경을 지원하고 미들웨어에서 지원하는 데이터 수집 및 관리 기능은 각종 통계자료로 활용이 가능하다.

  • PDF

교육기관 보안관제를 위한 효율적인 정보보호 수집체계에 관한 연구 (A Study On Information Security Data Collecting System For Security Monitoring Of Education Facilities)

  • 권성호;안재호;윤성준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.597-598
    • /
    • 2009
  • 최근의 국가 민간의 정보시스템을 위협하는 공격들은 점점 더 복잡해지고 정교해지고 있다. 이러한 공격들에 대응하기 위하여 범국가적으로 사이버안전센터들이 설립 운영되고 있다. 그러나 이러한 대량의 정보보호 데이터를 수집 분석 대응하는 것은 여러 가지 어려움들이 존재한다. 그 문제의 본질적인 부분은 바로 방대한 데이터의 양(量)이다. 다수의 보안관제 대상 인프라들의 모든 보안데이터를 수집 하는 것은 사실상 불가능하며, 대부분의 센터들은 네트워크 접점에 중앙관리형 보안인프라를 설치함으로써 그 해결점을 찾고 있지만, 이는 최근의 나타나고 있는 다차원적인 공격에 대응하기에는 한계가 있다. 본 논문에서는 이러한 다차원 분석시스템의 기본데이터가 되는 여러 보안정보를 효과적으로 수집할 수 있는 보안정보 수집체계를 제시하고자 한다.

사람의 감정 데이터 수집 및 분석을 위한 프로토콜 개발 및 적용 (Development and application of protocol for collecting and analyzing human emotion data)

  • 류제우;황우현;김덕환;민기연;이영선
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.134-136
    • /
    • 2019
  • 본 논문에서는 사람의 내면상태 인식을 위한 상호작용 체계 구축을 위하여 사람의 감정 데이터를 효과적으로 수집하기 위한 프로토콜을 제안하고, 프로토콜에 따라 수집된 데이터에 대한 분석 및 결과를 제시한다. 감정 데이터 수집 프로토콜의 개발은 기존 문헌과 시스템 리뷰를 통한 감정분류체계 수립, 분류체계에 따른 감정 유발 영상 수집 및 신뢰도 확보, 감정 데이터 수집을 위한 인간 대상 실험 절차 구축 및 타당도 확보의 단계로 이루어졌다. 수집된 사람의 실시간 감정 데이터는 기계학습을 통한 감정 분류 연구의 기준으로 활용이 가능하다.

  • PDF

멀티-세션 오픈 도메인 지식기반 대화 수집 툴 (Multi-Session Open Domain Knowledge-based dialog collection Tool)

  • 김태용;김산;신사임
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.491-496
    • /
    • 2022
  • 최근 멀티-세션 데이터로 장기간 페르소나와 대화 일관성을 유지하며 인터넷에서 대화와 관련된 지식을 활용하는 대화모델 연구가 활발히 진행되고 있다. 하지만 이를 위한 한국어 멀티-세션 오픈 도메인 지식 기반 대화 데이터는 공개되지 않아 한국어 대화모델 연구에 어려움이 있다. 따라서 본 논문에서는 한국어 멀티-세션 오픈 도메인 지식 기반 데이터의 필요성을 시사하고, 데이터 수집을 위한 툴을 제안한다. 제안하는 수집 툴은 양질의 데이터 수집을 위해 작업자들이 사용하기 편하도록 UI/UX를 구성하였으며, 대화 생성 시 텍스트뿐만 아니라 정보가 밀집된 테이블도 대화에 활용할 지식으로 참조할 수 있도록 구현하였다. 제안하는 수집 툴은 웹 랜덤채팅 시스템에 기반을 두어 작업자가 여러 다른 작업자와 같은 확률로 매칭되게 구현되었으며, 일정 확률로 기존 대화로부터 대화를 시작하도록 함으로써 멀티-세션 대화 수집이 가능하도록 하였다.

  • PDF

macOS 메모리 포렌식을 위한 데이터 수집 및 분석 방법에 대한 연구 (A Study on Data Acquisition and Analysis Methods for Mac Memory Forensics)

  • 이정우;김도현
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.179-192
    • /
    • 2024
  • macOS는 Apple 사의 제품군에서만 사용할 수 있고 독자적인 시스템 구조, 비공개 커널, 시스템 무결성 보호를 위한 SIP(System Integrity Protection) 등의 보안 기능 등으로 인해 기존에 알려진 메모리 데이터 수집 도구들이 실제로는 제대로 작동하지 않거나 시스템 재부팅을 필수적으로 동반해야 한다는 문제가 있다. 따라서 본 논문은 macOS와 관련된 메모리 포렌식 관련 연구들과 알려진 도구들의 현황 및 한계점을 분석하고 다양한 macOS버전을 대상으로 메모리 수집과 분석을 위한 방법을 연구했다. 그 결과 OSXPmem과 dd 도구를 사용하여 시스템 재부팅 없이 메모리 데이터를 수집하고 Volatility 2, 3를 활용하여 메모리 데이터를 분석하는 디지털 포렌식 조사에서 실무적으로 활용할 수 있는 메모리 수집 및 분석 프로세스를 개발했다.

비보호 저속망 환경에서의 고용량 음향데이터의 최적화 전송 및 보호 시스템 구현 (An implementation of stable transmission and security management system of massive acoustic data in unsecurity and low speed network area)

  • 선두영;김덕영;김용득
    • 한국정보통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.1323-1330
    • /
    • 2010
  • 음향데이터 수집체계가 다양화되고 고성능화 됨에 따라 수집되는 음향데이터의 양은 기하급수적으로 증가되었다. 이렇게 수집된 음향데이터는 정밀한 분석을 위하여 분석환경으로의 전송이 필요하다. 이러한 수집/분석 체계에서는 빠르고 안정적인 전송은 물론 고도의 완벽한 보안이 요구된다. 하지만 기존시스템은 체송방식을 사용하기 때문에 자료전달에 많은 시간이 필요하다. 아울러 네트워크를 사용하는 경우에 비보호 저속망은 전송 안정성과 자료 보호성이 취약하여 구현이 불가능하다. 이에 본 논문에서는 일반적으로 사용되는 비보호 저속망 환경에서 고용량의 수집 음향데이터를 전송하고 보호하는 시스템을 제시한다. 구현된 시스템은 비보호 저속망 환경에서도 안전하게 음향데이터를 전송하고 다양한 위협 요소로부터 안전하게 음향데이터를 보호한다.