• 제목/요약/키워드: 데이터 수집 시스템

검색결과 3,469건 처리시간 0.038초

반전역(Semi-Global) 문자 정열을 이용한 비속어 수집 기법 (A Collecting Method for Swear Words Using Semi-Global Text Alignment)

  • 김성환;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.414-417
    • /
    • 2011
  • 단어 필터링 기법의 개발에 있어서 가장 큰 난제는 정상단어를 금지어로 인식하여 이를 차단하는 오탐지 문제이다. 이를 방지하기 위하여 다양한 문장에 대한 면밀하고 광범위한 검사가 필수적이나 일반적으로 쉽게 접근할 수 있는 데이터는 주로 단어 위주로 구성된 검증 데이터로 문장 또는 구절로 구성된 데이터의 양은 실제 검증에 활용하기에는 충분하지 못하다. 본 논문에서는 웹에서 수집한 방대한 양의 말뭉치 데이터에 반전역정열(Semi-Global Alignment)을 적용하여 주어진 금지어가 사용되거나 금지어와 유사한 단어가 존재하는 구간을 탐색함으로써 단어 필터링 시스템에서 범용적으로 사용될 수 있는 문장형 평가 데이터를 수집하는 시스템을 제안하고 해당 기법을 통하여 수집한 문장 단위 데이터를 분석하고 단어 필터링 시스템이 오탐지 방지를 위해 가져야할 요소들에 대하여 검토해 본다.

라즈베리 파이를 이용한 생체신호 수집시스템 개발 (Development of Acquisition System for Biological Signals using Raspberry Pi)

  • 유승훈;김시태;김동수;이영건
    • 한국정보통신학회논문지
    • /
    • 제25권12호
    • /
    • pp.1935-1941
    • /
    • 2021
  • 최근 다양한 분야에 적용되고 있는 딥러닝을 활용한 알고리즘 개발을 위해서는 양질의 풍부한 학습데이터가 갖춰져야 한다. 본 논문은 딥러닝 알고리즘 개발 시 활용도가 높고 정보 도출 시 유용한 광학 영상, 열화상, 음성 등의 생체신호 데이터를 동시에 수집하여 서버에 전송하는 생체신호 수집시스템을 제안한다. 수집기의 이동성을 높이기 위해 라즈베리 파이를 기반으로 제작하였고, 수집한 데이터는 무선 인터넷을 통해 서버로 전송한다. 복수의 수집기에서 동시에 데이터 수집이 가능하도록 피실험자별로 로그인을 위한 아이디를 부여했고, 이를 데이터베이스에 반영하여 데이터 관리가 용이하게 하였다. 제안하는 수집시스템의 활용방안을 보이기 위해 피로도 측정을 위한 생체신호 데이터 수집의 예시를 보인다.

빅데이터 수집을 위한 다채널 데이터 연계와 실시간 처리 시스템 설계 (Multi-channel data connection and Real-time processing system designed for Big Data collection)

  • 백경석;오재철;양재혁
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2016년도 춘계 종합학술대회 논문집
    • /
    • pp.269-270
    • /
    • 2016
  • 빅데이터 분석을 통한 여러 산업 군과 융합으로 시너지를 발생시키기 위해서, 다양한 유형의 데이터 수집을 통해 빅데이터를 구성하는 것이 첫 번째 단계이며 기상, 교통, 인터넷 활동, 상권 등의 다양한 출처로부터 데이터 연계를 수행하고 사물인터넷과 같은 실시간으로 발생하는 로그 성 데이터 수집을 고려한 실시간 처리 시스템을 설계 하였다. 이를 통해 서로 다른 유형의 데이터가 빅데이터로 수집 되면 여러 산업 군에서 요구되는 인사이트 기반의 빅데이터 분석을 통해 B2B 또는 B2C 서비스에 응용 될 수 있다.

  • PDF

센서 데이터 수집을 위한 대용량 NAND 플래시 파일 시스템의 설계 (Design of High-capacity NAND Flash File System supporting Sensor Data Collection)

  • 한경훈;이기혁;한형진;한지연;손기락
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권7호
    • /
    • pp.515-519
    • /
    • 2009
  • 센서 노드의 활용 분야가 점차 다양화되는 추세이므로 활용 분야에 적합한 다양한 데이터 수집 방법이 요구된다. 데이터의 실시간 감시가 불필요한 경우 수집과 동시에 전송을 수행하는 현재의 데이터 수집 방법은 불필요한 전력 소모 및 데이터 손실을 발생시킬 수 있다. 데이터를 수집한 노드가 데이터를 저장하고 질의에 의해 필요한 데이터를 획득하는 새로운 방법이 요구된다. NAND 플래시는 에너지 효율성이 좋고 대용량화가 쉬워 앞으로의 센서 노드용 저장소로 적합하다. 센서 노드는 4${\sim}$10 KByte의 적은 메모리를 지원하고 NAND 플래시는 덮어쓰기가 불가하고 쓰기 제한이 있어 효율성이 뛰어난 파일 시스템의 구축은 어렵다. 본 논문은 센서 노드 환경에서 대용량 NAND 플래시 파일 시스템의 설계에 대해 논한다. 파일 시스템은 전송 비용을 줄여 보다 장시간 동안의 데이터 수집을 가능하게 한다. 앞으로 다양한 분야에 적용되어 센서 네트워크 환경에서 핵심 구실을 할 것으로 예상한다.

산업체에서의 데이터와 신뢰성평가 (Data and reliability evaluation in industry)

  • 백재욱
    • 산업진흥연구
    • /
    • 제2권1호
    • /
    • pp.1-7
    • /
    • 2017
  • 제조기업의 경우 여러 종류의 데이터가 수집된다. 이 중 많은 데이터는 약간만 변형하면 제품의 신뢰성 평가에 유용한 정보로 활용될 수 있다. 이 연구에서는 우선 제조기업에서 수집될 수 있는 데이터로 제품, 기술, 재무, 고객 등과 관련된 데이터는 어떤 것이 있는지 살펴본다. 다음으로 데이터가 발생할 수 있는 근원으로서 회사의 비즈니스 매니지먼트 시스템, 과학저널, 시험 및 마케팅조사 데이터 등에 대해 알아본다. 다음으로 제품의 신뢰성평가를 위해 제품수명주기에 걸쳐 어떤 종류의 데이터가 수집되는지 알아본다. 우선 제품의 개발단계에서는 구성요소별로 신뢰성시험을 실시하고, 서브시스템 및 시스템 차원에서도 신뢰성시험을 실시하여 신뢰성 관련 데이터를 수집한다. 한편, 제조단계에서는 제품의 기능시험 및 설계변경시험 등에 관한 데이터를 수집하고, 필드단계에서는 제품의 필드에서 어떤 문제가 일어나는지 파악하여 데이터의 형태로 수집한다. 마지막으로 데이터 수집 시 추후의 합리적인 분석을 위해 들어가야 할 내용이 무엇인지 살펴본다.

IoT 기반 데이터센터 에너지 정보 수집 시스템 기술 (IoT based Energy data collection system for data center)

  • 강정훈;임호정;정혜동
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.893-895
    • /
    • 2016
  • 데이터센터는 지속적으로 IT 서버의 안정적 운영을 위해 실내 환경을 관리하고 있다. 서버가 과열로 동작영향을 받지 않도록 많은 에너지를 항온항습 기능에 투자하고 있다. 기축 데이터센터들은 건축 특징, 운영 방법에 따라 에너지 효율 격차가 크게 발생한다. 본 논문에서는 IoT 기술을 이용하여 기축 데이터센터의 현재 에너지 사용효율을 확인하고, 교체, 업그레이드 필요성을 판단하는 진단시스템 기술을 구현하였다. 해당 측정 정보는 IoT 센서를 통해 수집되며, 수집된 데이터는 클라우드 시스템에서 다양한 머신러닝 알고리즘에 입력되어, 에너지 비즈니스에 지표를 도출한다. IoT를 이용하여 구현한 진단 시스템은 설치, 데이터 수집, 분석에 3주이내의 시간 소요로, 기축 데이터센터의 에너지 효율향상에 많은 기여를 제공할 수 있다.

  • PDF

안전한 국방 빅데이터 프레임워크를 위한 Learned MAPE-K 기반 자료교환 시스템 (Data Exchange System Based on Learned MAPE-K for a Secure Defense Big Data Framework)

  • 조준하;유진용;김영갑
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.173-175
    • /
    • 2022
  • 국방 각급 부대는 망연계 자료교환 시스템에 의해 인터넷과 국방망을 연계하여 데이터를 수집하고 있다. 또한, 안전한 국방 데이터수집과 빅데이터 환경조성을 위해 악성코드를 내재한 데이터들을 차단 및 분류하는 데이터 검열을 수행한다. 그러나 수집되는 데이터들이 새로운 악성코드를 내재할 경우, 현재 운용되고 있는 국방 시스템으로 식별하는 것이 불가능하여 외부로부터의 보안위협이 존재한다. 따라서 본 논문에서는 새로운 악성코드 위협에도 대응할 수 있는 Learned MAPE-K 기반 자료교환 시스템을 제안한다.

생체 의학 빅 데이터 분석을 위한 생체 정보 수집 시스템 (A biometric information collecting system for biomedical big data analysis)

  • 임담섭;홍선학;구민오;민덕기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.513-516
    • /
    • 2013
  • 본 논문에서는 지능화된 의료 정보 시스템 구축 및 의료 빅 데이터 처리를 위한 생체 정보의 수집, 전송, 관리와 같은 일련의 체계화된 의료 정보 시스템의 구현 및 설계를 제공한다. 본 논문에서 제시하는 의료 정보 시스템은 소형화 및 저 전력화된 생체 정보 수집 센서와 이를 단계적으로 수집하여 중앙 의료 정보 시스템으로 전송하는 데이터 정보 전송 장치 및 저장 장치로 구성되어 있다. 기존 의료 정보 구축 환경은 간호사나 의사의 수기 작성에 의한 수집 및 비 자동화된 방법에 의한 구축으로 관리되어짐에 따라 장기적 관점에서의 의료 품질 향상 및 연구가 불가능하였다. 하지만, 본 논문에서 제시하는 의료 정보 수집 시스템을 통하여 인적 오류 극복 및 정보 수집 범위의 극대화를 추구할 수 있다. 더 나아가, 실시간 의료 정보 빅 데이터 분석 시스템과의 결합을 통해 환자 상태 분석 및 처방과 의료 품질 개선 전략 수립을 가능케 하며, 의료 정보 네트워크 구축을 통해 대형화 되어가는 의료 시장에 빠르게 대처할 수 있다.

  • PDF

공장설비 방출폐수 감시를 위한 저가의 데이터 수집 및 저장장치 개발 (A Development of Data Acquisition and Recorder System for Factory Wasted Water Supervisor and Analysis)

  • 김병진;문학룡;정을기;전희종
    • 조명전기설비학회논문지
    • /
    • 제14권2호
    • /
    • pp.83-88
    • /
    • 2000
  • 본 연구에서는 공장설비 방출폐수 감시를 위한 저가격의 데이터 수집 및 저장창치를 제안하였다. 제안된 시스템은 원칩 마이크로 콘트롤러를 이용하여 시스템의 회로를 간소화하였다. 구현된 시스템은 별도의 착탈 가능한 저장용 RAM 카드를 사용하여 데이터흘 손쉽게 수집할 수 있도록 하였다. 또한 수집 데이터의 분석를 위하여 ethernet에서 사용되고 있는 CSMA/CD방식에 적용하여 모니터링 컴퓨터와의 데0]터를 전송할 수 있도록 하였다. 본 연구에서는 이러한 데이터 수집 및 저장장치를 이용하여 하천으로 유입되는 폐수량에 대한 정보를 수집하였다. 수집된 수질정보는 오염 원인이다 경과를 분석하기 위하여 데이터베이스 구축에 사용되었다.

  • PDF

k-NN 기법을 이용한 학습자의 학습 행위 데이터의 이상치 분석 (Outlier Analysis of Learner's Learning Behaviors Data using k-NN Method)

  • 윤태복;정영모;이지형;차현진;박선희;김용세
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2007년도 학술대회 1부
    • /
    • pp.524-529
    • /
    • 2007
  • 지능형 학습 시스템은 학습자의 학습 과정에서 수집된 데이터를 분석하여 학습자에게 맞는 전략을 세우고 적합한 서비스를 제공하는 시스템이다. 학습자에게 적합한 서비스를 위해서는 학습자 모델링 작업이 우선시 되며, 이 모델 생성을 위해서 학습자의 학습 과정에서 발생한 데이터를 수집하고 분석하게 된다. 하지만, 수집된 데이터가 학습자의 일관되지 못한 행위나 비예측 학습 성향을 포함하고 있다면, 생성된 모델을 신뢰하기 어렵다. 본 논문에서는 학습자에게서 수집된 데이터를 거리기반 이상치 선별 방법인 k-NN을 이용하여 이상치를 선별한다. 실험에서는 홈 인테리어 컨텐츠 기반에 학습자의 학습 행위에 대한 학습 성향을 진단하기 위한 DOLLS-HI를 이용하여, 수집된 학습자의 데이터에서 이상치를 분류하고 학습 성향 진단을 위한 모델을 생성하였다. 생성된 모델은 이상치 분류전과 비교하여 신뢰가 향상된 것을 확인하였다.

  • PDF