• Title/Summary/Keyword: 데이터 비만도

Search Result 10,504, Processing Time 0.039 seconds

한국어 텍스트 데이터의 품질 평가 요소 및 방법 (Methods of Korean Text Data Quality Assessment)

  • 김정욱;홍초희;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.619-622
    • /
    • 2018
  • 최근 데이터의 형태는 점점 다양화되고 증가하고 있기 때문에 데이터의 체계적 분류 및 관리의 필요성이 증대되고 있다. 이러한 목적을 위하여 데이터에 대한 품질 평가는 중요한 요소가 된다. 최근 데이터는 기존의 정형화된 데이터보다 비정형 데이터가 대부분을 차지하고 있다. 그러나 기존의 데이터 품질 평가는 정형 데이터에 편중되어 왔다. 따라서 다양한 형태와 의미를 가지고 있는 비정형 데이터는 기존의 평가 기술로는 품질을 측정하기 어렵다. 이와 같은 문제로 본 논문은 텍스트기반의 비정형 데이터에 적용 가능한 영역별 평가 지표를 구축하고, 신문기사와 커뮤니티(질의응답)데이터를 사용하여 각 요소별 품질을 측정하여 그 결과에 대해서 고찰하였다.

  • PDF

디지털 데이터 방송 환경에서 동기화 데이터 서비스를 위한 전송 시스템 설계 (Transmission system design for synchronized data service on digital data broadcasting environment)

  • 이용주;박민식;최지훈;최진수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2003년도 정기총회 및 학술대회
    • /
    • pp.201-204
    • /
    • 2003
  • 본 논문에서는 디지털 데이터 방송에서 동기화 데이터 서비스를 제공하기 위한 전송 시스템과 이를 이용한 동기화 데이터 서비스 방법을 제안한다. 데이터 방송을 통해 전송되는 부가 데이터는 그 특징에 따라 비동기, 동기, 동기화 데이터로 구분된다. 이들 중 동기화 데이터는 사용자의 선택에 의해 데이터 방송 수신기에서 재생되는 비동기 데이터와는 달리 비디오 또는 오디오의 특정 장면에 통기되어 재생될 수 있는 데이터고서, 데이터를 전송하는 단계에서 데이터가 재생되어야 하는 시전의 시간 정보인 재생시각이 함께 전송되는 특징이 있다. 동기화 데이터의 이와 같은 특징으로 인해 현재 대부분의 데이터 방송에 사용되고 있는 비동기 데이터 서비스를 위한 전송 시스템은 동기화 데이터의 전송에는 부적합하며, 동기화 데이터 서비스를 위해서는 새로운 전송 시스템에 대한 연구가 필요하다. 본 논문에서는 데이터 방송을 동해 동기화 데이터 서비스를 제공하기 위해 기존의 비동기 데이터 전송 시스템에 MPEG-2 오디오/비디오 TS(Transport Stream)를 출력하는 장치와 동기화 데이터를 다중화 하는 장치를 추가한 새로운 동기화 데이터 전송 시스템과 이를 이용한 동기화 데이터 서비스 방법을 제안한다

  • PDF

비식별 데이터의 유사성 보존에 관한 연구 (A Study on the Preservation of Similarity of privated Data)

  • 강동현;오현석;용우석;이원석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.285-288
    • /
    • 2017
  • 비식별화 모델은 데이터 공유를 위한 모델로 원본데이터를 비식별화 변환 처리하여 개인정보를 보호함과 동시에 분석에 필요한 데이터를 외부에 제공하는 모델로 연구되어 왔다. 변환 방법으로는 삭제, 일반화, 범주화 기술 등이 주로 사용되며 변환 과정 중에는 재식별 가능성을 최소화하기 위해 k-익명성, l-다양성, t-근접성 혹은 differential privacy 등의 프라이버시 모델이 적용되고 있다. 하지만 변환된 비식별 데이터 세트는 필연적으로 원본 데이터 세트와 다른 값을 가지며 이는 결과적으로 최종 분석 결과에 영향을 주게 된다. 이를 위해 두 데이터 세트 간의 차이를 상이도(dissimilarity) 혹은 정보 손실율(information loss)이라는 지표로 측정 하고 있으며 본 지표는 비식별 데이터의 활용성을 평가 하는 데에 매우 중요한 역할을 한다. 본 연구에서는 비식별 데이터와 원본 데이터와 간의 차이를 도메인 기반의 절대적인 기준대비로 표현한 상이도 측정 방법을 제안하며, 그 유효성을 실데이터 기반의 실험을 통해 검증하였다.

무선 ATM망에서 실시간 멀티미디어 데이터 서비스를 위한 스케줄링 정책 (Real-time Multimedia data service scheduling in Wireless ATM Netsworks)

  • 민승현;이현정;이정환;신규철;김명준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.814-816
    • /
    • 2001
  • 최근 정보 통신 기술의 발전에 따라 음성 서비스 등과 같은 단일 서비스를 제공하던 무선 통신망이 음성, 데이터, 고화질 정지화면, 동영상 및 다양한 정보형태의 멀티미디어 데이터 서비스를 추구하고 있다. 효율적인 실시간 멀티미디어 데이터 전송을 위해서는 실시간 데이터의 지연한계를 보장하고 비 실시간 멀티미디어 데이터들의 데이터 손실을 최소화해야 한다. 무선 ATM망은 기본적으로 ATM 전송방식을 사용하고 있지만 유선 ATM망에 비해 제한된 대역폭파 높은 전송지연, 비트 에러율과 이동성이라는 특수성을 고려하여 유선 ATM망과 많은 차이가 있다. 무선 ATM망에서 실시간 멀티미디어 데이터 서비스 전송을 위한 스케줄링 방법으로 유선 ATM망에서 실시간 멀티미디어 데이터 서비스를 위해 적용되는 TCRM(Traffic-Controlled Rate Monotonic Priority scheduing)정책을 Uplink 와 Downlink 시 각각 다른 방법으로 적용하여 실시간 멀티미디어 데이터 전송 스케줄링 정clr을 제안하고, 예약버퍼(reservation buffer) 와 임의의 전송 속도 P$_{k}$ 를 사용하여 TCRM의 단점인 비 실시간 데이터에 대한 비효율성 문제 해결안을 제시한다.

  • PDF

비정형 데이터를 위한 다차원 색인구조 (A Multi-Dimensional Index Structure for Unformatted Data)

  • 송석일;파준일;이석희;유재수;조기형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.67-69
    • /
    • 2001
  • 최근 이미지나 멀티미디어 데이터와 같은 비정형 데이터의 검색을 보다 효과적으로 수행하기 위한 연구가 활발하게 진행되어 왔다. 비정형 데이터를 검색하기 위해서는 비정형 데이터를 다차원의 특징 벡터로 변환하고, 그것을 다차원 색인구조를 이용해 색인한다. 따라서 이러한 비정형 데이터를 효율적으로 색인 할 수 있는 다차원 색인구조가 요구되고 있다. 이 논문에서는 데이터를 벡터 근사치로 표현한 후 이를 트리 형태로 구성하여 검색이 효율을 높이는 다차원 데이터를 위한 색인구조 VA(Vector Approximate)-트리를 제안한다. 이 논문에서 제안하는 VA-트리는 VA-파일과 K-D-B-트리 구조를 기반으로 하고 있다. VA-트리는 적은 비트를 이용하여 다차원 공간을 표현하기 위해 노드내의 모든 정보를 비트로 표현한다. 중간노드의 비트 형태 엔트리는 하위노드에 포함된 정보를 의미하고 있어 탐색을 효율적으로 수행할 수 있도록 한다. 실험을 통한 성능평가를 수행하여 제안된 색인구조의 우수함을 보인다.

  • PDF

S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법 (An Efficient Spatial Data Transformation Method Using Caching on S-XML Middleware)

  • 이동욱;장용일;박순영;오영환;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.47-50
    • /
    • 2005
  • 본 논문에서는 S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법을 제안한다. 공간 데이터베이스 관리 시스템(SDBMS)을 기반으로 하여 S-XML 을 지원하는 시스템은 SDBMS 에서 사용되는 이진 데이터와 S-XML 간의 상호 변환 과정이 필요하다. 특히 변환 과정에서 공간 데이터는 비공간 데이터에 비해 데이터 크기가 크고, 복잡한 동시에 다양한 데이터 형식을 가지고 있어 비공간 데이터에 비해 변환 비용이 크다. 따라서 공간 데이터의 특성을 고려한 변환 비용 감소 기법이 필요하다. 제안 기법은 SDBMS 의 질의 처리 결과인 이진 데이터를 S-XML 문서로 변환하고, S-XML 미들웨어의 캐싱 관리자에서 공간 데이터에 해당하는 부분만을 캐싱 한다. 캐싱 관리자는 질의를 점 질의와 영역 질의로 구분한다. 점 질의의 결과에 대해서는 공간 데이터의 OID 를 키 값으로 하는 해쉬 색인을 사용하며, 영역 질의 결과에 대해서는 질의에서 표현된 MBR 에 따라 R-Tree 색인을 사용한다. 변환 과정에서 요구되는 공간 데이터가 캐싱된 데이터로 존재하면 질의 종류에 따른 색인을 사용하여 데이터를 추출하고 이를 S-XML 데이터로 치환한다. 캐싱 데이터를 이용한 공간 데이터 변환 기법에 의해 공간 데이터의 변환 비용을 줄임으로써 S-XML 미들웨어 에서의 변환 시간을 단축할 수 있다.

  • PDF

스마트한 QR코드에 의한 비저장식 데이터 기록 시스템 및 비저장식 데이터 제공방법에 관한 연구 (A study on non­storage data recording system and non­storage data providing method by smart QR code)

  • 오은열
    • 융합정보논문지
    • /
    • 제9권4호
    • /
    • pp.14-20
    • /
    • 2019
  • 본 논문은 원 데이터를 암호화하여 URL(Uniform Resource Locator)정보 형식으로 변형하고, URL정보를 QR코드로 인코딩함으로써 원 데이터의 저장없이 QR코드를 매개로 데이터를 기록하고 해독할 수 있도록 하는 스마트한 QR코드에 의한 비저장식 데이터 기록 시스템 및 비저장식 데이터 제공방법을 제시하는 데 목적이 있다. 연구의 방법은 선행기술연구와 문헌조사를 통해 연구의 차별성을 두기 위한 방법을 제시했으며 분석결과, 온라인 관리서버에 구축되는 시스템으로서, 데이터 입력 신호별 매칭 암호가 저장된 암호DB, QR코드 생성 명령에 따라 입력데이터를 암호DB에서 매칭되는 암호정보로 치환하여 관리서버 도메인네임의 하위 로케이터로 결합시킨 URL정보로 변환시키고, URL정보를 QR코드로 인코딩하는 코드 생성부, 그리고 URL접속신호 수신에 따라, URL정보를 입력데이터로 변환 제공하는 암호 해독부를 포함하는 QR코드에 의한 비저장식 데이터 기록시스템을 제공한다. 따라서 스마트한 QR방식의 데이터관리방식(기록과 제공)은 사용의 편리성과 공간의 제약이나 용량사용의 장애가 없다는 점을 밝히고 있다.

정형 및 비정형 데이터를 이용한 농산물 구매량 예측: 파프리카를 중심으로 (Prediction of Agricultural Purchases Using Structured and Unstructured Data: Focusing on Paprika)

  • ;이경희;라형철;최은선;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권2호
    • /
    • pp.169-179
    • /
    • 2021
  • 소비자의 식품소비행동은 소비자 패널 데이터와 같은 정형 데이터 뿐 아니라 매스미디어와 소셜미디어(SNS) 등 비정형 데이터로부터 영향을 받을 가능성이 높아지고 있다. 본 연구에서는 식품소비 관련된 정형 데이터와 비정형 데이터를 연계한 융합데이터 셋에 대하여 딥러닝 기반의 소비예측 모델을 생성하고 이를 검증한다. 연구의 결과는 정형 데이터와 비정형 데이터를 결합할 때 모델 정확도가 향상되었음을 보여주었다. 또한 비정형 데이터가 모델 예측 가능성을 향상시키는 것으로 나타났다. 변수들의 중요도를 식별하기 위해 SHAP 기법을 사용한 결과 블로그 및 비디오 데이터 관련 변수가 상위 목록에 있었고, 파프리카 구매 금액과 양의 상관관계가 있음을 알 수 있었다. 또한 실험 결과에 따르면 머신러닝 모델이 딥러닝 모델보다 높은 정확도를 보였고, 기존의 시계열 분석 모델링에 대한 효율적인 대안이 될 수 있음을 확인하였다.

비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한효율적인 데이터 재배치 알고리즘 (An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-Dedicated Distributed Computing Environments)

  • 류은경;손인국;박준호;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2013년도 춘계 종합학술대회 논문집
    • /
    • pp.39-40
    • /
    • 2013
  • 최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

  • PDF

비선형 채널 왜곡 보상을 위한 입력 데이터를 발생시키는 적응등화기 (Adaptive Equalizer Generating Input Data to Compensate Nonlinear Channel Distortion)

  • 박동진
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1998년도 추계종합학술대회
    • /
    • pp.398-402
    • /
    • 1998
  • 본 논문에서는 유ㆍ무선 통신 채널을 통한 데이터 전송시 발생하는 비선형 왜곡을 적응 필터를 이용하여 보상하였다. 특히 통신채널에서는 심볼간 간섭(ISI)이 발생하는데 이러한 간섭을 비선형 필터를 이용하여 제거하였다. 비선형 채널을 모델링하는 방법에는 볼테라급수를 이용하는 방법과 쌍선형 방법이 있다. 쌍선형 방법은 볼테라 방법에 비하여 계산량이 적은 장점을 지니고 있다. 따라서 쌍선형 필터에 적응 알고리듬을 적용하여 신호의 왜곡을 보상하였다. 적응 알고리듬에는 LMS 계열과 LS 계열 알고리듬이 있으나 통신 채널에서는 알고리듬의 안정도가 중요하므로 LMS 계열 알고리듬을 적용하였다. 또한 적응 알고리듬은 입력 데이터의 상관성과 데이터 수에 의존하여 수렴속도와 안정도가 결정된다. 알고리듬의 수렴속도를 증가시키기 위하여 입력신호를 신호파형으로부터 다량의 데이터를 검출하는 방법을 적용하였다. 이러한 방법을 입증하기 위하여 입력신호는 2진 랜덤 가우시안 데이터를 이용하였고, 통신채널에서 채널간 간섭을 발생시켰으며 화이트 가우시안 잡음을 부가 시켰다. 이러한 신호를 수신한 수신기에 적응 등화기를 설계하여 대량의 데이터를 생성시키고, 적응 알고리듬을 적용하여 채널의 왜곡을 빠른 속도로 보상하였다.

  • PDF