• Title/Summary/Keyword: Large tag data

Search Result 67, Processing Time 0.024 seconds

스트리밍 방식을 이용한 대용량 DEM 프로세싱 프로그램의 개발 (Developing Program for Processing a Mass DEM Data using Streaming Method)

  • 이동하;이영균;서용철
    • 대한공간정보학회지
    • /
    • 제17권4호
    • /
    • pp.61-66
    • /
    • 2009
  • 본 연구는 넓은 지역의 DEM 생성 시 하드웨어 성능에 따라 자료를 부분적으로 처리해야 하는 불편을 개선하고 DEM의 정밀도를 개선하는 것에 그 목적이 있다. 본 연구에서 개발된 DEM Generator 프로그램은 대용량 LiDAR 자료, 수치지형도 자료에 스트리밍 방식을 적용하여 인덱싱 및 델로니 삼각망 생성을 수행하고, Natural Neighborhood 또는 TIN 보간법을 적용한 가상 파일을 생성하여 특정한 해상도로 대규모 지역의 DEM 및 음영기 복도를 효율적으로 생성하도록 설계되었다. 최종적으로 생성된 DEM 및 음영기복도는 GeoTIFF 포맷으로 제공된다. DEM Generator 프로그램은 GIS, 기상, 환경 분석 등 넓은 지역의 DEM 생성이 필요한 분야에서 기존의 부분적인 DEM 생성 및 인접 처리 과정에 의해 발생했던 시간적 경제적 손실을 절감시킬 수 있을 것으로 판단되며, 추가적인 인접 및 수정 작업이 불필요하여 DEM의 정밀도를 높일 수 있을 것으로 판단된다.

  • PDF

지하공동구 관리를 위한 고속 검색 데이터 생성 및 사용자 맞춤형 서비스 방안 설계 (Design of Data Generating for Fast Searching and Customized Service for Underground Utility Facilities)

  • 박종화;전지혜;박구만
    • 방송공학회논문지
    • /
    • 제26권4호
    • /
    • pp.390-397
    • /
    • 2021
  • 디지털 트윈 기술을 다양한 산업 분야에 응용함에 따라 대용량 데이터를 효과적으로 처리하기 위한 기술들이 필요하다. 본 논문에서는 지하 공동구 관리를 위한 대용량 데이터를 고속 검색하고 효과적인 전달을 위한 맞춤형 서비스 방안에 대해 논한다. 제안하는 방안은 크게 두 가지로 방대한 데이터를 효율적으로 검색하고 축약해서 보여주기 위한 고속 검색 데이터 생성 방법과 맞춤형 정보 서비스 분할 방법에 대해 제안한다. 고속 검색 데이터 생성에서는 지하 공동구 내 센서들에 의해 수집되는 시계열 분석을 위한 동기화 과정에 대해 구성과 데이터 축약에 따른 부가정보 방안에 대해서 논한다. 사용자 맞춤형 서비스 방법에서는 평상시와 재난 시의 사용자 유형을 정의하고 그에 따른 서비스하는 방법에 대해 논한다. 본 연구를 통해 재난 상황에서 대용량 데이터를 효과적으로 검색하고 서비스 받을 수 있는 지하 공동구 관리를 위한 데이터 생성과 서비스 모델에 대한 체계성을 갖출 수 있을 것으로 예상된다.

R&D Perspective Social Issue Packaging using Text Analysis

  • Wong, William Xiu Shun;Kim, Namgyu
    • 한국IT서비스학회지
    • /
    • 제15권3호
    • /
    • pp.71-95
    • /
    • 2016
  • In recent years, text mining has been used to extract meaningful insights from the large volume of unstructured text data sets of various domains. As one of the most representative text mining applications, topic modeling has been widely used to extract main topics in the form of a set of keywords extracted from a large collection of documents. In general, topic modeling is performed according to the weighted frequency of words in a document corpus. However, general topic modeling cannot discover the relation between documents if the documents share only a few terms, although the documents are in fact strongly related from a particular perspective. For instance, a document about "sexual offense" and another document about "silver industry for aged persons" might not be classified into the same topic because they may not share many key terms. However, these two documents can be strongly related from the R&D perspective because some technologies, such as "RF Tag," "CCTV," and "Heart Rate Sensor," are core components of both "sexual offense" and "silver industry." Thus, in this study, we attempted to discover the differences between the results of general topic modeling and R&D perspective topic modeling. Furthermore, we package social issues from the R&D perspective and present a prototype system, which provides a package of news articles for each R&D issue. Finally, we analyze the quality of R&D perspective topic modeling and provide the results of inter- and intra-topic analysis.

대규모 태깅 데이터를 이용한 태깅 온톨로지 학습 (Learning Tagging Ontology from Large Tagging Data)

  • 강신재
    • 한국지능시스템학회논문지
    • /
    • 제18권2호
    • /
    • pp.157-162
    • /
    • 2008
  • 본 논문은 대중에 의해 자유롭게 생성된 분류 체계인 폭소노미, 즉 대규모의 태깅 데이터로부터 태깅 온톨로지를 학습하는 방법을 제시하고 있다. 기존 소셜웹 시스템간에는 태깅의 의미에 대해 공통의 합의가 이루어지지 않았기 때문에, 시스템마다 태깅 정보를 표현하기 위해 내부적으로 다른 방법을 쓰고 있으며, 따라서 소프트웨어 에이전트를 이용하여 시스템간의 정보처리를 자동으로 할 수가 없다. 이를 해결하는 방법으로 폭소노미를 위한 태깅 온톨로지가 필요하다. 태깅의 본질적인 속성을 분석하여 태깅 온톨로지를 정의하고, 태깅 데이터의 기계 학습을 통하여 유사 태그와 사용자 그룹 정보를 획득한 후, 태깅 온톨로지를 학습한다. 이의 활용 방안으로 학습된 태깅 온톨로지를 이용하여 모델링한 추천 시스템도 제안한다.

생체정보를 이용한 RFID 정보보호 (RFID Information Protection using Biometric Information)

  • 안효창;이상범
    • 한국컴퓨터산업학회논문지
    • /
    • 제7권5호
    • /
    • pp.545-554
    • /
    • 2006
  • RFID는 정보통신 외에 물류, 유통, 교통, 환경 등 다양한 분야에 적용될 수 있기에 유비쿼터스 시대에 없어서는 안 되는 기술로 각광받고 있다. 하지만 최근들어 RFID 보안의 무제가 거론되고 있어서 RFID의 정보보가 필요하게 되었다. 본 논문에서는 RFID 태그에 얼굴 생체 특징 정보를 효율적으로 저장하여 인증성을 보장하고 개인의 정보를 보호할 수 있는 알고리즘을 제안한다. 데이터양이 많은 생체 특징 정보를 개선된 선형판별 분석방법을 이용하여 특징 정보 차원을 감소시킴으로써 데이터양을 효과적으로 줄여 RFID 태그의 적은 메모리 영역내에 특징 정보를 저장하였다. 실험결과 사용자 인증율이 92%를 보였으며, 출입통제 시스템 및 전자 신분증 등에 활용 가능한 시스템으로 적용 가능할 것으로 보인다.

  • PDF

A Novel RFID Dynamic Testing Method Based on Optical Measurement

  • Zhenlu Liu;Xiaolei Yu;Lin Li;Weichun Zhang;Xiao Zhuang;Zhimin Zhao
    • Current Optics and Photonics
    • /
    • 제8권2호
    • /
    • pp.127-137
    • /
    • 2024
  • The distribution of tags is an important factor that affects the performance of radio-frequency identification (RFID). To study RFID performance, it is necessary to obtain RFID tags' coordinates. However, the positioning method of RFID technology has large errors, and is easily affected by the environment. Therefore, a new method using optical measurement is proposed to achieve RFID performance analysis. First, due to the possibility of blurring during image acquisition, the paper derives a new image prior to removing blurring. A nonlocal means-based method for image deconvolution is proposed. Experimental results show that the PSNR and SSIM indicators of our algorithm are better than those of a learning deep convolutional neural network and fast total variation. Second, an RFID dynamic testing system based on photoelectric sensing technology is designed. The reading distance of RFID and the three-dimensional coordinates of the tags are obtained. Finally, deep learning is used to model the RFID reading distance and tag distribution. The error is 3.02%, which is better than other algorithms such as a particle-swarm optimization back-propagation neural network, an extreme learning machine, and a deep neural network. The paper proposes the use of optical methods to measure and collect RFID data, and to analyze and predict RFID performance. This provides a new method for testing RFID performance.

Confirming Single Nucleotide Polymorphisms from Expressed Sequence Tag Datasets Derived from Three Cattle cDNA Libraries

  • Lee, Seung-Hwan;Park, Eung-Woo;Cho, Yong-Min;Lee, Ji-Woong;Kim, Hyoung-Yong;Lee, Jun-Heon;Oh, Sung-Jong;Cheong, Il-Cheong;Yoon, Du-Hak
    • BMB Reports
    • /
    • 제39권2호
    • /
    • pp.183-188
    • /
    • 2006
  • Using the Phred/Phrap/Polyphred/Consed pipeline established in the National Livestock Research Institute of Korea, we predicted candidate coding single nucleotide polymorphisms (cSNPs) from 7,600 expressed sequence tags (ESTs) derived from three cDNA libraries (liver, M. longissimus dorsi, and intermuscular fat) of Hanwoo (Korean native cattle) steers. From the 7,600 ESTs, 829 contigs comprising more than two EST reads were assembled using the Phrap assembler. Based on the contig analysis, 201 candidate cSNPs were identified in 129 contigs, in which transitions (69%) outnumbered transversions (31%). To verify whether the predicted cSNPs are real, 17 SNPs involved in lipid and energy metabolism were selected from the ESTs. Twelve of these were confirmed to be real while five were identified as artifacts, possibly due to expressed sequence tag sequence error. Further analysis of the 12 verified cSNPs was performed using the program BLASTX. Five were identified as nonsynonymous cSNPs, five were synonymous cSNPs, and two SNPs were located in 3'-UTRs. Our data indicated that a relatively high SNP prediction rate (71%) from a large EST database could produce abundant cSNPs rapidly, which can be used as valuable genetic markers in cattle.

적외선 및 초음파센서 그리드를 활용한 태그가 없는 실내 위치식별 시스템 (Tag-free Indoor Positioning System Using Wireless Infrared and Ultrasonic Sensor Grid)

  • 노찬휘;김용석;신창식;백돈규
    • 한국산업정보학회논문지
    • /
    • 제27권1호
    • /
    • pp.27-35
    • /
    • 2022
  • 대부분의 IPS(Indoor Positioning System)에서는 비콘과 같은 태그로부터 특정 신호를 여러 수신기에 보냄으로써 사용자의 위치를 특정하고 동선을 파악한다. 이러한 방식은 창고, 공장, 병원 등 유동인구가 제한적인 곳에서 매우 효율적으로 활용되지만, 대형 마켓 및 복합쇼핑몰과 같은 상업 시설에서는 고객 각자에게 태그를 부착해야 하므로 적용하기가 어렵다. 본 논문에서는 태그를 사용하지 않고도 외부 센서 노드 그리드를 활용하여 유동인구의 이동 추이를 파악하는 시스템을 제안한다. 각 센서 노드는 초음파센서와 적외선센서를 조합하여 사람들의 존재 여부와 세부형태를 모두 모니터링할 수 있으며, 수집한 데이터를 무선송신을 통해 메인 서버에 보냄으로써 간편하게 시스템을 유지 및 보수할 수 있도록 하였다. FPGA 보드를 활용하여 센서 노드 동작을 검증하였으며, 초소형 센서 노드를 구성하기 위해 180nm 공정으로 VLSI 회로를 설계하였다.

스크래치패드 메모리를 위한 데이터 관리 기법 리뷰 (A Review of Data Management Techniques for Scratchpad Memory)

  • 조두산
    • 문화기술의 융합
    • /
    • 제9권1호
    • /
    • pp.771-776
    • /
    • 2023
  • 스크래치패드 메모리는 소프트웨어 제어 온칩 메모리로서 기존의 캐시 메모리의 단점을 완화할 수 있게 설계되어 이용되고 있다. 기존의 캐시 메모리는 태그 관련 하드웨어 제어 로직이 있어 캐시 미스를 사용자가 직접 제어할 수 없으며, 사이즈가 크고 에너지 소모량이 상대적으로 많다. 스크래치패드 메모리는 이러한 하드웨어 오버헤드를 제거하였기 때문에 사이즈, 에너지 소모량에서 장점이 있으나 데이터 관리를 소프트웨어가 해야하는 부담이 존재한다. 본 연구에서는 스크래치패드 메모리의 데이터 관리 기법들을 분류하여 살펴보고 그 장점을 극대화할 수 있는 방안에 대하여 논의하였다.

생성-선정을 통한 텍스트 증강 프레임워크 (TAGS: Text Augmentation with Generation and Selection)

  • 김경민;김동환;조성웅;오흥선;황명하
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권10호
    • /
    • pp.455-460
    • /
    • 2023
  • 텍스트 증강은 자연어처리 모델의 성능 향상을 목적으로 원본 텍스트의 변환, 생성을 통하여 새로운 증강 텍스트를 생성하는 방법론이다. 기존 연구된 기법들은 표현적 다양성 부족, 의미 왜곡 , 한정적인 양의 증강 텍스트와 같은 한계점이 존재한다. 거대언어모델과 few-shot learning을 활용한 텍스트 증강은 이러한 한계점의 극복이 가능하지만, 잘못된 생성으로 인한 노이즈 발생의 위험성이 존재한다. 본 논문에서는 여러 후보 텍스트를 생성하고 적합한 텍스트를 증강 텍스트로 선정하는 TAGS를 제안한다. TAGS는 기존 텍스트 few shot learning을 통해 다양한 표현을 생성하면서 대조 학습과 유사도 비교를 통해 원본 텍스트가 적더라도 적합한 데이터를 효과적으로 선정한다. 이를 텍스트 증강이 필수적인 업무용 챗봇 데이터에 적용하여 60배 이상의 양적 향상을 달성하였다. 또한 증강 텍스트의 질적 향상을 확인하기 위해 실제 생성된 텍스트를 분석하여 원본 텍스트에 비해 의미론적, 표현적으로 다양한 텍스트를 생성함을 확인하였으며, 증강 텍스트로 실제 분류 모델을 학습하고 실험하여 실질적으로 자연어처리 모델 성능 향상에 도움이 되는 것을 확인하였다.