• 제목/요약/키워드: methods of data collection

검색결과 1,547건 처리시간 0.029초

도로 침수영역의 탐색을 위한 빅데이터 분석 시스템 연구 (A Study on the Big Data Analysis System for Searching of the Flooded Road Areas)

  • 송영미;김창수
    • 한국멀티미디어학회논문지
    • /
    • 제18권8호
    • /
    • pp.925-934
    • /
    • 2015
  • The frequency of natural disasters because of global warming is gradually increasing, risks of flooding due to typhoon and torrential rain have also increased. Among these causes, the roads are flooded by suddenly torrential rain, and then vehicle and personal injury are happening. In this respect, because of the possibility that immersion of a road may occur in a second, it is necessary to study the rapid data collection and quick response system. Our research proposes a big data analysis system based on the collected information and a variety of system information collection methods for searching flooded road areas by torrential rains. The data related flooded roads are utilized the SNS data, meteorological data and the road link data, etc. And the big data analysis system is implemented the distributed processing system based on the Hadoop platform.

MSCT: AN EFFICIENT DATA COLLECTION HEURISTIC FOR WIRELESS SENSOR NETWORKS WITH LIMITED SENSOR MEMORY CAPACITY

  • Karakaya, Murat
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권9호
    • /
    • pp.3396-3411
    • /
    • 2015
  • Sensors used in Wireless Sensor Networks (WSN) have mostly limited capacity which affects the performance of their applications. One of the data-gathering methods is to use mobile sinks to visit these sensors so that they can save their limited battery energies from forwarding data packages to static sinks. The main disadvantage of employing mobile sinks is the delay of data collection due to relative low speed of mobile sinks. Since sensors have very limited memory capacities, whenever a mobile sink is too late to visit a sensor, that sensor's memory would be full, which is called a 'memory overflow', and thus, needs to be purged, which causes loss of collected data. In this work, a method is proposed to generate mobile sink tours, such that the number of overflows and the amount of lost data are minimized. Moreover, the proposed method does not need either the sensor locations or sensor memory status in advance. Hence, the overhead stemmed from the information exchange of these requirements are avoided. The proposed method is compared with a previously published heuristic. The simulation experiment results show the success of the proposed method over the rival heuristic with respect to the considered metrics under various parameters.

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

연극기록물의 수집방안 연구 (A Study on the Acquisiton Methods of Theater Collections)

  • 정은진
    • 기록학연구
    • /
    • 제29호
    • /
    • pp.35-78
    • /
    • 2011
  • 연극은 공연예술을 대표하는 분야로 우리나라의 근대의 시작과 역사를 함께하고 있다. 그러나 그 동안 연극기록물을 관리하고자 했던 노력이 부족해 이미 유실되고 흩어져버린 기록물이 대부분이다. 특히 연극이라는 공연예술의 특성에 따라 작품 자체는 일회로 공연되고 사라져버리는 것이므로, 후대가 공연을 향유하고 연구하기 위해서는 관련 기록을 통해 흔적을 찾아볼 수밖에 없는 현실에서 연극 기록물을 수집하는 것은 매우 중대한 과제라 할 수 있다. 이에 본 연구에서는 당대에 행해지는 연극행위에 따른 기록물을 수집하는 것을 목적으로 기록물의 종류와 특성을 분석하고, 이 분석한 내용을 기반으로 수집범위, 대상, 우선순위, 수집 수준, 수집 방법을 제안하였다. 수집의 범위는 우리나라의 근대극이 시작된 1900년대 이후에 전국적으로 행해진 연극 관련 기록물로, 기획행정 희곡(대본) 연출 무대디자인 홍보 공연 평가 개인 기록물 외에 개인정보와 단체정보, 공간정보의 관련정보 기록물을 그 대상에 포함한다. 기록물은 일반기록물과 역사기록물로 구분하여 역사적 가치가 있고 공공기관의 지원에 의해 공연된 연극을 우선적인 수집 대상으로 정한다. 다양한 기록물의 수집 수준을 결정하기 위해 '원본수집', '사본수집', '웹 링크', '데이터베이스'로 구분하고 공연의 성격에 따라 '필수', '권장', 재량'의 정도를 정해 수준을 제안하고 이관, 기증, 기탁, 구입의 일반적인 수집 방법과 복사, 제작, 납본, 입력, 웹 링크 연결 등의 방법으로 기록물을 수집할 수 있다. 이러한 수집 방안의 실행을 위해서는 수집의 수행과 기록물의 활용은 디지털 기반 환경에서 통합적으로 이루어져야 하고, 통합 관리를 위한 중앙 집중형 기관 설립을 전제로 해야 하며, 연극의 이해관계자와 유관기관 간의 협력을 필요로 할 것이다.

MEMS 센서 기반 지반진동 정보 크라우드소싱 수집시스템 개발 현황 (Development Status of Crowdsourced Ground Vibration Data Collection System Based on Micro-Electro-Mechanical Systems (MEMS) Sensor)

  • 이상호;권지회;류동우
    • 터널과지하공간
    • /
    • 제28권6호
    • /
    • pp.547-554
    • /
    • 2018
  • 크라우드소싱을 활용한 센서 자료 수집은 기존의 방식으로 얻기 어려운 고밀도 지반 진동 정보의 수집이 가능하다. 본 연구에서는 스마트폰과 같은 소형 전자기기에 탑재된 MEMS 센서를 활용한 크라우드소싱 방식 지반 진동 수집 시스템을 개발하였으며, 이를 위한 기반 체계 설계 및 클라이언트와 서버에 대한 구현을 수행하였다. 해당 시스템은 Android 기반의 스마트폰이나 Android Things 기반의 고정식 장비를 통해 진동 데이터를 신속히 수집하면서 하드웨어의 전력 및 데이터 사용량을 최소화할 수 있도록 설계되었다.

Implementation of Efficient Distributed Crawler through Stepwise Crawling Node Allocation

  • Kim, Hyuntae;Byun, Junhyung;Na, Yoseph;Jung, Yuchul
    • 한국정보기술학회 영문논문지
    • /
    • 제10권2호
    • /
    • pp.15-31
    • /
    • 2020
  • Various websites have been created due to the increased use of the Internet, and the number of documents distributed through these websites has increased proportionally. However, it is not easy to collect newly updated documents rapidly. Web crawling methods have been used to continuously collect and manage new documents, whereas existing crawling systems applying a single node demonstrate limited performances. Furthermore, crawlers applying distribution methods exhibit a problem related to effective node management for crawling. This study proposes an efficient distributed crawler through stepwise crawling node allocation, which identifies websites' properties and establishes crawling policies based on the properties identified to collect a large number of documents from multiple websites. The proposed crawler can calculate the number of documents included in a website, compare data collection time and the amount of data collected based on the number of nodes allocated to a specific website by repeatedly visiting the website, and automatically allocate the optimal number of nodes to each website for crawling. An experiment is conducted where the proposed and single-node methods are applied to 12 different websites; the experimental result indicates that the proposed crawler's data collection time decreased significantly compared with that of a single node crawler. This result is obtained because the proposed crawler applied data collection policies according to websites. Besides, it is confirmed that the work rate of the proposed model increased.

Ethical Conducts in Qualitative Research Methodology :Participant Observation and Interview Process

  • KANG, Eungoo;HWANG, Hee-Joong
    • 연구윤리
    • /
    • 제2권2호
    • /
    • pp.5-10
    • /
    • 2021
  • Purpose: Ethical behaviors become more salient when researchers utilize face-to-face interviews and observation with vulnerable groups or communities, which may be unable to express their emotions during the sessions. The present research aims to investigate ethical behaviors while conducting research have resonance due to the deep nature of observation and interview data collection methods. Research design, data and methodology: The present research obtained non-numeric (Textual) data based on prior literature review to investigate Ethical Conducts in Qualitative Research. Non-numeric data differs from numeric data in how the data is collected, analyzed and presented. It is important to formulate written questions and adopt them what the method claims for the researcher to understand the studied phenomenon. Results: Our findings show that while conducting qualitative research, researchers must adhere to the following ethical conducts; upholding informed consent, confidentiality and privacy, adhering to beneficence's principle, practicing honesty and integrity. Each ethical conduct is discoursed in detail to realize more information on how it impacts the researcher and research participants. Conclusions: The current authors concludes that five ethical conducts are important for realizing extensive and rich information during qualitative research and may be exploited in implementing research policies for researchers utilizing observation and interviews methods of data collection.

빅데이터 분석을 위한 자료 수집 방안 비교 (Conparison of Data Collection Methods for Big Data Analysis)

  • 김성국;오창헌
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.422-424
    • /
    • 2018
  • 최근 빅데이터 분석에 대한 관심이 높아지고 자료의 수집 방법에 대한 방법도 다양하게 개발되어 지고 있으나 연구자가 이러한 대규모 데이터를 수집 이용하기는 여전히 쉽지 않은 실정이다. 본 논문에서는 연구자가 여러 가지 방법을 활용하여 빅데이터를 수집하는 방안을 비교 분석하여 제시하고자 한다. 본인의 연구 목적에 부합하는 수집 방법을 잘 선택하여 활용한다면 원하는 연구결과를 제공 받을 수 있을 것으로 기대한다.

  • PDF

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구 (A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS)

  • 김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제14권2호
    • /
    • pp.161-167
    • /
    • 2021
  • 실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

연구데이터 수집에 영향을 미치는 요인 분석 (Factor Analysis of Effects on Research Data Collection)

  • 김은정;남태우
    • 정보관리학회지
    • /
    • 제29권2호
    • /
    • pp.27-44
    • /
    • 2012
  • 본 연구는 연구과정에서 생산되는 연구데이터 공유를 위한 수집을 활성화하기 위해 연구자들의 연구데이터 제출의도를 측정하고, 이러한 제출의도에 영향을 미치는 요인을 분석하였다. 이를 위해 국내외 연구관리규정과 선행연구를 통해 요인항목을 도출하였다. 도출된 항목을 바탕으로 영향요인 분석을 위해 국내 35개 기관 연구원 135명으로부터 설문 결과를 받았다. 결과분석을 통해 정보인프라, 동기부여, 장애 측면에서의 영향요인을 파악하고, 이를 바탕으로 연구데이터 수집을 활성화할 수 있는 방안을 제시하였다.