• The Journal of the Korea Contents Association
• /
• 제13권6호
• /
• pp.30-39
• /
• 2013

Web crawler should maintain fresh data with minimum server overhead for large amount of data in the web sites. The overhead in the server increases rapidly as the amount of data is exploding as in the big data era. The amount of web information is increasing rapidly with advanced wireless networks and emergence of diverse smart devices. Furthermore, the information is continuously being produced and updated in anywhere and anytime by means of easy web platforms, and smart devices. Now, it is becoming a hot issue how frequently updated web data has to be refreshed in data collection and integration. In this paper, we propose dynamic web-data crawling methods, which include sensitive checking of web site changes, and dynamic retrieving of web pages from target web sites based on historical update patterns. Furthermore, we implemented a Java-based web crawling application and compared efficiency between conventional static approaches and our dynamic one. Our experiment results showed 46.2% overhead benefits with more fresh data compared to the static crawling methods.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• 제46권5호
• /
• pp.79-85
• /
• 2009

A sink node and its neighbor nodes spend more energy than other nodes since a stationary sink node collects data from wireless sensor networks(WSNs). For larger WSNs, the unbalanced energy of nodes causes the operation of WSNs to stop rapidly. This paper proposes a data gathering method by adapting the mobile sink to prolong the life time of large WSNs. After partitioning a network into several clusters, a mobile sink visits each cluster and collects data from it. An efficient algorithm is proposed to improve the energy efficiency by delivering the message from the mobile sink to the cluster head as well as to reduce the data gathering delay, which is the disadvantage of the mobile sink. Also, The algorithm is analyzed for the energy consumption and the data gathering delay. The validity of the ananlysis result is confirmed by the simulation.

• Proceedings of the Korean Information Science Society Conference
• /
• 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
• /
• pp.357-360
• /
• 2011

최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(D)
• /
• pp.205-207
• /
• 2012

무선 센서 네트워크에서 에너지 효율적인 네트워크 구성을 위해 데이터를 수집하는 싱크 노드에 이동성을 적용시킨 모바일 싱크를 이용한 데이터 수집 기법이 활발하게 연구되고 있다. 하지만 최근 모바일 싱크를 적용한 데이터 수집 기법에서는 무선 센서 노드들의 에너지 소모를 분산시켜 네트워크의 수명은 증가시켰지만 고정적인 경로를 기반으로 하여 이벤트 데이터의 신속한 수집이 불가능하거나 이동성을 갖는 모바일 싱크로의 동적 라우팅 패스의 빈번한 설정으로 인해 최적화된 에너지 효율을 제공하지 못한다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 모바일 싱크 기반의 무선 센서 네트워크 환경에서 에너지 효율성을 고려하여 이벤트 데이터를 우선 수집하는 데이터 수집 기법을 제안한다. 제안하는 기법은 특정 이벤트가 발생할 경우, 모바일 싱크의 이동성을 이용하여 특정 이벤트 데이터를 빠르게 수집하며 일반적인 모니터링 데이터의 압축과 전송 주기를 변경함으로써 전반적인 QoS를 향상시킨다. 성능평가 결과, 제안하는 기법은 기존 기법에 비해 이벤트 데이터에 대한 응답시간이 평균 57% 감소하였고, 네트워크의 수명이 평균 19% 증가하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.319-322
• /
• 2019

There are many techniques for locating users in an indoor spot. Among them, WiFi fingerprinting technique which is widely used is phased into a data collection step and a positioning step. In the data collection step, all surrounding Wi-Fi signals are collected and managed as a list. The more data collected, the better the accuracy of the indoor position based on Wi-Fi fingerprint. Existing high-quality data collection and management methods are time consuming and costly, and many operations are required to extract and generate data necessary for machine learning. Therefore, we research how to collect and manage large amount of data in limited resources. This paper presents efficient data collection methods and data generation for learning.

• Journal of Information Technology Application
• /
• 제3권1호
• /
• pp.77-89
• /
• 2001

인터넷의 급속한 확산과 보급으로 인하여 인터넷에서 접할 수 있는 정보의 양은 기하급수적으로 늘어나고 있다. 따라서 오늘날 인터넷에서의 정보검색은 쉬운 일이 아니며, 사용자를 대신해 여러 사이트로부터 정보를 수집하고 걸러주는 에이전트의 역할이 증대되고 있다. 본 논문에서는 에이전트를 이용한 적응형 정보 추천 시스템(ARS ; Adaptive Information Recommendation System)을 제안한다. ARS는 에이전트를 이용하여 여러 사이트로부터 정보를 수집하고 통합하며, 사용자가 관심을 가지는 정보만을 제공함으로써 정보검색을 위한 사용자의 시간과 노력을 최소화하고자 한다. 이를 위하여 수집 에이전트를 이용하여 여러 사이트로부터 주기적으로 정보를 수집하여 데이터베이스에 저장하며, 수집된 정보는 사용자 프로파일을 이용하여 사용자가 관심을 가지는 정보만을 제공한다. 사용자 프로파일은 제공된 정보에 대한 사용자의 행위를 관찰하여 수정되며, 이러한 작업을 반복함으로써 점차 사용자의 취향에 적응하게 되어, 보다 적절한 정보만을 사용자에게 제공할 수 있게 된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.186-188
• /
• 1998

본 논문에서는 웹에서 사용자의 취향에 부합하는 정보를 지속적으로 수집하여 추천해주는 지능적인 개인용 웹 정보 수집 에이전트의 구현에 대하여 기술한다. 본 논문에서 구현한 에이전트 시스템은 자바언어로 구현되었으며, 인터넷에서 페이지를 모아오는 수집 단계, HTML 문서 색인 단계, 필터링 단계, 사용자가 모니터링 단계, 학습 단계 등 다섯 단계로 구성되어 있다. 웹 페이지는 기존의 검색 엔진으로부터 수집하도록 하였으며, 사용자의 관심에 부합되는 웹 페이지들을 추천하고, 추천된 페이지들에 대한 사용자의 행동을 모니터링하여 사용자의 취향을 학습함으로써 사용자 프로파일을 재구성한다. 본 웹 에이전트 시스템은 암시적인 피드백에 의한 학습을 수행하고 백그라운드에서 동작함으로써 사용자에게 기존의 검색 작업에 따른 시간과 수고를 덜어 주었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2009년도 춘계학술발표대회
• /
• pp.1442-1445
• /
• 2009

기존의 디지털 포렌식 기술은 하드 디스크 등에서 증거 자료를 수집하는 기술을 연구해 왔다. 하지만 최근 루트킷 등 악성 프로그램의 은닉 기술 발달로 디스크 악성 프로그램의 흔적이 남지 않게 되었고, 디스크 용량의 기하급수적인 증가로 필요한 증거 자료를 찾기 위해 디스크를 탐색하는 시간이 증가하였다. 메모리 포렌식 기술은 기존의 디지털 포렌식의 단점을 보완하는 새로운 연구분야로, 동작 중인 시스템에서 메모리 내부의 정보를 수집하고 분석하는 데 초점을 맞추고 있다. 본 논문에서는 메모리 포렌식 기법으로 수집할 수 있는 자료인 파일 정보를 동작 중인 메모리에서 수집하고 분석하는 방법에 대해 알아본다.

• International Journal of Highway Engineering
• /
• 제14권2호
• /
• pp.93-99
• /
• 2012

This study analyzes traffic data which are collected by VDS(Vehicle Detection System) to research the relationship between spacing distribution and vehicles' relative speed. The collected data are relative speed between preceding and following vehicles, passing time and speed. They are also classified by lane and direction. For the result of the analysis, in the same platoon, we figure out that mean of spacing is 40m, which can be a value to determine section A to D. To compare spacing according to time interval, this study splits time intervals to peak hour and non-peak hour by peak hour traffic volume. In conclusion, vehicles in peak hour are in car following because most drive similar speed as preceding vehicle and they have relatively small spacing. On the other hand, non-peak hour's spacing between vehicles is bigger than that of peak hour. This implies driver's behaviors that the less spacing, the more aggressive and want to reduce their travel time in peak hour, whereas most drive easily in non-peak hour and recreational trip purpose because of less time pressure.

• Spatial Information Research
• /
• 제13권3호
• /
• pp.221-237
• /
• 2005

This study attempts at building a GIS computing environment that incorporates object-relational spatio-temporal database for the time geography model with space-time path, space-time prism and space-time accessibility. The proposed computing environment is composed of ( i ) mobile GIS application for collecting spatio-temporal trajectory data of an individual, ( ii ) spatio-temporal database server that includes time geography model, and (iii) geovisualization client that performs time geographic queries to the spatio-temporal database. The spatio-temporal trajectory data collected by GPS-PDA client is automatically processed and sent to server through data management middleware. The spatio-temporal database implemented by extending a generic DBMS provides spatio-temporal objects, functions, and SQL. The geovisualization client illustrates 3D visual results of the queries about space-time path, space-time prism, and space-time accessibility. This study confirms the possibility of integrating mobile GIS and DBMS for time geography model, and it presents the appropriate database model with spatio-temporal objects and functions that may handle very large data for time geography application.