• 제목/요약/키워드: Large Size data Processing

검색결과 246건 처리시간 0.029초

대규모 분산 컴퓨팅 환경에서 확장성을 고려한 실시간 데이터 공급 기법 (Scalable Data Provisioning Scheme on Large-Scale Distributed Computing Environment)

  • 김병상;윤찬현
    • 정보처리학회논문지A
    • /
    • 제18A권4호
    • /
    • pp.123-128
    • /
    • 2011
  • 본 논문은 원격지간의 연결된 대규모 분산 환경에서 데이터 분석 작업의 실행을 위해 필수적으로 고려되는 데이터 전송 부하를 감소시키는 기법을 제안한다. 계산 노드들이 밀집된 지역 인근에 다수의 데이터 노드를 배치시킴으로서 계산 노드들이 단일 데이터센터가 아닌 자신과 인접한 데이터 노드에 접근하여 작업을 수행함으로서 전송부하를 감소시키고 확장성을 증가시키는 것이 가능하다. 따라서 본 논문은 지역적으로 분산된 데이터 노드들의 데이터 처리율을 기반으로 실시간 데이터 공급을 수행함으로서 전송 지연을 최소화 할 수 있는 이론적인 모델과 시뮬레이션을 통한 성능 평가를 수행한다. 제안된 기법은 PRAGMA 그리드 테스트베드에서 실험을 통하여 성능의 우수성을 검증하였다.

A Scalable Multicasting with Group Mobility Support in Mobile Ad Hoc Networks

  • Kim, Kap-Dong;Lee, Kwang-Il;Park, Jun-Hee;Kim, Sang-Ha
    • Journal of Information Processing Systems
    • /
    • 제3권1호
    • /
    • pp.1-7
    • /
    • 2007
  • In mobile ad hoc networks, an application scenario requires mostly collaborative mobility behavior. The key problem of those applications is scalability with regard to the number of multicast members as well as the number of the multicast group. To enhance scalability with group mobility, we have proposed a multicast protocol based on a new framework for hierarchical multicasting that is suitable for the group mobility model in MANET. The key design goal of this protocol is to solve the problem of reflecting the node's mobility in the overlay multicast tree, the efficient data delivery within the sub-group with group mobility support, and the scalability problem for the large multicast group size. The results obtained through simulations show that our approach supports scalability and efficient data transmission utilizing the characteristic of group mobility.

전표데이터 처리를 위한 SOAP기반 웹서비스의 구현 (Implementation of a soap based web services for slip data process)

  • 황의철;정민영;정선태
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
    • /
    • pp.1435-1438
    • /
    • 2003
  • SOAP(Simple Object Access Protocol) that is a late protocol for exchange of information with Web Services that is useful for implementing common functions in especially a large size business area, is a protocol that is a lightweight, XML-based protocol over HTTP for exchange to information in decentralized, distributed environments. In this paper, we implement SOAP-based Web Services that can use with a slip database, for common slip processing functions in enterprise accounts in order to enhance the transparency of transactions by slip processing system. The result of this paper will contribute to increasing the productivity of enterprises through enhancing the standardization of slip data, reusability of functions, convenience of access, and efficiency of implementing applications.

  • PDF

Daubechies 웨이블릿 필터를 사용한 볼륨 데이터 인코딩 (Volumetric Data Encoding Using Daubechies Wavelet Filter)

  • 허영주;박상훈
    • 정보처리학회논문지A
    • /
    • 제13A권7호
    • /
    • pp.639-646
    • /
    • 2006
  • 데이터 압축 기술은 대용량의 데이터를 효율적으로 저장하고 전송할 수 있게 해주는 기술로, 요구되는 데이터의 용량이 커지고 네트워크의 트래픽이 증가함에 따라 그 중요도가 점점 더 높아지고 있다. 특히 다양한 응용과학과 공학 분야에서 산출되는 볼륨 데이터는 컴퓨팅 기술의 발전에 힘입어 그 용량이 점점 더 증가하는 추세에 있다. 본 논문에서는 Daubechies 웨이블릿 변환을 적용해서 볼륨 데이터를 압축하는 기법을 제안한다. 구현된 D4 웨이블릿 필터 기반 압축 기법은 3차원 볼륨 데이터에 대한 손실 압축과 블록 단위의 무작위 추출 복원을 지원한다. 본 기법은 기존의 Harr 필터를 이용한 압축 방식에 비해 복원 데이터의 손실율이 낮기 때문에, 정밀한 복원 영상이 중요시되는 대용량 데이터의 압축 및 인터렉티브 가시화 응용에 유용하게 사용될 수 있다.

Optimal Reheating Condition of Semi-solid Material in Semi-solid Forging by Neural Network

  • Park, Jae-Chan;Kim, Young-Ho;Park, Joon-Hong
    • International Journal of Precision Engineering and Manufacturing
    • /
    • 제4권2호
    • /
    • pp.49-56
    • /
    • 2003
  • As semi-solid forging (SSF) is compared with conventional casting such as gravity die-casting and squeeze casting, the product without inner defects can be obtained from semi-solid forming and globular microstructure as well. Generally, SSF consists of reheating, forging, and ejecting processes. In the reheating process, the materials are heated up to the temperature between the solidus and liquidus line at which the materials exists in the form of liquid-solid mixture. The process variables such as reheating time, reheating temperature, reheating holding time, and induction heating power has large effect on the quality of the reheated billets. It is difficult to consider all the variables at the same time for predicting the quality. In this paper, Taguchi method, regression analysis and neural network were applied to analyze the relationship between processing conditions and solid fraction. A356 alloy was used for the present study, and the learning data were extracted from the reheating experiments. Results by neural network were in good agreement with those by experiment. Polynominal regression analysis was formulated using the test data from neural network. Optimum processing condition was calculated to minimize the grain size and solid fraction standard deviation or to maximize the specimen temperature average. Discussion is given about reheating process of row material and results are presented with regard to accurate process variables fur proper solid fraction, specimen temperature and grain size.

Big data-based piping material analysis framework in offshore structure for contract design

  • Oh, Min-Jae;Roh, Myung-Il;Park, Sung-Woo;Chun, Do-Hyun;Myung, Sehyun
    • Ocean Systems Engineering
    • /
    • 제9권1호
    • /
    • pp.79-95
    • /
    • 2019
  • The material analysis of an offshore structure is generally conducted in the contract design phase for the price quotation of a new offshore project. This analysis is conducted manually by an engineer, which is time-consuming and can lead to inaccurate results, because the data size from previous projects is too large, and there are so many materials to consider. In this study, the piping materials in an offshore structure are analyzed for contract design using a big data framework. The big data technologies used include HDFS (Hadoop Distributed File System) for data saving, Hive and HBase for the database to handle the saved data, Spark and Kylin for data processing, and Zeppelin for user interface and visualization. The analyzed results show that the proposed big data framework can reduce the efforts put toward contract design in the estimation of the piping material cost.

하둡을 이용한 번호판 인식 시스템 (A Licence Plate Recognition System using Hadoop)

  • 박진우;박호현
    • 전기전자학회논문지
    • /
    • 제21권2호
    • /
    • pp.142-145
    • /
    • 2017
  • 현재 활용되는 영상 데이터가 고화질 고화소 추세이며, 정보통신기술의 발달로 인해 이미지 데이터의 사이즈와 양이 기하급수적으로 증가하고 있다. 이러한 영상데이터를 효율적으로 처리한다면 다양한 컨텐츠로 활용할 수 있지만 기존의 단일컴퓨터로 처리하기에는 늘어나는 데이터를 처리하기에는 한계가 있다. 본 논문은 분산 처리 프레임워크인 Hadoop을 이용하여 번호판 인식 시스템을 제안한다. SequenceFile 포맷을 이용하여 매퍼당 여러 개의 이미지 데이터를 가지고 있는 데이터 블록을 인풋으로 받아 번호판 인식을 수행한다. 실험결과 하둡의 데이터 노드 1개와 비교하여 데이터 노드 16개에서 최대 14.7배의 속도향상을 보였으며, 데이터 셋의 크기를 10배 증가하여도 데이터 노드가 점진적으로 늘어남에 따라 번호판 인식 속도의 강인함을 확인하였다.

Multi-channel Long Short-Term Memory with Domain Knowledge for Context Awareness and User Intention

  • Cho, Dan-Bi;Lee, Hyun-Young;Kang, Seung-Shik
    • Journal of Information Processing Systems
    • /
    • 제17권5호
    • /
    • pp.867-878
    • /
    • 2021
  • In context awareness and user intention tasks, dataset construction is expensive because specific domain data are required. Although pretraining with a large corpus can effectively resolve the issue of lack of data, it ignores domain knowledge. Herein, we concentrate on data domain knowledge while addressing data scarcity and accordingly propose a multi-channel long short-term memory (LSTM). Because multi-channel LSTM integrates pretrained vectors such as task and general knowledge, it effectively prevents catastrophic forgetting between vectors of task and general knowledge to represent the context as a set of features. To evaluate the proposed model with reference to the baseline model, which is a single-channel LSTM, we performed two tasks: voice phishing with context awareness and movie review sentiment classification. The results verified that multi-channel LSTM outperforms single-channel LSTM in both tasks. We further experimented on different multi-channel LSTMs depending on the domain and data size of general knowledge in the model and confirmed that the effect of multi-channel LSTM integrating the two types of knowledge from downstream task data and raw data to overcome the lack of data.

Vitamin K variations in conger eel (Conger myriaster) influenced by harvest time and size

  • Junhee Park;Kang-Hee Lee;Rea Mae Cuario Templonuevo;Jinwoo Yang;Jiyeon Chun
    • 한국식품저장유통학회지
    • /
    • 제30권6호
    • /
    • pp.929-943
    • /
    • 2023
  • This study analyzed the variation in vitamin K content in conger eel (Conger myriaster) caught off Tongyeong, Gyeongsangnam-do, Korea, focusing on the influence of size (large and small) and harvest period (monthly throughout 2021). We applied enzymatic extraction and HPLC-fluorescence methods for the analysis of vitamin K1 (phylloquinone) and K2 (menaquinone). The vitamin K content in conger eel varied significantly with size and harvest season (p<0.05). In large-sized samples, the phylloquinone content peaked in July (0.80±0.09 ㎍/100 g), while the highest menaquinone content was in May (0.79±0.11 ㎍/100 g). Conversely, in small-sized conger eels, the highest phylloquinone was found in December (1.94±0.15 ㎍/100 g), and the peak menaquinone level was in January (0.66±0.02 ㎍/100 g). The fat content was highest in July for large samples and in January for smaller ones. There was a positive correlation between fat and total vitamin K contents in conger eel (r=0.631, 0.667). Method validation and quality control measures ensured data reliability for vitamin K1 and K2 analyses. This study provides reliable information on the size and seasonal variations of vitamin K in conger eels, a staple in the Korean diet. This information is valuable for inclusion in Korea's national food nutrition database and for formulating future national health and nutrition policies.

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.