• 제목/요약/키워드: post data processing

검색결과 557건 처리시간 0.03초

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

건축구조해석을 위한 선후처리 프로그램의 개발 (Developing A Pre-and Post-Procellor for Building Analysis)

  • 이정재
    • 한국농공학회지
    • /
    • 제36권2호
    • /
    • pp.31-43
    • /
    • 1994
  • General concepts and overall procedures of interactive graphical user interface, a preand post- processor, for building analysis are introduced. Attention is forcused on the data structures and the modeling operators which can ensure the intergrity of its database should have. An example of model building process is presented to illustrate its capability, its facilities for modifying, and for processing.

  • PDF

상향식 계층분류의 최적화 된 병합을 위한 후처리분석과 피드백 알고리즘 (Reinforcement Post-Processing and Feedback Algorithm for Optimal Combination in Bottom-Up Hierarchical Classification)

  • 최윤정;박승수
    • 정보처리학회논문지B
    • /
    • 제17B권2호
    • /
    • pp.139-148
    • /
    • 2010
  • 본 논문은 자동화된 분류시스템의 성능향상을 위한 것으로 오분류율이 높은 불확실성이 강한 문서들의 범주결정방식을 개선하기 위한 후처리분석 방법과 피드백 알고리즘을 제안한다. 전통적인 분류시스템에서 분류의 정확성을 결정하는 요인으로 학습방법과 분류모델, 그리고 데이터의 특성을 들 수 있다. 특성들이 일부 공유되어 있거나 다의적인 특성들이 풍부한 문서들의 분류문제는 정형화된 데이터들에서 보다 심화된 분석과정이 요구된다. 특히 단순히 최상위 항목으로 지정하는 기존의 결정방법이 분류의 정확도를 저하시키는 직접적인 요인이 되므로 학습방법의 개선과 함께 분류모델을 적용한 이후의 결과 값인 순위정보 리스트의 관계를 분석하는 작업이 필요하다. 본 연구에서는 경계범주의 자동탐색기법으로 확장된 학습체계를 제안한 이전 연구의 후속작업으로써, 최종 범주를 결정하기까지의 후처리분석 방법과 이전의 학습단계로 피드백하여 신뢰성을 높일 수 있는 알고리즘을 제안하고 있다. 실험결과에서는 제안된 범주결정방식을 적용한 후 1회의 피드백을 수행하였을 때의 결과들을 단계적이고 종합적으로 분석함으로써 본 연구의 타당성과 정확성을 보인다.

매스콘크리트의 온도균열 예측해석에서의 전후처리 시스템 개발에 관한 연구 (Pre- and Post Processing System on Prediction Analysis of Thermal Stress in Mass Concrete Structure)

  • 김유석;강석화;박칠림
    • 한국콘크리트학회:학술대회논문집
    • /
    • 한국콘크리트학회 1996년도 봄 학술발표회 논문집
    • /
    • pp.270-274
    • /
    • 1996
  • Until recently pre & post-processing of finite element model has been heavily relied on expensive graphic peripheral devices. But today, with the aid of inexpensive microcomputers, very effective pre & postprocessor graphics has been developed. In this study, Pre & Post processor(MASSPRE, MASSPOST) of prediction analysis of thermal stress in mass concrete structure is developed. The developed pre & post processors are raise to the efficiency in making input data for the main program and analysis of the results produced by the main program. This MASSPOST presents a stress contour graph, volume slice, time-temperature history graph, time-stress history graph, etc.

  • PDF

연속해석 데이터의 상호운용성을 지원하는 CAE 미들웨어와 가시화 시스템의 개발 (Development of a CAE Middleware and a Visualization System for Supporting Interoperability of Continuous CAE Analysis Data)

  • 송인호;양정삼;조현제;최상수
    • 한국CDE학회논문집
    • /
    • 제15권2호
    • /
    • pp.85-93
    • /
    • 2010
  • This paper proposes a CAE data translation and visualization technique that can verify time-varying continuous analysis simulation in a virtual reality (VR) environment. In previous research, the use of CAE analysis data has been problematic because of the lack of any interactive simulation controls for visualizing continuous simulation data. Moreover, the research on post-processing methods for real-time verification of CAE analysis data has not been sufficient. We therefore propose a scene graph based visualization method and a post-processing method for supporting interoperability of continuous CAE analysis data. These methods can continuously visualize static analysis data independently of any timeline; it can also continuously visualize dynamic analysis data that varies in relation to the timeline. The visualization system for continuous simulation data, which includes a CAE middleware that interfaces with various formats of CAE analysis data as well as functions for visualizing continuous simulation data and operational functions, enables users to verify simulation results with more realistic scenes. We also use the system to do a performance evaluation with regard to the visualization of continuous simulation data.

Improvement of WRF forecast meteorological data by Model Output Statistics using linear, polynomial and scaling regression methods

  • Jabbari, Aida;Bae, Deg-Hyo
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2019년도 학술발표회
    • /
    • pp.147-147
    • /
    • 2019
  • The Numerical Weather Prediction (NWP) models determine the future state of the weather by forcing current weather conditions into the atmospheric models. The NWP models approximate mathematically the physical dynamics by nonlinear differential equations; however these approximations include uncertainties. The errors of the NWP estimations can be related to the initial and boundary conditions and model parameterization. Development in the meteorological forecast models did not solve the issues related to the inevitable biases. In spite of the efforts to incorporate all sources of uncertainty into the forecast, and regardless of the methodologies applied to generate the forecast ensembles, they are still subject to errors and systematic biases. The statistical post-processing increases the accuracy of the forecast data by decreasing the errors. Error prediction of the NWP models which is updating the NWP model outputs or model output statistics is one of the ways to improve the model forecast. The regression methods (including linear, polynomial and scaling regression) are applied to the present study to improve the real time forecast skill. Such post-processing consists of two main steps. Firstly, regression is built between forecast and measurement, available during a certain training period, and secondly, the regression is applied to new forecasts. In this study, the WRF real-time forecast data, in comparison with the observed data, had systematic biases; the errors related to the NWP model forecasts were reflected in the underestimation of the meteorological data forecast by the WRF model. The promising results will indicate that the post-processing techniques applied in this study improved the meteorological forecast data provided by WRF model. A comparison between various bias correction methods will show the strength and weakness of the each methods.

  • PDF

PC를 이용한 자기공명분광 신호처리분석 시스템 개발: 1.5T MR Spectroscopy에서의 정상인 뇌 분광 신호 (Development of PC Based Signal Postprocessing System in MR Spectroscopy: Normal Brain Spectrum in 1.5T MR Spectroscopy)

  • 백문영;강원석;이현용;신운재;은충기
    • Investigative Magnetic Resonance Imaging
    • /
    • 제4권2호
    • /
    • pp.128-135
    • /
    • 2000
  • 목적 자기공명 스펙트럼 데이터의 처리 및 분석을 특정 workstation이 아닌 일반 PC의 windows 운영체제에서 동작할 수 있도록 GUI(Graphical User Interface)기반의 Spectroscopy 분석용 도구를 개발하였다. 대상 및 방법 S/W의 개발은 MATLAB(Mathwork사 미국)을 이용하여 PC의 window운영 체제에서 GUI 기반으로 동작하게 하였다. 시간 영역의 raw data와 주파수 영역의 spectrum data를 동시에 display할 수 있게 하였으며 Zero filling, 여러 종류의 filtering, 위상보정, FFT, peak area 측정 등의 기능을 갖추었다. 또한, 1.5T Gyroscan ACS-NT R6(Philips, Amsterdam, Netherland)의 $^1H$ Spectroscopy 패키지를 이용하여 정상인 뇌의 Parietal white matter, Basal ganglia, Occipital grey matter 영역에서 얻은 $^1$H MRS data를 정성 .정량적으로 분석하여 타 기종에서 얻어 발표된 $^1H$ MRS data와 비교분석하였다. 결과 : 본 연구에서 개발된 S/W를 이용하여 정상인 뇌에서 $^1H$ MRS data를 processing한 결과 NAA/Cr, Cho/Cr, MI/Cr 비율은 TE를 달리하였을 때, 유의수준 5%에서 Parietal white matter(PWM)의 NAA/Cr peak ratio를 제외하고 유의한 차이가 없었다. 그리고 기존에 발표된 문헌과 비교할 때 다른 MR장치의 NAA/Cr, Cho/Cr, MI/Cr 값들에 비해 평균값과 표준편차가 전반적으로 10-50%의 큰 값을 나타내었다. 결론 : 정상인 뇌에서 세 부위에 대하여 $^1H$ MRS를 얻고 이에 대한 정성.정량 분석을 함으로써 MRS를 임상적으로 적용하기 위한 준비를 하였으며 이러한 작업을 PC에서 독립적으로 수행함으로서 MRI system의 작업효율을 향상시킬 수 있었다. 그리고 서로 다른 기종간에는 유의한 차이가 있으므로 정상인에 대한 MRS database를 구축한 후에 $^1H$ MRS를 임상에 적용해야 함을 알 수 있었다.

  • PDF

Post-processing of Direct Teaching Trajectory in Industrial Robots

  • Choi, Tae-Yong;Park, Chan-Hun;Do, Hyun-Min;Chung, Kwang-Cho;Park, Dong-Il;Kyung, Jin-Ho
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제12권3호
    • /
    • pp.256-262
    • /
    • 2012
  • Direct teaching of the industrial robot is a novel technique to easily teach manipulators. However, teaching data by human hand cannot help having large noise errors ranging from low to high frequency. To use teaching data, post-processing to correct the teaching trajectory is required. Here, a novel shape-based trajectory correction method to rebuild teaching data with the feature information of curvature and velocity is proposed. The proposed method is tested on square and circular objects.

HIGH-SPEED SOFTWARE FRAME SYNCHRONIZER USING SSE2 TECHNOLOGY

  • Koo, In-Hoi;Ahn, Sang-Il;Kim, Tae-Hoon;Sakong, Young-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.522-525
    • /
    • 2007
  • Frame Synchronization is applied to not only digital data transmission for data synchronization between transmitter and receiver but also data communication with satellite. When satellite image data with high resolution and mass storage is transmitted, hardware frame synchronizer for real-time processing or software frame synchronizer for post-processing is used. In case of hardware, processing with high speed is available but data loss may happen for Search of Frame Synchronization. In case of software, data loss does not happen but speed is relatively slow. In this paper, Pending Buffer concept was proposed to cope with data loss according to processing status of Frame Synchronization. Algorithm to process Frame synchronization with high speed using bit threshold search algorithm with pattern search technique and SIMD is also proposed.

  • PDF

Impact of Administrative Post and Gender on Lecturers' Research Motivation in Vietnam

  • TRAN, Thi Kim Nhung;NGUYEN, Thanh Do;PHAM, Thanh Van;NGUYEN, Thi Lien Huong;GIANG, Minh Duc;HA, Ngoc Thang
    • The Journal of Asian Finance, Economics and Business
    • /
    • 제8권3호
    • /
    • pp.705-715
    • /
    • 2021
  • This study examines the simultaneous impact of gender and administrative post on the research motivation of university lecturers. There are 475 selected questionnaires that are qualified for data processing and the collected data are analyzed by two-way analysis of variance (ANOVA). The results show the relationship between administration involvement and scientific research of lecturers. In general, lecturers with administrative post have higher research motivation than lecturers without administrative post. More specifically, the level of administrative post has positive correlation with research motivation of female lecturers, but has negative correlation of male lecturers. It means that a female lecturer with higher administrative post also has more motivation to conduct research. Conversely, the higher administrative post a male lecturer has, the less research motivation he is. The cause of this difference is the pressure of earning money on Asian men, including Vietnamese men, who are considered to be main breadwinners of their family. When having an administration post, the more chances male lecturers have to earn money, the less time they can spend for scientific research. This suggests that the solution for managers is to perform annual assessment, fulfill promotion process, build up motivation and reward system, and establish recruitment and promotion policies.