• 제목/요약/키워드: and Pre-Processing

검색결과 1,916건 처리시간 0.027초

KorPatELECTRA : A Pre-trained Language Model for Korean Patent Literature to improve performance in the field of natural language processing(Korean Patent ELECTRA)

  • Jang, Ji-Mo;Min, Jae-Ok;Noh, Han-Sung
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.15-23
    • /
    • 2022
  • 특허 분야에서 자연어처리(Natural Language Processing) 태스크는 특허문헌의 언어적 특이성으로 문제 해결의 난이도가 높은 과제임에 따라 한국 특허문헌에 최적화된 언어모델의 연구가 시급한 실정이다. 최근 자연어처리 분야에서는 특정 도메인에 특화되게 사전 학습(Pre-trained)한 언어모델을 구축하여 관련 분야의 다양한 태스크에서 성능을 향상시키려는 시도가 지속적으로 이루어지고 있다. 그 중, ELECTRA는 Google이 BERT 이후에 RTD(Replaced Token Detection)라는 새로운 방식을 제안하며 학습 효율성을 높인 사전학습 언어모델이다. 본 연구에서는 대량의 한국 특허문헌 데이터를 사전 학습한 KorPatELECTRA를 제안한다. 또한, 특허 문헌의 특성에 맞게 학습 코퍼스를 정제하고 특허 사용자 사전 및 전용 토크나이저를 적용하여 최적화된 사전 학습을 진행하였다. KorPatELECTRA의 성능 확인을 위해 실제 특허데이터를 활용한 NER(Named Entity Recognition), MRC(Machine Reading Comprehension), 특허문서 분류 태스크를 실험하였고 비교 대상인 범용 모델에 비해 3가지 태스크 모두에서 가장 우수한 성능을 확인하였다.

풍황 하중조건 데이터 자동생성화를 이용한 풍력터빈 하중해석의 효율 향상에 관한 연구 (Study on the efficiency improvement of wind turbine load analysis by using automatic generation for wind load condition data)

  • 안경민;임동수;이현주;최원호;이승구
    • 한국신재생에너지학회:학술대회논문집
    • /
    • 한국신재생에너지학회 2006년도 추계학술대회
    • /
    • pp.269-272
    • /
    • 2006
  • Load analysis software enables to design wind turbines effectively and exactly. In this paper, Bladed software developed by Garrad Hassan and Partners is used for load analysis. When using Bladed software, many time is requested to input data which is called by pre-processing. So in this paper, pre-processing Is automated by in-house software(BX) With this BX software, we can reduce the total time for pre-processing about 90%.

  • PDF

Dual deep neural network-based classifiers to detect experimental seizures

  • Jang, Hyun-Jong;Cho, Kyung-Ok
    • The Korean Journal of Physiology and Pharmacology
    • /
    • 제23권2호
    • /
    • pp.131-139
    • /
    • 2019
  • Manually reviewing electroencephalograms (EEGs) is labor-intensive and demands automated seizure detection systems. To construct an efficient and robust event detector for experimental seizures from continuous EEG monitoring, we combined spectral analysis and deep neural networks. A deep neural network was trained to discriminate periodograms of 5-sec EEG segments from annotated convulsive seizures and the pre- and post-EEG segments. To use the entire EEG for training, a second network was trained with non-seizure EEGs that were misclassified as seizures by the first network. By sequentially applying the dual deep neural networks and simple pre- and post-processing, our autodetector identified all seizure events in 4,272 h of test EEG traces, with only 6 false positive events, corresponding to 100% sensitivity and 98% positive predictive value. Moreover, with pre-processing to reduce the computational burden, scanning and classifying 8,977 h of training and test EEG datasets took only 2.28 h with a personal computer. These results demonstrate that combining a basic feature extractor with dual deep neural networks and rule-based pre- and post-processing can detect convulsive seizures with great accuracy and low computational burden, highlighting the feasibility of our automated seizure detection algorithm.

An Intelligent Framework for Feature Detection and Health Recommendation System of Diseases

  • Mavaluru, Dinesh
    • International Journal of Computer Science & Network Security
    • /
    • 제21권3호
    • /
    • pp.177-184
    • /
    • 2021
  • All over the world, people are affected by many chronic diseases and medical practitioners are working hard to find out the symptoms and remedies for the diseases. Many researchers focus on the feature detection of the disease and trying to get a better health recommendation system. It is necessary to detect the features automatically to provide the most relevant solution for the disease. This research gives the framework of Health Recommendation System (HRS) for identification of relevant and non-redundant features in the dataset for prediction and recommendation of diseases. This system consists of three phases such as Pre-processing, Feature Selection and Performance evaluation. It supports for handling of missing and noisy data using the proposed Imputation of missing data and noise detection based Pre-processing algorithm (IMDNDP). The selection of features from the pre-processed dataset is performed by proposed ensemble-based feature selection using an expert's knowledge (EFS-EK). It is very difficult to detect and monitor the diseases manually and also needs the expertise in the field so that process becomes time consuming. Finally, the prediction and recommendation can be done using Support Vector Machine (SVM) and rule-based approaches.

Ginsenoside Changes in Red Ginseng Manufactured by Acid Impregnation Treatment

  • Kim, Mi-Hyun;Hong, Hee-Do;Kim, Young-Chan;Rhee, Young-Kyoung;Kim, Kyung-Tack;Rho, Jeong-Hae
    • Journal of Ginseng Research
    • /
    • 제34권2호
    • /
    • pp.93-97
    • /
    • 2010
  • To enhance the functionalities of ginseng, an acid impregnation pre-treatment was applied during red ginseng processing. Acetic, ascorbic, citric, malic, lactic, and oxalic acid were used for the acid impregnation treatment, and total and crude saponin concentrations and ginsenoside patterns were evaluated. Total and crude saponin contents of red ginseng pre-treated by acetic, ascorbic, and citric acid were similar to those of red ginseng without pre-treatment, whereas lactic, malic, and oxalic acid pre-treatment caused a reduction of total and crude saponin in red ginseng. From the high performance liquid chromatography analysis of ginsenosides, increased $Rg_3$ density was shown in red ginseng pre-treated by acetic, ascorbic, and citric acid impregnation. In the case of lactic, malic, and oxalic acid pre-treatment, increased $Rg_1$ density was observed in red ginseng. Increased $Rg_1$ and $Rg_3$ contents due to acid impregnation during red ginseng processing may contribute to improving bioactive functionalities of red ginseng.

결정 궤환 구조를 갖는 차동 위상 검출기의 고속 데이터 처리를 위한 VLSI 설계 (A VLSI Design for High-speed Data Processing of Differential Phase Detectors with Decision Feedback)

  • 김창곤;정정화
    • 대한전자공학회논문지SD
    • /
    • 제39권5호
    • /
    • pp.74-86
    • /
    • 2002
  • 본 논문은 결정 궤환 구조를 갖는 차동 위상 검출기의 고속 데이터 처리를 위한 VLSI 구조를 제안한다. 기존 차동 위상 검출 방식의 낮은 BER 성능을 극복하기 위해 DF-DPD, DPD-RGPR, DFDPD-SA 등의 다중 심볼 검출 방식이 제시되었다. 이러한 검출 방식들은 참조 위상으로 사용되는 이전 심볼에서의 잡음 효과를 작게 하기 위하여 검출된 위상을 궤환시키는 구조를 갖고 있다. 하지만, 검출된 위상을 궤환시키는 작용은 데이터 처리 속도를 기존의 차동 위상 검출기보다 느리게 한다. 본 논문에서는 결정 궤환 구조를 갖는 차동 위상 검출기가 기존의 차동 위상 검출 방식처럼 고속으로 데이터를 처리할 수 있는 VLSI 구조를 제안하였다. 제안된 구조는 'M-1' 번째 과정에서 'M' 번째 과정을 미리 계산하는 선계산(pre-calculation) 방식과 'M-1'번째 과정에서 예견 위상들을 궤환시키는 선결정 궤환(pre-decision feedback) 방식을 갖는다. 본 논문에서 제안된 구조는 VHDL(Very-high-speed-IC Hardware Description Language)를 사용하여 RTL(Register Transfer Level)로 구현되었다. 시뮬레이션 결과, 제안된 구조는 고속으로 데이터를 처리함을 확인하였다.

원영상의 기울기 성형을 이용한 경계강조 오차확산법 (Edge Enhanced Error Diffusion based on Gradient Shaping of Original image)

  • 강태하;황병원
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 하계종합학술대회 논문집(4)
    • /
    • pp.70-73
    • /
    • 2000
  • The error diffusion is good for reproducing continuous image to binary image. However the reproduction of edge characteristics is weak in power spectrum analysis of display error. It is suggested for us an edge-enhanced error-diffusion method that is included pre-processing algorithm for edge characteristic enhancement. Pre-processing algorithm is organized horizontal and vertical directional 2nd order differential values and weighting function of pre-filter. The improved Error diffusion using pre-filter, presents a good results visually which edge characteristics is enhanced. The performance of the proposed algorithm is compared with that of the conventional edge-enhanced error diffusion by measuring the RAPSD of display error, the egde correlation and the local average accordance.

  • PDF

차량동역학 해석 프로그램 AutoDyn7의 개발(∥) - 전처리 및 후처리 프로그램 (Developemtn of Vehicle Dynamics Program AutoDyn7(II) - Pre-Processor and Post-Processor)

  • 한종규;김두현;김성수;유완석;김상섭
    • 한국자동차공학회논문집
    • /
    • 제8권3호
    • /
    • pp.190-197
    • /
    • 2000
  • A graphic vehicle modeling pre-processing program and a visualization post-processing program have been developed for AutoDyn7, which is a special program for vehicle dynamics. The Rapid-App for GUI(Graphic User Interface) builder and the Open Inventor for 3D graphic library have been employed to develop these programs in Silicon Graphics workstation. A Graphic User Interface program integrates vehicle modeling pre-processor, AutoDyn7 analysis processor, and visualization post-processor. In vehicle modeling pre-processor, vehicle hard point data for a suspension model are automatically converted into multibody vehicle system data. An interactive graphics capabilities provides suspension modeling aides to verify user input data interactively. In visualization post-processor, vehicle virtual test simulation results are animated with virtual testing environments.

  • PDF

BERT를 이용한 한국어 특허상담 기계독해 (Korean Machine Reading Comprehension for Patent Consultation Using BERT)

  • 민재옥;박진우;조유정;이봉건
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권4호
    • /
    • pp.145-152
    • /
    • 2020
  • 기계독해는(Machine reading comprehension) 사용자 질의와 관련된 문서를 기계가 이해한 후 정답을 추론하는 인공지능 자연어처리 태스크를 말하며, 이러한 기계독해는 챗봇과 같은 자동상담 서비스에 활용될 수 있다. 최근 자연어처리 분야에서 가장 높은 성능을 보이고 있는 BERT 언어모델은 대용량의 데이터를 pre-training 한 후에 각 자연어처리 태스크에 대해 fine-tuning하여 학습된 모델로 추론함으로써 문제를 해결하는 방식이다. 본 논문에서는 BERT기반 특허상담 기계독해 태스크를 위해 특허상담 데이터 셋을 구축하고 그 구축 방법을 소개하며, patent 코퍼스를 pre-training한 Patent-BERT 모델과 특허상담 모델학습에 적합한 언어처리 알고리즘을 추가함으로써 특허상담 기계독해 태스크의 성능을 향상시킬 수 있는 방안을 제안한다. 본 논문에서 제안한 방법을 사용하여 특허상담 질의에 대한 정답 결정에서 성능이 향상됨을 보였다.

셀룰로오스-NMMO 수화물 용액의 압출가공 조건에 따른 셀룰로오스 분자량과 알파 셀룰로오스 함량 변화에 대한 연구 (Study on the Changes of Cellulose Molecular Weight and α-Cellulose Content by the Extrusion Conditions of Cellulose-NMMO Hydrate Solution)

  • 김동복
    • 폴리머
    • /
    • 제37권3호
    • /
    • pp.362-372
    • /
    • 2013
  • 새로운 방법에 의하여 제조된 셀룰로오스-NMMO pre-dope를 이용한 셀룰로오스 섬유 및 필름 제조를 위한 압출가공 시 열분해 및 기계적 분해에 따른 셀룰로오스의 분자량 및 알파 셀룰로오스 함량 변화에 대하여 고찰하였다. 고속분쇄에 의해 제조된 pre-dope를 압출기에 통과시켜 용액으로 제조할 때 가공온도, 셀룰로오스의 농도 및 체제시간에 따라 셀룰로오스의 분자량 및 알파 셀룰로오스 함량 변화가 다양하게 나타났다. 셀룰로오스의 분자량과 알파 셀룰로오스 함량은 셀룰로오스의 농도가 낮을수록 온도가 높을수록 감소하였다. 셀룰로오스 농도 15% 및 짧은 체제시간 영역에서 알파 셀룰로오스 함량은 높은 전단으로 인해 온도가 높을수록 가장 큰 변화를 보였다. 다양한 가공조건으로부터 알파 셀룰로오스 함량변화 거동은 분자량 변화와 다른 거동을 보였으며 셀룰로오스 용액 제조를 위한 압출가공조건이 중요 요인임을 알 수 있었다.