• 제목/요약/키워드: Preprocess Data

검색결과 62건 처리시간 0.02초

임베디드 SQL 기반 정보시스템의 개발 및 관리 방법에 대한 연구 (A Study on the Development and Maintenance of Embedded SQL based Information Systems)

  • 송용욱
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제19권4호
    • /
    • pp.25-49
    • /
    • 2010
  • As companies introduced ERP (Enterprise Resource Planning) systems since the middle of 1990s, the databases of the companies has become centralized and gigantic. The companies are now developing data-mining based applications on those centralized and gigantic databases for knowledge management. Almost of them are using $Pro^*C$/C++, a embedded SQL programming language, and it's because the $Pro^*C$/C++ is independent of platforms and also fast. However, they suffer from difficulties in development and maintenance due to the characteristics of corporate databases which have intrinsically large number of tables and fields. The purpose of this research is to design and implement a methodology which makes it easier to develop and maintain embedded SQL applications based on relational databases. Firstly, this article analyzes the syntax of $Pro^*C$/C++ and addresses the concept of repetition and duplication which causes the difficulties in development and maintenance of corporate information systems. Then, this article suggests a management architecture of source codes and databases in which a preprocessor generates $Pro^*C$/C++ source codes by referring a DB table specification, which would solve the problem of repetition and duplication. Moreover, this article also suggests another architecture of DB administration in which the preprocessor generates DB administration commands by referring the same table specification, which would solve the problem of repetition and duplication again. The preprocessor, named $PrePro^*C$, has been developed under the UNIX command-line prompt environment to preprocess $Pro^*C$/C++ source codes and SQL administration commands, and is under update to be used in another DB interface environment like ODBC and JDBC, too.

LSTM 및 정보이득 기반의 악성 안드로이드 앱 탐지연구 (A Study on Detection of Malicious Android Apps based on LSTM and Information Gain)

  • 안유림;홍승아;김지연;최은정
    • 한국멀티미디어학회논문지
    • /
    • 제23권5호
    • /
    • pp.641-649
    • /
    • 2020
  • As the usage of mobile devices extremely increases, malicious mobile apps(applications) that target mobile users are also increasing. It is challenging to detect these malicious apps using traditional malware detection techniques due to intelligence of today's attack mechanisms. Deep learning (DL) is an alternative technique of traditional signature and rule-based anomaly detection techniques and thus have actively been used in numerous recent studies on malware detection. In order to develop DL-based defense mechanisms against intelligent malicious apps, feeding recent datasets into DL models is important. In this paper, we develop a DL-based model for detecting intelligent malicious apps using KU-CISC 2018-Android, the most up-to-date dataset consisting of benign and malicious Android apps. This dataset has hardly been addressed in other studies so far. We extract OPcode sequences from the Android apps and preprocess the OPcode sequences using an N-gram model. We then feed the preprocessed data into LSTM and apply the concept of Information Gain to improve performance of detecting malicious apps. Furthermore, we evaluate our model with numerous scenarios in order to verify the model's design and performance.

GIS를 이용한 도시유역 홍수침수 분석시스템 구축 (Development of Flood Inundation Analysis System for Urban Areas using GIS)

  • 최성열;이재영;조원철;이재호;최철관
    • Spatial Information Research
    • /
    • 제11권2호
    • /
    • pp.155-170
    • /
    • 2003
  • GIS를 이용한 홍수침수 분석시스템이 공항배수유역의 침수현상을 모의하기 위해 개발되었다. 본 연구에서 개발된 모형은 사용자 인터페이스인 GUI 시스템을 통한 Database 구축 및 입력자료 작성을 위한 전처리 과정과 주처리 해석모형을 통해 계산된 결과를 그래픽으로 처리하는 후처리 과정을 GIS(ArcView/Avenue)와 연계하여 통합적으로 구축·제시되었다. 주처리 해석모형은 노면수의 거동분석 모형과 하수배수체계의 분석모형을 통합하여 상호 연계 현상을 모의함으로써 유역에서의 유출량과 배수시스템과의 실제적인 거동을 해석하여 배수관로의 배수효과 및 압력류에 의한 침수현상을 모의함으로써 배수관로 유입에 따른 실제적인 현상을 모의하였다. 본 연구에서 개발된 홍수침수분석시스템은 향후 공항에서의 침수피해에 대한 시설전반에 대해 합리적인 대책관리방안 및 시설개선방안 수립을 위한 체계적인 의사결정에 크게 기여할 것으로 사료된다.

  • PDF

대학수학능력시험 독서 영역의 교육 목표를 위한 자연어처리 기법을 통한 검증 (Verification of educational goal of reading area in Korean SAT through natural language processing techniques)

  • 이수민;김경민;임희석
    • 한국융합학회논문지
    • /
    • 제13권1호
    • /
    • pp.81-88
    • /
    • 2022
  • 대학수학능력시험 국어 과목에서 중요한 비중을 차지하는 독서 영역의 주된 교육 목표는 주어진 지문을 온전히 이해할 수 있는가를 평가하는 데에 있다. 따라서 해당 지문에 포함된 질의를 주어진 지문만으로 풀이할 수 있는지는 해당 영역의 교육 목표와 관련이 깊다. 본 연구에서는 처음으로, 교육학 분야와 딥러닝을 접목하여 이러한 교육 목표가 실제로도 타당하게 실현 가능한지를 입증하고자 한다. 대학수학능력시험의 독서 영역의 개별지문과 그에 수반된 다수의 문장 쌍(sentence pair)을 정제하여 추출하고, 해당 문장 쌍을 주어진 지문에 비추어 적절하거나(T), 적절하지 않은지(F)를 판단하는 이진 분류 태스크(binary classification task)에 적용하여 평가하고자 한다. 그 결과, F1 스코어 기준 59.2%의 human performance를 뛰어넘는 성능을 62.49%의 KoELECTRA를 비롯한 대부분의 언어 모델에서 확인할 수 있었으며, 또한 데이터 전처리 과정에 변화를 줌으로써 언어 모델의 구조적 한계를 극복할 수 있었다.

Bi-LSTM 모델을 이용한 음악 생성 시계열 예측 (Prediction of Music Generation on Time Series Using Bi-LSTM Model)

  • 김광진;이칠우
    • 스마트미디어저널
    • /
    • 제11권10호
    • /
    • pp.65-75
    • /
    • 2022
  • 딥러닝은 기존의 분석 모델이 갖는 한계를 극복하고 텍스트, 이미지, 음악 등 다양한 형태의 결과물을 생성할 수 있는 창의적인 도구로 활용되고 있다. 본 고에서는 Niko's MIDI Pack 음원 파일 1,609개를 데이터 셋으로 삼아 전처리 과정을 수행하고, 양방향 장단기 기억 순환 신경망(Bi-LSTM) 모델을 이용하여, 효율적으로 음악을 생성할 수 있는 전처리 방법과 예측 모델을 제시한다. 생성되는 으뜸음을 바탕으로 음악적 조성(調聲)에 적합한 새로운 시계열 데이터를 생성할 수 있도록 은닉층을 다층화하고, 디코더의 출력 게이트에서 인코더의 입력 데이터 중 영향을 주는 요소의 가중치를 적용하는 어텐션(Attention) 메커니즘을 적용한다. LSTM 모델의 인식률 향상을 위한 파라미터로서 손실함수, 최적화 방법 등 설정 변수들을 적용한다. 제안 모델은 MIDI 학습의 효율성 제고 및 예측 향상을 위해 높은음자리표(treble clef)와 낮은음자리표(bass clef)를 구분하여 추출된 음표, 음표의 길이, 쉼표, 쉼표의 길이와 코드(chord) 등을 적용한 다채널 어텐션 적용 양방향 기억 모델(Bi-LSTM with attention)이다. 학습의 결과는 노이즈와 구별되는 음악의 전개에 어울리는 음표와 코드를 생성하며, 화성학적으로 안정된 음악을 생성하는 모델을 지향한다.

GIS격자기반 K-DRUM을 활용한 용담댐유역 홍수유출모의 (Flood Runoff Simulation Using GIS-Grid Based K-DRUM for Yongdam-Dam Watershed)

  • 박진혁;허영택;류경식;이근상
    • 대한토목학회논문집
    • /
    • 제29권1D호
    • /
    • pp.145-151
    • /
    • 2009
  • 최근, GIS기술의 급속한 발전에 따라 다양한 공간 수문자료들이 속성정보와 결합되어 다루는 것이 가능해졌고, 집중형 유출모형보다 유역 유출량의 시공간적인 변동을 고려할 수 있는 분포형 유출모형의 구축이 활발하게 연구되고 있다. 본 연구는 시공간 분포를 적절하게 표현할 수 있는 레이더 강우시계열자료와 GIS기반의 분포형모형을 연계하여 국내 댐유역에 적용해 봄으로써, 분포형모형의 홍수유출시 실무에서의 적용가능성을 검증해 본 것이다. 본 연구에서 사용한 물리적기반의 분포형모형으로는 교토대학 방재연구소에서 개발한 장기유출모형을 근간으로 레이더강우량과 연계하여 홍수기에 특화되어 사용할 수 있도록 자체 개발한 K-DRUM모형을 이용하였으며, 금강권역의 용담댐유역($930km^2$)을 시험유역으로 적용하였다. 입력강우로는 진도레이더로 부터 레이더강우 전처리프로그램을 이용하여 모형의 격자해상도에 맞는 분포형 강우를 생성하였다. 또한, GIS수문매개변수를 DEM, 토지피복도, 토양도 등의 기본 GIS자료들로 부터 추출, 물리적기반의 분포형모형(KDRUM) 의 입력인자로 사용하여 모형의 초기설정을 향상시켰다. 본 연구의 성과는 향후 돌발홍수에 대응한 실시간 단기 강우유출예측시스템을 구축하기위한 기반이 될 것으로 사료된다.

레이더강우와 Vflo모형을 이용한 남강댐유역 홍수유출해석 (Flood Runoff Analysis using Radar Rainfall and Vflo Model for Namgang Dam Watershed)

  • 박진혁;강부식;이근상;이을래
    • 한국지리정보학회지
    • /
    • 제10권3호
    • /
    • pp.13-21
    • /
    • 2007
  • 최근 기상이변에 따른 국지성 돌발 홍수의 빈번한 발생으로 인해 레이더 등을 이용한 초단기 강수예보의 필요성이 대두되고 있다. 본 연구는 시공간 분포를 적절하게 표현할 수 있는 레이더 강우시계열자료와 GIS기반의 분포형모형을 연계하여 국내 댐유역에 적용해 봄으로써, 분포형모형의 홍수유출시 실무에서의 적용가능성을 검증해 본 것이다. 본 연구에서 사용한 물리적기반의 분포형모형으로는 미국 오클라호마 대학에서 개발한 Vflo모형을 이용하였으며, 낙동강권역의 남강댐유역($2,293km^2$)을 시험유역으로 적용하였다. 입력강우로는 진도레이더로 부터 레이더강우 전처리프로그램인 K-RainVieux를 이용하여 모형의 격자해상도에 맞는 분포형 강우를 생성하였다. 또한, GIS수문매개변수를 DEM, 토지피복도, 토양도 등의 기본 GIS자료들로 부터 추출, 물리적기반의 분포형모형(Vflo)의 입력인자로 사용하여 모형의 초기설정을 향상시켰다. 본 연구의 성과는 향후 돌발홍수에 대응한 실시간 단기 강우유출예측시스템을 구축하기 위한 기반이 될 것으로 사료된다.

  • PDF

입술 움직임 영상 선호를 이용한 음성 구간 검출 (Speech Activity Detection using Lip Movement Image Signals)

  • 김응규
    • 융합신호처리학회논문지
    • /
    • 제11권4호
    • /
    • pp.289-297
    • /
    • 2010
  • 본 논문에서는 음성인식을 위한 음성구간 검출과정에서 유입될 수 있는 동적인 음향에너지 이외에 화자의 입술움직임 영상신호까지 확인함으로써 외부 음향잡음이 음성인식 대상으로 오인식되는 것을 방지하기 위한 한 가지 방법이 제시된다. 우선, 연속적인 영상이 PC용 영상카메라를 통하여 획득되고 그 입술움직임 여부가 식별된다. 다음으로, 입술움직임 영상신호 데이터는 공유메모리에 저장되어 음성인식 프로세서와 공유한다. 한편, 음성인식의 전처리 단계인 음성구간 검출과정에서 공유메모리에 저장되어진 데이터를 확인함으로써 화자의 발성에 의한 음향에너지인지의 여부가 입증된다. 최종적으로, 음성인식기와 영상처리기를 연동시켜 실험한 결과, 영상카메라에 대면해서 발성하면 음성인식 결과의 출력에 이르기까지 연동처리가 정상적으로 진행됨을 확인하였고, 영상카메라에 대면치 않고 발성하면 연동처리시스템이 그 음성인식 결과를 출력치 못함을 확인하였다. 또한, 오프라인하의 입술움직임 초기 특정값 및 템플릿 초기영상을 온라인하에서 추출된 입술움직임 초기특정값 및 템플릿 영상으로 대체함으로써 입술움직임 영상 추적의 변별력을 향상시켰다. 입술움직임 영상 추적과정을 시각적으로 확인하고 실시간으로 관련된 패러미터를 해석하기 위해 영상처리 테스트베드를 구축하였다, 음성과 영상처리 시스템의 연동결과 다양한 조명환경 하에서도 약 99.3%의 연동율을 나타냈다.

입술움직임 영상신호를 고려한 음성존재 검출 (Speech Activity Decision with Lip Movement Image Signals)

  • 박준;이영직;김응규;이수종
    • 한국음향학회지
    • /
    • 제26권1호
    • /
    • pp.25-31
    • /
    • 2007
  • 본 논문은 음성인식을 위한 음성구간 검출과정에서, 음향에너지 이외에도 화자의 입술움직임 영상신호까지 확인하도록 함으로써, 외부의 음향잡음이 음성인식 대상으로 오인식되는 것을 방지하기 위하여 시도한 것이다. 먼저, PC용 화상카메라를 통하여 영상을 획득하고, 입술움직임 여부가 식별된다. 그리고 입술움직임 영상신호 데이터는 공유메모리에 저장되어 음성인식 프로세스와 공유한다. 한편, 음성인식의 전처리 단계인 음성구간 검출과정에서는 공유메모리에 저장되어 있는 데이터를 확인함으로써 사람의 발성에 의한 음향에너지인지의 여부를 확인하게 된다. 음성인식기와 영상처리기를 연동시켜 실험한 결과, 화상카메라에 대면해서 발성하면 음성인식 결과의 출력까지 정상적으로 진행됨을 확인하였고, 화상카메라에 대면하지 않고 발성하면 음성인식 결과를 출력하지 않는 것을 확인하였다. 이는 음향에너지가 입력되더라도 입술움직임 영상이 확인되지 않으면 음향잡음으로 간주하도록 한 것에 따른 것이다.

딥러닝 예측 결과 정보를 적용하는 복합 미생물 배양기를 위한 딥러닝 구조 개발 (Development of deep learning structure for complex microbial incubator applying deep learning prediction result information)

  • 김홍직;이원복;이승호
    • 전기전자학회논문지
    • /
    • 제27권1호
    • /
    • pp.116-121
    • /
    • 2023
  • 본 논문에서는 딥러닝 예측 결과 정보를 적용하는 복합 미생물 배양기를 위한 딥러닝 구조를 개발한다. 제안하는 복합 미생물 배양기는 수집한 복합 미생물 데이터에 대해 복합 미생물 데이터 전처리, 복합 미생물 데이터 구조 변환, 딥러닝 네트워크 설계, 설계한 딥러닝 네트워크 학습, 시제품에 적용되는 GUI 개발 등으로 구성된다. 복합 미생물 데이터 전처리에서는 미생물 배양에 필요한 당밀, 영양제, 식물엑기스, 소금 등의 양에 대해 원-핫 인코딩을 실시하며, 배양된 결과로 측정된 pH 농도와 미생물의 셀 수에 대해 최대-최소 정규화 방법을 사용하여 데이터를 전처리한다. 복합 미생물 데이터 구조 변환에서는 전처리된 데이터를 물 온도와 미생물의 셀 수를 연결하여 그래프 구조로 변환 후, 인접 행렬과 속성 정보로 나타내어 딥러닝 네트워크의 입력 데이터로 사용한다. 딥러닝 네트워크 설계에서는 그래프 구조에 특화된 그래프 합성곱 네트워크를 설계하여 복합 미생물 데이터를 학습시킨다. 설계한 딥러닝 네트워크는 Cosine 손실함수를 사용하여 학습 시에 발생하는 오차를 최소화하는 방향으로 학습을 진행한다. 시제품에 적용되는 GUI 개발은 사용자가 선택하는 물 온도에 따라 목표하는 pH 농도(3.8 이하) 복합 미생물의 셀 수(108 이상)를 배양시키기 적합한 순으로 나타낸다. 제안된 미생물 배양기의 성능을 평가하기 위하여 공인시험기관에서 실험한 결과는, pH 농도의 경우 평균 3.7로, 복합 미생물의 셀 수는 1.7 × 108으로 측정되었다. 따라서, 본 논문에서 제안한 딥러닝 예측 결과 정보를 적용하는 복합 미생물 배양기를 위한 딥러닝 구조의 효용성이 입증되었다.