• 제목/요약/키워드: Data Generalization

검색결과 531건 처리시간 0.032초

지도 일반화 알고리듬의 임계값 설정에 따른 소축척 지도 제작의 효용성 연구 (A Study on the Effectiveness of Small-scale Maps Production Based on Tolerance Changes of Map Generalization Algorithm)

  • 김화경;류재학;허지용;신용태
    • 한국IT서비스학회지
    • /
    • 제22권5호
    • /
    • pp.71-86
    • /
    • 2023
  • Recently, various geographic information systems have been used based on spatial information of geographic information systems. Accordingly, it is essential to produce a large-scale map as a small-scale map for various uses of spatial information. However, maps currently being produced have inconsistencies between data due to production timing and limitations in expression, and productivity efficiency is greatly reduced due to errors in products or overlapping processes. In order to improve this, various efforts are being made, such as publishing research and reports for automating domestic mapping, but because there is no specific result, it relies on editors to make maps. This is mainly done by hand, so the time required for mapping is excessive, and quality control for each producer is different. In order to solve these problems, technology that can be automatically produced through computer programs is needed. Research has been conducted to apply the rule base to geometric generalization. The algorithm tolerance setting applied to rule-based modeling is a factor that greatly affects the result, and the level of the result changes accordingly. In this paper, we tried to study the effectiveness of mapping according to tolerance setting. To this end, the utility was verified by comparing it with a manually produced map. In addition, the original data and reduction rate were analyzed by applying generalization algorithms and tolerance values. Although there are some differences by region, it was confirmed that the complexity decreased on average. Through this, it is expected to contribute to the use of spatial information-based services by improving tolerances suitable for small-scale mapping regulations in order to secure spatial information data that guarantees consistency and accuracy.

규칙기반 모델링에 의한 하계망 일반화에 관한 연구 (A Study on the Cartographic Generalization of Stream Networks by Rule-based Modelling)

  • 김남신
    • 대한지리학회지
    • /
    • 제39권4호
    • /
    • pp.633-642
    • /
    • 2004
  • 본 연구의 목적은 규칙기반 모델링을 구성하여 하계망을 일반화하고자 하였다. 그 동안 지도 일반화에 대한 연구는 제한된 지도요소를 대상으로 선형사상의 형태변형을 위한 알고리즘 개발과 평가에 집중되었다. 규칙 기반 모델링은 지도제작 원리와 공간현상의 분포패턴을 분석하여, 그 결과를 일반화 과정에 적용하기 때문에 기존의 일반화 알고리즘 개선에 도움이 된다. 규칙기반 모델링은 다양한 지도요소들을 대상으로 일반화를 적용할 수 있고, 디지털 환경하에서 다축척 지도제작에 효과적이다. 본 연구에서 개발된 하계망 규칙기반 모델링은 일반화 규칙, 중심선 추출 그리고 선형사상 일반화 알고리즘으로 구성된다. 일반화를 적용하기 앞서, 하계망은 논리적 오류를 최소화하기 위해 저수지와의 연결관계를 분석하였다. 모델을 적용한 결과, 108개의 실폭 하천 중 17개 하천이 중심선으로 추출되었다. 하천의 총길이는 1:25,000에서 17%, 1:50,000에서는 29%로 감소하였다. 선형사상 일반화를 위해 개발된 Simoo 알고리즘은 Douglas-Peucker 알고리즘과 비교하였다. Doug]as-Peucker 알고리즘은 자료점 간격과 편각이 커지게 되어 선의 형태가 거칠어지는 반면, Simoo 알고리즘에서 선형사상은 축척이 감소함에 따라 보다 완만해진다.

Generalized Asymmetrical Bidirectional Associative Memory for Human Skill Transfer

  • T.D. Eom;Lee, J. J.
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.482-482
    • /
    • 2000
  • The essential requirements of neural network for human skill transfer are fast convergence, high storage capacity, and strong noise immunity. Bidirectional associative memory(BAM) suffering from low storage capacity and abundance of spurious memories is rarely used for skill transfer application though it has fast and wide association characteristics for visual data. This paper suggests generalization of classical BAM structure and new learning algorithm which uses supervised learning to guarantee perfect recall starting with correlation matrix. The generalization is validated to accelerate convergence speed, to increase storage capacity, to lessen spurious memories, to enhance noise immunity, and to enable multiple association using simulation work.

  • PDF

피타고라스 정리의 일반화에 관한 고찰 (The Study of the Generalization for Pythagorean Theorem)

  • 윤대원;김동근
    • 한국수학교육학회지시리즈E:수학교육논문집
    • /
    • 제24권1호
    • /
    • pp.221-234
    • /
    • 2010
  • 현재 알려진 피타고라스의 정리의 증명은 370여 가지가 될 정도로 다양한 증명 방법이 소개되고 있으며 이를 통해 증명 방법의 분석에 대한 많은 연구가 이루어지고 있다. 하지만 피타고라스의 정리의 일반화에 관한 연구는 부족한 실정이다. 따라서 본 연구에서는 유클리드 '원론'의 1권 명제47에 제시된 내용을 바탕으로 수학적 자료 즉, 데이터(길이, 넓이, 각의 크기 등)를 추출하여 학교수학 및 문헌 연구를 통해 피타고라스 정리의 일반화에 관한 다양한 방법을 고찰하였다.

Exploring the feasibility of fine-tuning large-scale speech recognition models for domain-specific applications: A case study on Whisper model and KsponSpeech dataset

  • Jungwon Chang;Hosung Nam
    • 말소리와 음성과학
    • /
    • 제15권3호
    • /
    • pp.83-88
    • /
    • 2023
  • This study investigates the fine-tuning of large-scale Automatic Speech Recognition (ASR) models, specifically OpenAI's Whisper model, for domain-specific applications using the KsponSpeech dataset. The primary research questions address the effectiveness of targeted lexical item emphasis during fine-tuning, its impact on domain-specific performance, and whether the fine-tuned model can maintain generalization capabilities across different languages and environments. Experiments were conducted using two fine-tuning datasets: Set A, a small subset emphasizing specific lexical items, and Set B, consisting of the entire KsponSpeech dataset. Results showed that fine-tuning with targeted lexical items increased recognition accuracy and improved domain-specific performance, with generalization capabilities maintained when fine-tuned with a smaller dataset. For noisier environments, a trade-off between specificity and generalization capabilities was observed. This study highlights the potential of fine-tuning using minimal domain-specific data to achieve satisfactory results, emphasizing the importance of balancing specialization and generalization for ASR models. Future research could explore different fine-tuning strategies and novel technologies such as prompting to further enhance large-scale ASR models' domain-specific performance.

서포트 벡터 기계에서 TOTAL MARGIN을 이용한 일반화 오차 경계의 개선 (Improving the Generalization Error Bound using Total margin in Support Vector Machines)

  • 윤민
    • 응용통계연구
    • /
    • 제17권1호
    • /
    • pp.75-88
    • /
    • 2004
  • 서포트 벡터 기계(Support Vector Machines, SVMs) 알고리즘은 표본 점들과 분리 초평면 사이의 최소 거리를 최대화하는 것에 관심을 가져왔다. 본 논문은 모든 데이터 점들과 분리 초평면 사이의 거리들을 고려하는 total margin을 제안한다. 본 논문에서 제안하는 방법은 기존의 서포트 벡터 기계 알고리즘을 확장하고, 일반화 오차 경계를 개선하게 된다. 새롭게 제안하는 total margin알고리즘이 기존 방법들과의 비교를 통하여 더욱 우수한 수행능력을 가지고 있음을 수치 예제들을 통하여 확인할 수 있다.

Generalized Fuzzy Quantitative Association Rules Mining with Fuzzy Generalization Hierarchies

  • Lee, Keon-Myung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제2권3호
    • /
    • pp.210-214
    • /
    • 2002
  • Association rule mining is an exploratory learning task to discover some hidden dependency relationships among items in transaction data. Quantitative association rules denote association rules with both categorical and quantitative attributes. There have been several works on quantitative association rule mining such as the application of fuzzy techniques to quantitative association rule mining, the generalized association rule mining for quantitative association rules, and importance weight incorporation into association rule mining fer taking into account the users interest. This paper introduces a new method for generalized fuzzy quantitative association rule mining with importance weights. The method uses fuzzy concept hierarchies fer categorical attributes and generalization hierarchies of fuzzy linguistic terms fur quantitative attributes. It enables the users to flexibly perform the association rule mining by controlling the generalization levels for attributes and the importance weights f3r attributes.

신경망 학습앙상블에 관한 연구 - 주가예측을 중심으로 - (A Study on Training Ensembles of Neural Networks - A Case of Stock Price Prediction)

  • 이영찬;곽수환
    • 지능정보연구
    • /
    • 제5권1호
    • /
    • pp.95-101
    • /
    • 1999
  • In this paper, a comparison between different methods to combine predictions from neural networks will be given. These methods are bagging, bumping, and balancing. Those are based on the analysis of the ensemble generalization error into an ambiguity term and a term incorporating generalization performances of individual networks. Neural Networks and AI machine learning models are prone to overfitting. A strategy to prevent a neural network from overfitting, is to stop training in early stage of the learning process. The complete data set is spilt up into a training set and a validation set. Training is stopped when the error on the validation set starts increasing. The stability of the networks is highly dependent on the division in training and validation set, and also on the random initial weights and the chosen minimization procedure. This causes early stopped networks to be rather unstable: a small change in the data or different initial conditions can produce large changes in the prediction. Therefore, it is advisable to apply the same procedure several times starting from different initial weights. This technique is often referred to as training ensembles of neural networks. In this paper, we presented a comparison of three statistical methods to prevent overfitting of neural network.

  • PDF

지형자료의 계층화를 이용한 하계망 일반화 (Generalization of the Stream Network by the Geographic Hierarchy of Landform Data)

  • 김남신
    • 대한지리학회지
    • /
    • 제40권4호
    • /
    • pp.441-453
    • /
    • 2005
  • 본 연구의 목적은 지형자료에 대한 계층화 알고리즘을 개발하여 하계망을 일반화하고자 하였다. 하계망은 계층적인 구조를 갖기 때문에 일반화를 위해 선형사상들에 대한 지형자료의 계층화가 요구된다. 하계망 일반화의 절차는 하계망의 계층화, 차수별 선택과 제거, 그리고 알고리즘 적용으로 진행하였다. 계층화는 하계망의 고도에 따른 방향 결정, Stroke Segment 서열화. Strahler 차수화로 진행하였으며, 선형사상의 선택과 제거는 지리자료의 질의를 통해 차수와 선의 길이를 기준으로 처리하였다 개선된 Simoo 알고리즘은 선형사상의 곡률을 낮추고 완만화에 효과적이었다 연구결과는 공간적으로 다양한 계층구조를 갖는 사상들에 대한 일반화를 개선할 수 있을 것으로 기대된다.

소축적 지도제작을 위한 데이터 감축 기법에 관한 연구 (A Study on the Data Reduction Techniques for Small Scale Map Production)

  • 곽강율;이호남;김명배
    • 한국측량학회지
    • /
    • 제13권1호
    • /
    • pp.77-83
    • /
    • 1995
  • 수치지도 제작의 일반화 기법은 대축척 실측 지도를 이용한 소축척 편집 지도의 자동 제작과 수치 지도 데이터 베이스 구축 등의 활용 분야에 필수적 요소이다. 본 연구는 수작업으로 처리되고 있는 편집도의 제작을 자동화하기 위한 방안으로 디지탈 환경하에서의 일반화 기법에 대한 연구로서 Zero-Crossing알고리즘을 국립지리원 발행 l/5,000지도 6도엽에 포함되어 있는 전남 여수 일대의 해안선에 적용, 다양한 단순화 허용 범위에 의해 수치 지도를 제작하여 편집도와 도해적인 표현 방법에 대한 문제점을 비교 분석하였다. 또한, Zero-Crossing알고리즘에 의한 단순화의 효용성을 입증하기 위해 Douglas-Peucker알고리즘을 이용한 단순화 결과와 비교 분석을 하였으며, 단순화의 허용 범위별로 일반화가 이루어진 수치 지도와 수작업으로 제작된 편집도와의 비교를 통해 일반화된 Line에 대한 평가를 도출하고, 단순화 허용 범위의 선택에 따른 효율성을 판단하기 위해 일반화 처리 결과의 데이타 용량을 분석하였다.

  • PDF