• 제목/요약/키워드: Unstructured task

검색결과 43건 처리시간 0.034초

Academic Registration Text Classification Using Machine Learning

  • Alhawas, Mohammed S;Almurayziq, Tariq S
    • International Journal of Computer Science & Network Security
    • /
    • 제22권1호
    • /
    • pp.93-96
    • /
    • 2022
  • Natural language processing (NLP) is utilized to understand a natural text. Text analysis systems use natural language algorithms to find the meaning of large amounts of text. Text classification represents a basic task of NLP with a wide range of applications such as topic labeling, sentiment analysis, spam detection, and intent detection. The algorithm can transform user's unstructured thoughts into more structured data. In this work, a text classifier has been developed that uses academic admission and registration texts as input, analyzes its content, and then automatically assigns relevant tags such as admission, graduate school, and registration. In this work, the well-known algorithms support vector machine SVM and K-nearest neighbor (kNN) algorithms are used to develop the above-mentioned classifier. The obtained results showed that the SVM classifier outperformed the kNN classifier with an overall accuracy of 98.9%. in addition, the mean absolute error of SVM was 0.0064 while it was 0.0098 for kNN classifier. Based on the obtained results, the SVM is used to implement the academic text classification in this work.

AUTOMATED INTEGRATION OF CONSTRUCTION IMAGES IN MODEL BASED SYSTEMS

  • Ioannis K. Brilakis;Lucio Soibelman
    • 국제학술발표논문집
    • /
    • The 1th International Conference on Construction Engineering and Project Management
    • /
    • pp.503-508
    • /
    • 2005
  • In the modern, distributed and dynamic construction environment it is important to exchange information from different sources and in different data formats in order to improve the processes supported by these systems. Previous research has demonstrated that (i) a significant percentage of construction data is stored in semi-structured or unstructured data formats (ii) locating and identifying such data that are needed for the important decision making processes is a very hard and time-consuming task. In this paper, an automated methodology for the classification and retrieval of construction images in AEC/FM model based systems will be presented. Specifically, a combination of techniques from the areas of image processing, computer vision, and content-based image retrieval have been deployed to develop a method that can retrieve related construction site image data from components of a project model.

  • PDF

HOLISTIC DECISION SUPPORT FOR BRIDGE REMEDIATION

  • Maria Rashidi;Brett Lemass
    • 국제학술발표논문집
    • /
    • The 4th International Conference on Construction Engineering and Project Management Organized by the University of New South Wales
    • /
    • pp.52-57
    • /
    • 2011
  • Bridges are essential and valuable elements in road and rail transportation networks. Bridge remediation is a top priority for asset managers, but identifying the nature of true defect deterioration and associated remediation treatments remains a complex task. Nowadays Decision Support Systems (DSS) are used extensively to assist in decision-making across a wide spectrum of unstructured decision environments. In this paper a requirements-driven framework is used to develop a risk based decision support model which has the ability to quantify the bridge condition and find the best remediation treatments using Multi Attribute Utility Theory (MAUT), with the aim of maintaining a bridge within acceptable limits of safety, serviceability and sustainability.

  • PDF

공문서의 기계가독형(Machine Readable) 전환 방법 제언 (Suggestions on how to convert official documents to Machine Readable)

  • 임진희
    • 기록학연구
    • /
    • 제67호
    • /
    • pp.99-138
    • /
    • 2021
  • 빅데이터 시대에 정형데이터 뿐만 아니라 비정형데이터를 분석하는 것이 중요한 과제로 대두되고 있다. 정부기관이 생산하는 공문서도 텍스트 기반의 대형 비정형데이터로 빅데이터 분석의 대상이 된다. 기관 내부의 업무효율, 지식관리, 기록관리 등의 관점에서 공문서 빅데이터를 분석하여 유용한 시사점을 도출해 나가야 할 것이다. 그러나, 현재 공공기관이 보유 중인 공문서의 상당수가 개방포맷이 아니어서 빅데이터 분석을 하려면 비트스트림에서 텍스트를 추출하는 전처리 과정이 요구된다. 또한, 문서파일 내에 맥락 메타데이터가 충분히 저장되어 있지 못하여 품질 높은 분석을 하려면 별도의 메타데이터 확보 노력이 필요하다. 결론적으로 현재의 공문서는 기계가독(machine readable) 수준이 낮아 빅데이터 분석에 비용이 많이 들게 된다. 이 연구에서는 향후 공문서가 기계가독 수준을 높이기 위해서는 공문서의 개방포맷화, 기안문 서식의 표준태그화, 자기 기술(self-descriptive) 메타데이터 확보, 문서 텍스트 태깅 등이 선행될 필요가 있다는 점을 제안한다. 첫째, 문서가 스스로를 설명하기 위해 추가되어야 하는 메타데이터 항목들을 제시하고 이 메타데이터들이 기계가독형이 되도록 문서파일에 저장하는 방법을 제안한다. 둘째, 문서 내용 분석 시 자연어 처리에만 의존하지 않고 행정 맥락에 따라 중요한 키워드를 미리 국제표준 태그로 마킹하여 기계가독형이 되도록 하는 방안을 제안한다.

Interface of Tele-Task Operation for Automated Cultivation of Watermelon in Greenhouse

  • Kim, S.C.;Hwang, H.
    • Journal of Biosystems Engineering
    • /
    • 제28권6호
    • /
    • pp.511-516
    • /
    • 2003
  • 컴퓨터 시각 기술은 다양한 농작업 생력화에 있어 핵심적인 역할을 해왔다. 비록 컴퓨터 시각 기술이 광범위한 분야에 성공적으로 적용되고 있다고는 하지만 인간의 시각을 통한 인지 능력에 비하면 현재의 컴퓨터 시각 기술은 여전히 매우 미흡한 수준에 있다고 하겠다. 특히, 작업환경이 비구조적이고 가변적인 농작업 환경 하에서의 작업의 생력화는 이러한 기술적 문제를 극복하는 것이 작업의 성패를 좌우하게 된다. 본 논문에서는 원격작업 개념을 도입하여 작업자와 작업기계간의 호환적인 인터페이스를 구축하고 컴퓨터와 인간의 혼합형 의사결정 시스템을 구현하여 기존의 컴퓨터 시각 기술이 갖는 인지 처리 능력의 한계를 극복하는 시스템을 제안하였다. 시설재배에 요구되는 전정, 관수, 방제, 제초, 수확, 운반 등과 같은 다양한 작업들은 작업 대상체에 대한 인식을 바탕으로 수행된다. 특히 가변적인 자연 조명 환경 하에서 수박과 줄기 그리고 잎이 혼재되어 있는 재배현장의 영상으로부터 수박을 추출하여 그 위치 좌표를 산출하는 작업은 기술적으로 매우 어려운 작업이며 수박이 잎과 줄기로 덮혀 있는 경우 더욱 어려워진다. 제안한 개념을 구현하기 위하여 무선으로 수신되는 재배 현장의 수박 영상으로부터 수박을 인식하도록 하였다. 개발한 시스템은 작업자(농민), 컴퓨터 그리고 자동화 작업설비가 상대적으로 수월성을 갖는 기능을 중심으로 역할을 분담하도록 구축하였다 개발 시스템은 크게 무선원격 모니터링 및 작업제어 모듈, 무선원격 영상 획득 및 데이터 송수신 모듈, 작업자와 컴퓨터간의 인터페이스 모듈로 구성하였다 작업자는 RF 송수신 모듈을 통하여 무선으로 획득되어 터치 스크린에 보여지는 영상을 통하여 작업 지시를 하게 되고 이 작업 지시로부터 컴퓨터는 국부 영상처리 시퀀스를 통하여 수박을 추출하고 위치를 산출하게 된다. 개발한 인터페이스 시스템은 가변적이고 복잡한 작업 환경하에서 작업 대상체의 정보를 실시간으로 성공적으로 추출하였다. 제안한 원격작업 인터페이스 시스템은 다양한 생물생산 작업의 생력화를 촉진하는 중심적 역할을 할 것으로 기대된다.

스마트폰에서 펜 방식과 터치 방식의 사용성 평가 (Usability Evaluation between Pen and Touch Method in SmartPhone)

  • 한상근;송승근
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.518-519
    • /
    • 2014
  • 최근 기술의 발달에 의하여 펜을 입력 방식의 스마트폰이 등장하고 있다. 이러한 스마트폰은 손을 이용한 터치방식과 동시에 펜을 입력도구로 하는 입력방식을 채택하고 있다. 본 연구는 스마트폰에서 펜 방식과 터치 방식간의 사용자 선호도를 알아보기 위하여 사용성 평가를 실시하였다. 이를 위하여 초보자 5명, 전문가 5명을 모집하였다. 모든 참가자들에게 터치방식의 과제와 펜 방식의 과제를 순차적으로 제시하였다. 본 연구는 예행연습과 같은 초기 연구로서 과제수행후 구조화되지 않은 인터뷰를 실시하였다. 그 결과, 제시된 과제의 성격에 따라 영향을 받는 것을 발견하였지만 전반적으로 터치방식을 선호하는 것이 발견되었다. 특히 초보자 집단이 펜 방식을 선호하는 것으로 나타났다. 본 연구결과는 펜 입력 방식의 확장성에 어떠한 시사점이 있는지, 이를 통한 제품개발에 중요한 디자인 가이드라인을 제시 할 것으로 기대된다.

  • PDF

트랜잭션 기반 머신러닝에서 특성 추출 자동화를 위한 딥러닝 응용 (A Deep Learning Application for Automated Feature Extraction in Transaction-based Machine Learning)

  • 우덕채;문현실;권순범;조윤호
    • 한국IT서비스학회지
    • /
    • 제18권2호
    • /
    • pp.143-159
    • /
    • 2019
  • Machine learning (ML) is a method of fitting given data to a mathematical model to derive insights or to predict. In the age of big data, where the amount of available data increases exponentially due to the development of information technology and smart devices, ML shows high prediction performance due to pattern detection without bias. The feature engineering that generates the features that can explain the problem to be solved in the ML process has a great influence on the performance and its importance is continuously emphasized. Despite this importance, however, it is still considered a difficult task as it requires a thorough understanding of the domain characteristics as well as an understanding of source data and the iterative procedure. Therefore, we propose methods to apply deep learning for solving the complexity and difficulty of feature extraction and improving the performance of ML model. Unlike other techniques, the most common reason for the superior performance of deep learning techniques in complex unstructured data processing is that it is possible to extract features from the source data itself. In order to apply these advantages to the business problems, we propose deep learning based methods that can automatically extract features from transaction data or directly predict and classify target variables. In particular, we applied techniques that show high performance in existing text processing based on the structural similarity between transaction data and text data. And we also verified the suitability of each method according to the characteristics of transaction data. Through our study, it is possible not only to search for the possibility of automated feature extraction but also to obtain a benchmark model that shows a certain level of performance before performing the feature extraction task by a human. In addition, it is expected that it will be able to provide guidelines for choosing a suitable deep learning model based on the business problem and the data characteristics.

3차원 날개 모델링 및 격자 생성 자동화에 대한 연구 (STUDY ON AUTOMATIC 3D WING SHAPE MODELING AND GRID GENERATION)

  • 류근영;김병수
    • 한국전산유체공학회:학술대회논문집
    • /
    • 한국전산유체공학회 2009년 춘계학술대회논문집
    • /
    • pp.125-129
    • /
    • 2009
  • In this paper automatic 3D wing shape modeling program is introduced. The program is developed in Visual Basic based on Net Framework 3.5 environment by using CATIA COM Library, and it is used together with CATIA system to model 3D wings with or without flaps. With this program users can easily construct wing models by specifying geometry parameters which are usually design variables with the aid of easy-to-use GUI environment, and specifying sectional airfoil data is done either by using analytic shape functions such as NACA series airfoils or by providing input files with point data describing the airfoil shape. When all the input parameters are provided, users can either work further with the model in the CATIA system which would be automatically started by the program or save the resultant model in the format of users choice. Unstructured grid generation program is also briefly described which can make grid generation task for a 3D wing easy and efficient one when used together with the wing modeling program by choosing STL format as the model's output format.

  • PDF

Path coordinator by the modified genetic algorithm

  • Chung, C.H.;Lee, K.S.
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1991년도 한국자동제어학술회의논문집(국제학술편); KOEX, Seoul; 22-24 Oct. 1991
    • /
    • pp.1939-1943
    • /
    • 1991
  • Path planning is an important task for optimal motion of a robot in structured or unstructured environment. The goal of this paper is to plan the shortest collision-free path in 3D, when a robot is navigated to pick up some tools or to repair some parts from various locations. To accomplish the goal of this paper, the Path Coordinator is proposed to have the capabilities of an obstacle avoidance strategy[3] and a traveling salesman problem strategy(TSP)[23]. The obstacle avoidance strategy is to plan the shortest collision-free path between each pair of n locations in 2D or in 3D. The TSP strategy is to compute a minimal system cost of a tour that is defined as a closed path navigating each location exactly once. The TSP strategy can be implemented by the Neural Network. The obstacle avoidance strategy in 2D can be implemented by the VGraph Algorithm. However, the VGraph Algorithm is not useful in 3D, because it can't compute the global optimality in 3D. Thus, the Path Coordinator is proposed to solve this problem, having the capabilities of selecting the optimal edges by the modified Genetic Algorithm[21] and computing the optimal nodes along the optimal edges by the Recursive Compensation Algorithm[5].

  • PDF

Korean and English Sentiment Analysis Using the Deep Learning

  • 마렌드라;최형림;임성배
    • 한국산업정보학회논문지
    • /
    • 제23권3호
    • /
    • pp.59-71
    • /
    • 2018
  • Social media has immense popularity among all services today. Data from social network services (SNSs) can be used for various objectives, such as text prediction or sentiment analysis. There is a great deal of Korean and English data on social media that can be used for sentiment analysis, but handling such huge amounts of unstructured data presents a difficult task. Machine learning is needed to handle such huge amounts of data. This research focuses on predicting Korean and English sentiment using deep forward neural network with a deep learning architecture and compares it with other methods, such as LDA MLP and GENSIM, using logistic regression. The research findings indicate an approximately 75% accuracy rate when predicting sentiments using DNN, with a latent Dirichelet allocation (LDA) prediction accuracy rate of approximately 81%, with the corpus being approximately 64% accurate between English and Korean.