• Title/Summary/Keyword: 표 형태 데이터

Search Result 59, Processing Time 0.025 seconds

Domain-agnostic Pre-trained Language Model for Tabular Data (도메인 변화에 강건한 사전학습 표 언어모형)

  • Cho, Sanghyun;Choi, Jae-Hoon;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.346-349
    • /
    • 2021
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

Test Dataset for validating the meaning of Table Machine Reading Language Model (표 기계독해 언어 모형의 의미 검증을 위한 테스트 데이터셋)

  • YU, Jae-Min;Cho, Sanghyun;Kwon, Hyuk-Chul
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.10a
    • /
    • pp.164-167
    • /
    • 2022
  • In table Machine comprehension, the knowledge required for language models or the structural form of tables changes depending on the domain, showing a greater performance degradation compared to text data. In this paper, we propose a pre-learning data construction method and an adversarial learning method through meaningful tabular data selection for constructing a pre-learning table language model robust to these domain changes in table machine reading. In order to detect tabular data sed for decoration of web documents without structural information from the extracted table data, a rule through heuristic was defined to identify head data and select table data was applied. An adversarial learning method between tabular data and infobax data with knowledge information about entities was applied. When the data was refined compared to when it was trained with the existing unrefined data, F1 3.45 and EM 4.14 increased in the KorQuAD table data, and F1 19.38, EM 4.22 compared to when the data was not refined in the Spec table QA data showed increased performance.

  • PDF

TabQA : Question Answering Model for Table Data (TabQA : 표 양식의 데이터에 대한 질의응답 모델)

  • Park, Soyoon;Lim, Seungyoung;Kim, Myungji;Lee, Jooyoul
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.263-269
    • /
    • 2018
  • 본 논문에서는 실생활에서 쓰이는 다양한 구조를 갖는 문서에 대해서도 자연어 질의응답이 가능한 모델을 만들고자, 그 첫걸음으로 표에 대해 자연어 질의응답이 가능한 End-to-End 인공신경망 모델 TabQA를 제안한다. TabQA는 기존 연구들과는 달리 표의 형식에 구애받지 않고 여러 가지 형태의 표를 처리할 수 있으며, 다양한 정보의 인코딩으로 풍부해진 셀의 feature를 통해, 표의 row와 column 객체를 직관적이고도 효과적으로 추상화한다. 우리는 본 연구의 결과를 검증하기 위해 다채로운 어휘를 가지는 표 데이터에 대한 질의응답 쌍을 자체적으로 생성하였으며, 이에 대해 단일 모델 EM 스코어 96.0%에 이르는 결과를 얻었다. 이로써 우리는 추후 더 넓은 범위의 양식이 있는 데이터에 대해서도 자연어로 질의응답 할 수 있는 가능성을 확인하였다.

  • PDF

Providing policy and related law of ENC in Korea (전자해도의 공급방안과 관련 법규의 검토)

  • 서수경;서상현;심우성
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 1998.11a
    • /
    • pp.102-108
    • /
    • 1998
  • 다양한 경로를 통하여 입수할 수 있는 지리적인 정보는 지도 흑은 해도, 표, 그래프, 좌표난 다른 형태 등 다양한 형태로 표현되고 전자해도도 이러한 다양한 표현수단중 하나이다. 전자해도(ENC)는 지리적인 정보, 즉 지리적인 이름과 수심, 등심선 등의 수치와 해도, 표, 그래프 등 도형들의 집합물로서 이를 전자해도의 국제규격인 S-57 format으로 표현하고 ENC product specification에 따라 체계적인 형태로 저장된 데이터로 이는 저작권법이 규정하고 있는 데이터 베이스의 정의에 부합하는 저작물이라고 할 수 있다. 이러한 전자해도의 발행 목적은 바다에서 안전을 책임지는 것이고 환경 보호에 기여하는 것으로 이들 디지털 해도 시스템은 off-shore 산업 환경과 지질학상의 행정과 같이 해상에 대한 적용뿐만 아니라 상업적 해운업, 해군 작전, 어업선과 레져, 선박과 같은 곳에서 사용된다. 따라서 앞으로 계속하여 증가될 전자해도의 수요증대 및 활성화를 대비하여 다양한 수요자의 요구를 충족시킬 뿐 만 아니라 업무의 효율을 기할 수 있는 공식적인 디지털 항해 상품의 공급방안, 가격결정 및 관리 시스템이 구축되어야 하고, 전자해도 데이터의 다양한 응용과 관련하여 공급된 데이터의 사용 및 변형범위와 데이터의 오류로 인한 피해 발생 시 책임소재 등의 문제들이 검토되어야 한다.

  • PDF

A Preliminary Research for Developing System Prototype Generating Linear Schedule (선형 공정표를 생성하는 시스템 프로토타입 개발을 위한 기초 연구)

  • Ryu, Han-Guk
    • Journal of the Korea Institute of Building Construction
    • /
    • v.11 no.1
    • /
    • pp.1-8
    • /
    • 2011
  • Linear scheduling method limits to present works of work breakdown structure as a form of lines and was often developed manually. In other words, linear schedule could not utilize activity, work breakdown structure, and etc. information of network schedule such as CPM(Critical Path Method) and has been used only for reporting or confirming construction master plan. Therefore, it is necessary to develop system which can automatically generating the linear schedule based on the network schedule having many accumulated and useful construction schedule information. Thus, this research has an effort to establish data process model, data flow diagram, and data model in order to make linear schedule. In addition, this research addresses the system solution structure, user interface class diagram and logic diagram, and data type schema. The results of this paper can be used as a preliminary research for developing linear schedule generating system prototype by utilizing the network schedule information.

Permutation p-values for specific-category kappa measure of agreement (특정 범주에 대한 평가자간 카파 일치도의 퍼뮤테이션 p값)

  • Um, Yonghwan
    • Journal of the Korean Data and Information Science Society
    • /
    • v.27 no.4
    • /
    • pp.899-910
    • /
    • 2016
  • Asymptotic tests are often not suitable for the analysis of sparse ordered contingency tables as asymptotic p-values may either overestimate or underestimate the true pvalues. In this pater, we describe permutation procedures in which we compute exact or resampling p-values for a weighted specific-category agreement in ordered $k{\times}k$ contingency tables. We use the weighted specific-category kappa proposed by $Kv{\dot{a}}lseth$ to measure the extent to which two independent raters agree on the specific categories. We carried out comparison studies between exact p-values, resampling p-values and asymptotic p-values using $3{\times}3$ contingency data (real and artificial data sets) and $4{\times}4$ artificial contingency data.

Resolving CTGAN-based data imbalance for commercialization of public technology (공공기술 사업화를 위한 CTGAN 기반 데이터 불균형 해소)

  • Hwang, Chul-Hyun
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.1
    • /
    • pp.64-69
    • /
    • 2022
  • Commercialization of public technology is the transfer of government-led scientific and technological innovation and R&D results to the private sector, and is recognized as a key achievement driving economic growth. Therefore, in order to activate technology transfer, various machine learning methods are being studied to identify success factors or to match public technology with high commercialization potential and demanding companies. However, public technology commercialization data is in the form of a table and has a problem that machine learning performance is not high because it is in an imbalanced state with a large difference in success-failure ratio. In this paper, we present a method of utilizing CTGAN to resolve imbalances in public technology data in tabular form. In addition, to verify the effectiveness of the proposed method, a comparative experiment with SMOTE, a statistical approach, was performed using actual public technology commercialization data. In many experimental cases, it was confirmed that CTGAN reliably predicts public technology commercialization success cases.

계수형 데이터의 계량화를 통한 SMD Wave Soldering 공정의 최적화 사례

  • Jo, Seong-Ha;Gwon, Hyeok-Mu
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 2004.05a
    • /
    • pp.286-289
    • /
    • 2004
  • 본 연구는 U사의 SMD Wave Soldering 공정을 최적화하기 위해 납땜에 관련된 PCB의 여러 계수형 특성들을 종합하여 계량화한 후 분석한 사례이다. SMD Wave Soldering 공정은 PCB 불량의 80% 이상을 결정하는 중요 공정으로 SMD 작업 불량으로 인한 재작업 등 각종 문제점들을 내포하고 있다. 그러나 검사 결과 미납, 냉납, 과납, 쇼트 등의 발생 건수 형태의 계수형 데이터가 집계되어 이를 체계적으로 분석하여 공정을 개선하는데 어려움이 있어 불량 유형별로 보다 세분화된 평가표를 작성하여 먼저 데이터를 계량화한 후 이를 기초로 공정 개선을 실시하였다.

  • PDF

Internet customer life analysis by membership pattern using life table (생명표를 이용한 회원유형별 인터넷 고객 수명 분석)

  • Park, Hee-Chang
    • Journal of the Korean Data and Information Science Society
    • /
    • v.20 no.1
    • /
    • pp.109-115
    • /
    • 2009
  • Many internet companies are holding marketing activity through customer relationship management to satisfy complicated and diversified consumer demands. Use of customer lifetime value as a marketing metric tends to place greater emphasis on customer service and long-term customer satisfaction, rather than on maximizing short term sales. And so many internet companies have been interested in customer lifetime value, which is a primary key for discovery customer values to promote the competitive power in their business fields. In this paper, we apply a life table technique to lifetime analysis of internet site customers by membership pattern and provide the opportunity using revised life tables in several kinds of internet companies.

  • PDF

PCB inspection technique in low power and low cost embedded environment: IC missing detection (저전력 저비용 임베디드 환경에서의 PCB 검사 기법 : IC 미삽 검출)

  • Cho, Inpyo;Lee, Jaekyu;Lee, Sangyub
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.327-328
    • /
    • 2020
  • 본 논문에서는 저전력 저비용 임베디드 환경에서 PCB 검사 기법을 제안한다. 특히, IC 미삽에 대한 검출 알고리즘을 제안하고 실험한다. 고사양의 컴퓨팅 시스템에서는 CNN과 같은 딥러닝 뉴럴 네트워크를 사용하여 특별한 알고리즘을 고려하지 않아도 대규모의 데이터를 입력함으로써 모델을 완성하고 이를 통해 PCB 검사를 수행할 수 있다. 그러나 데이터의 양이 충분하지 않거나 충분한 전력과 비용을 투입하지 못하는 임베디드 환경에서는 각 부품에 따른 컴퓨터 비전 알고리즘이 필요하다. IC의 경우 타부품에 비하여 형태가 직사각으로 정형화 되있으며 색상도 균일한 특징을 가지고 있기에 미삽에 대한 검출이 가능하다. 베어보드(Bare Board)의 색상과 IC 부품의 색상이 확연히 다를 경우에는 RGB 픽셀을 카운트 하는 히스토그램 카운팅 알고리즘만으로 검출이 가능하다. 베어보드의 색삭과 IC의 색상이 유사할 경우에는 베어보드의 핀 혹은 홀의 형태를 감지하여 검출이 가능하다. 본 논문에서는 베어보드의 색상와 IC의 색상이 같을 경우에 다를 경우를 나누어 미삽 검사를 수행하고 그 정확도를 확인한다.

  • PDF