• 제목/요약/키워드: 기계학습 및 인공지능

검색결과 186건 처리시간 0.021초

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

AI 참모 구축을 위한 의사결심조건의 데이터 모델링 방안 (A Methodology of Decision Making Condition-based Data Modeling for Constructing AI Staff)

  • 한창희;신규용;최성훈;문상우;이치훈;이종관
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.237-246
    • /
    • 2020
  • 본 논문에서는 의사결심 지원체계인 전장관리체계의 지능화를 위해 의사결심 조건에 기초한 데이터 모델링 방안을 제시하였다. 인간처럼 보고 식별도 하고, 자유롭게 움직임을 통해 원하는 위치에 도달하는 모습은 쉽게 이해되거나 실생활에서 체감하고 있는데 비해, 원하는 위치에 도달한 이후 인간 인지 행위 중 가장 중요한 하나인 의사 결심 판단을 구현했다거나 혹은 그러한 예제를 아직은 찾아 볼 수 없는 실정이다. 도착을 원했던 회의실에 인간을 대신해 에이전트가 오기는 했지만 판단을 도와주거나 대신 해주어야 할 임무인 예컨대, 가격 정책을 올릴 것인지 내릴 것인지, 지휘관이 심사숙고하고 있는 예컨대, 역습을 하는 것이 현명한지 아닌지에 대한 판단을 지원해 주지 못하고 있다. 군 지휘 통제의 현상과 현안을 고찰하였고, 각 상황에 대한 판단을 내릴 때 기계참모의 조언이 가능하게하기 위한 많은 양의 데이터 확보가 가능하도록, 현 지휘통제 체계를 변경시킬 방안으로 의사결심 조건에 기초한 데이터 모델링 방안을 제시하였다. 또한 제시한 방안에 대해 기계가 하는 의사결정의 한 예시로써 의사결정 트리 방법론을 적용하였다. 이를 통해 향후 AI 상황 판단 참모가 어떠한 모습으로 우리에게 다가올지에 대한 혜안을 제공하고자 하였다.

인공지능을 이용한 수도권 학교 미세먼지 취약성 평가: Part I - 미세먼지 예측 모델링 (Vulnerability Assessment for Fine Particulate Matter (PM2.5) in the Schools of the Seoul Metropolitan Area, Korea: Part I - Predicting Daily PM2.5 Concentrations)

  • 손상훈;김진수
    • 대한원격탐사학회지
    • /
    • 제37권6_2호
    • /
    • pp.1881-1890
    • /
    • 2021
  • 미세먼지는 인체에는 물론 생태계, 날씨 등에도 많은 영향을 끼치며, 인구와 건물, 차량 등이 밀집된 대도시에서의 미세먼지의 예측과 모니터링은 중요하다. 특히 자동차, 연소 등에서 발생하는 PM2.5 농도는 독성 물질을 포함할 수 있어 체계적인 관리가 필요하다. 따라서 본 연구는 화학 인자, 위성 기반의 aerosol optical depth (AOD), 기상 인자 등을 입력 자료로 하여 수도권PM2.5 농도를 예측하고자 한다. PM2.5 농도 예측을 위해 기계 학습 모델 중 PM 농도 예측에 우수한 성능을 보이는 random forest (RF) 모델을 선정하였으며, 모델 평가를 위해 통계 지표인 R2, RMSE, MAE, MAPE를 산출하였다. RF 모델의 모델 정확도는 R2, RMSE, MAE, MAPE는 각각 0.97, 3.09, 2.18, 13.31로 나타났으며, 예측 정확도는 각각 0.82, 6.03, 4.36, 25.79로 본 연구에서 사용한 인자들을 이용하여 PM2.5를 예측 시 높은 정확도와 상관성을 나타내었다. 따라서 향후 학교 미세먼지 예측 및 범주화를 위해 본 연구에서 사용한 인자들을 RF 모델에 적용하였을 때 신뢰할만한 결과를 도출할 수 있을 것으로 기대된다.

비접촉 데이터 사회와 아카이브 재영토화 (Contactless Data Society and Reterritorialization of the Archive )

  • 조민지
    • 기록학연구
    • /
    • 제79호
    • /
    • pp.5-32
    • /
    • 2024
  • 한국 정부가 UN의 2022년 전자정부 발전 지수에서 UN가입 193개국 중 3위에 랭크됐다. 그동안 꾸준히 상위국으로 평가된 한국은 분명 세계 전자정부의 선도국이라 할 수 있다. 전자정부의 윤활유는 데이터다. 데이터는 그 자체로 정보가 아니고 기록도 아니지만 정보와 기록의 원천이며 지식의 자원이다. 전자적 시스템을 통한 행정 행위가 보편화된 이후 당연히 데이터에 기반한 기록의 생산과 기술이 확대되고 진화하고 있다. 기술은 가치중립적인 듯 보이지만 사실 그 자체로 특정 세계관을 반영하고 있다. 더구나 비물질적 유통을 기반으로 하는 디지털 세계, 온라인 네트워크의 또 다른 아이러니는 반드시 물리적 도구를 통해서만 접속하고 접촉할 수 있다는 점이다. 디지털 정보는 논리적 대상이지만 반드시 어떤 유형이든 그것을 중계할 장치 없이는 디지털 자원을 읽어 내거나 활용할 수 없다. 초연결, 초지능을 무기로 하는 새로운 기술의 디지털 질서는 전통적인 권력 구조에 깊은 영향력을 끼칠 뿐만 아니라 기존의 정보 및 지식 전달 매개체에도 마찬가지의 영향을 미치고 있다. 더구나 데이터에 기반한 생성형 인공지능을 비롯해 새로운 기술과 매개가 단연 화두다. 디지털 기술의 전방위적 성장과 확산이 인간 역능의 증강과 사유의 외주화 상황까지 왔다고 볼 수 있을 것이다. 여기에는 딥 페이크를 비롯한 가짜 이미지, 오토 프로파일링, 사실처럼 생성해 내는 AI 거짓말(hallucination), 기계 학습데이터의 저작권 침해에 이르기까지 다양한 문제점 또한 내포하고 있다. 더구나 급진적 연결 능력은 방대한 데이터의 즉각적 공유를 가능하게 하고 인지 없이 행위를 발생시키는 기술적 무의식에 의존하게 된다. 그런 점에서 지금의 기술 사회의 기계는 단순 보조의 수준을 넘어서고 있으며 기계의 인간 사회 진입은 고도의 기술 발전에 따른 자연적인 변화 양상이라고 하기에는 간단하지 않은 지점이 존재한다. 시간이 지나며 기계에 대한 관점이 변화하게 될 것이기 때문이다. 따라서 중요한 것은 기계를 통한 커뮤니케이션, 행위의 결과로서의 기록이 생산되고 사용되는 방식의 변화가 의미하는 사회문화적 함의에 있다. 아카이브 영역에서도 초지능, 초연결사회를 향한 기술의 변화로 인해 데이터 기반 아카이브 사회는 어떤 문제에 직면하게 될 것인지, 그리고 그 속에서 누가 어떻게 기록과 데이터의 지속적 활동성을 입증하고 매체 변화의 주요 동인이 될 것인가에 대한 연구가 필요한 시점이다. 본 연구는 아카이브가 행위의 결과인 기록뿐만 아니라 데이터를 전략적 자산으로 인식할 필요성에서 시작했다. 이를 통해 전통적 경계를 확장하고 데이터 중심 사회에서 어떻게 재영토화를 이룰 수 있을지를 알아보았다.

3D 프린팅 소재 화학물질의 독성 예측을 위한 Data-centric XAI 기반 분자 구조 Data Imputation과 QSAR 모델 개발 (Data-centric XAI-driven Data Imputation of Molecular Structure and QSAR Model for Toxicity Prediction of 3D Printing Chemicals)

  • 정찬혁;김상윤;허성구;;신민혁;유창규
    • Korean Chemical Engineering Research
    • /
    • 제61권4호
    • /
    • pp.523-541
    • /
    • 2023
  • 3D 프린터의 활용이 높아짐에 따라 발생하는 화학물질에 대한 노출 빈도가 증가하고 있다. 그러나 3D 프린팅 발생 화학물질의 독성 및 유해성에 대한 연구는 미비하며, 분자 구조 데이터의 결측치로 인해 in silico 기법을 사용한 독성예측 연구는 저조한 실정이다. 본 연구에서는 화학물질의 분자구조 정보를 나타내는 주요 분자표현자의 결측치를 보간하여 3D 프린팅의 독성 및 유해성을 예측한 Data-centric QSAR 모델을 개발하였다. 먼저 MissForest 알고리즘을 사용해 3D 프린팅으로 발생되는 유해물질의 분자표현자 결측치를 보완하였으며, 서로 다른 4가지 기계학습 모델(결정트리, 랜덤포레스트, XGBoost, SVM)을 기반으로 Data-centric QSAR 모델을 개발하여 생물 농축 계수(Log BCF)와 옥탄올-공기분배계수(Log Koa), 분배계수(Log P)를 예측하였다. 또한, 설명 가능한 인공지능(XAI) 방법론 중 TreeSHAP (SHapley Additive exPlanations) 기법을 활용하여 Data-centric QSAR 모델의 신뢰성을 입증하였다. MissForest 알고리즘 기반 결측지 보간 기법은, 기존 분자구조 데이터에 비하여 약 2.5배 많은 분자구조 데이터를 확보할 수 있었다. 이를 바탕으로 개발된 Data-centric QSAR 모델의 성능은 Log BCF, Log Koa와 Log P를 각각 73%, 76%, 92% 의 예측 성능으로 예측할 수 있었다. 마지막으로 Tree-SHAP 분석결과 개발된 Data-centric QSAR 모델은 각 독성치와 물리적으로 상관성이 높은 분자표현자를 통하여 선택함을 설명할 수 있었고 독성 정보에 대한 높은 예측 성능을 확보할 수 있었다. 본 연구에서 개발한 방법론은 다른 프린팅 소재나 화학공정, 그리고 반도체/디스플레이 공정에서 발생 가능한 오염물질의 독성 및 인체 위해성 평가에 활용될 수 있을 것으로 사료된다.

주제 균형 지능형 텍스트 요약 기법 (Subject-Balanced Intelligent Text Summarization Scheme)

  • 윤여일;고은정;김남규
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.141-166
    • /
    • 2019
  • 최근 다양한 매체를 통해 생성되는 방대한 양의 텍스트 데이터를 효율적으로 관리 및 활용하기 위한 방안으로써 문서 요약에 대한 연구가 활발히 진행되고 있다. 특히 최근에는 기계 학습 및 인공 지능을 활용하여 객관적이고 효율적으로 요약문을 도출하기 위한 다양한 자동 요약 기법이(Automatic Summarization) 고안되고 있다. 하지만 현재까지 제안된 대부분의 텍스트 자동 요약 기법들은 원문에서 나타난 내용의 분포에 따라 요약문의 내용이 구성되는 방식을 따르며, 이와 같은 방식은 비중이 낮은 주제(Subject), 즉 원문 내에서 언급 빈도가 낮은 주제에 대한 내용이 요약문에 포함되기 어렵다는 한계를 갖고 있다. 본 논문에서는 이러한 한계를 극복하기 위해 저빈도 주제의 누락을 최소화하는 문서 자동 요약 기법을 제안한다. 구체적으로 본 연구에서는 (i) 원문에 포함된 다양한 주제를 식별하고 주제별 대표 용어를 선정한 뒤 워드 임베딩을 통해 주제별 용어 사전을 생성하고, (ii) 원문의 각 문장이 다양한 주제에 대응되는 정도를 파악하고, (iii) 문장을 주제별로 분할한 후 각 주제에 해당하는 문장들의 유사도를 계산한 뒤, (iv) 요약문 내 내용의 중복을 최소화하면서도 원문의 다양한 내용을 최대한 포함할 수 있는 자동적인 문서 요약 기법을 제시한다. 제안 방법론의 평가를 위해 TripAdvisor의 리뷰 50,000건으로부터 용어 사전을 구축하고, 리뷰 23,087건에 대한 요약 실험을 수행한 뒤 기존의 단순 빈도 기반의 요약문과 주제별 분포의 비교를 진행하였다. 실험 결과 제안 방법론에 따른 문서 자동 요약을 통해 원문 내각 주제의 균형을 유지하는 요약문을 도출할 수 있음을 확인하였다.