• 지능정보연구
• /
• 제26권1호
• /
• pp.1-21
• /
• 2020

인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

• 지능정보연구
• /
• 제20권2호
• /
• pp.109-122
• /
• 2014

현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

• 항공우주정책ㆍ법학회지
• /
• 제18권
• /
• pp.9-39
• /
• 2003

프로펠러여객기 운항시대에 만들어졌던 국제항공운송인의 민사책임관계를 규정한 1992년의 바르샤바조약은 1955년의 헤이그 개정의정서, 1961년의 과다라하라조약, 1971년의 과테말라의정서 및 1975년의 몬트리올 제1, 제2, 제3및 제4의 정서 등 한개의 조약과 여섯 개의 의정서 등에 의하여 여러 차례 개정이 되었고 보완되면서 70여 년간 전세계를 지배하여 왔지만 오늘날 초음속(마하)으로 나르고 있는 제트여객기 운항시대에 적합하지 않아 "바르샤바조약체제" 상의 문제점이 많이 제기되어 왔다. 특히 시대에 뒤떨어진 "바르샤바조약체제" 는 2개의 조약과 여섯 개의 의정서로 매우 복잡하게 구성되어 있었으며 항공기사고로 인한 국제항공운송인의 손해배상사건에 있어 배상한도액이 유한책임으로 규정되어 있어 항상 가해자인 항공사와 피해자인 여객들간에 분쟁(소송 등)이 끊이지 않고 있으므로 이를 어느정도 해결하기 위하여 UN산하 ICAO에서는 상기 여러 개 조약과 의정서를 하나의 조약으로 통합(integration)하여 단순화시키고 현대화(modernization)시키기 위하여 20여 년간의 작업 끝에 1999년 5월에 몬트리올에서 새로운 국제항공운송인의 민사책임에 관한 조약(몬트리올 조약)을 제정하였다. "바르샤바조약체제" 를 근본적으로 개혁한 몬트리올 조약은 71개국과 유럽통합지역기구가 서명하였으며 미국을 비롯하여 33개국이 비준하여 2003년 11월 3일부터 전세계적으로 발효되었음으로 이 조약은 앞으로 전세계의 항공운소업계를 지배하게 되리라고 본다. 본 논문에서는 몬트리올 조약의 성립경위와 주요내용(국제항공여객운송인의 손해배상책임: (1)총설, (2)조약의 명칭, (3)조약의 전문, (4)국제항공여객에 대한 책임원칙과 배상액((ㄱ)국제항공여객의 사상에 대한 배상, (ㄴ)국제항공여객의 연착에 대한 배상), (5)손해배상 한도액의 자동조정, (6)손해배상금의 일부전도, (7)손해배상청구소송의 제기관계, (8)국제항공여객의 주거지에서의 재판관할관계, (9)항공계약운송인과 항공실제운송인과의 관계, (10)항공보험)을 요약하여 간략하게 설명하였다. 1999년 몬트리올 조약의 핵심사항은 국제항공운송인의 손해배상책임에 관하여 무한책임을 원칙으로 하되 100,000 SDR까지는 무과실책임주의를 채택하였고 이 금액을 초과하는 부분에 대하여서는 과실추정책임주의를 채택하였음으로 "2단계의 책임제도" 를 도입한 점과 항공기사고로 인한 피해자(여객)는 주소지의 관할법원에 가해자(항공사)를 상대로 손해배상청구소송을 제기할 수 있는 제 5재판관할권을 새로이 도입하였다는 점이다. 현재 우리 나라는 전세계에서 항공여객수송량이 11위 권에 접어들고 있으며 항공화물수송량도 3위 권을 차지하고 있음에도 불구하고 아직도 이 조약에 서명 내지 비준을 하지 않고 있음은 문제점으로 지적될 수가 있음으로 그 해결방안으로 세계의 항공산업선진국들과 어깨를 나란히 하고 상호 협력하기 위하여 조속히 우리 나라도 이 조약에 서명하고 비준하는 것이 필요하다고 본다. 한편 우리 나라와 일본은 국내항공운송에 있어서는 국내에서 항공기사고가 발생하였을 때에 국내항공여객운송인의 민사책임을 규정한 법률이 없기 때문에 항상 항공사 측과 피해자간에 책임원인과 한계 및 손해배상액을 놓고 분규가 심화되어 가고있으며 법원에서 소송이 몇 년씩 걸리어 피해자 보호에 만전을 기 할 수가 없는 실정에 있다. 현재 이와 같은 분규의 신속한 해결을 위하여 국내항공운송약관과 민상법의 규정을 적용 내지 준용하여 처리할 수밖에 없는 실정인데 항공기사고의 특수성을 고려하여 볼 때 여러 가지 문제점이 많이 제기되고 있다. 이와 같은 문제점을 해결하기 위하여 국내항공여객운송인의 책임한계 및 손해배상액을 분명하게 정하고 재판의 공평성과 신속성을 도모하기 위하여서는 항공운송계약 당사자간의 책임관계를 명확하게 규정한 "가칭, 항공운송법" 의 국내입법이 절실히 필요하다고 본다.