• 서비스연구
• /
• 제14권1호
• /
• pp.13-26
• /
• 2024

멀티모달 (multi-modal) 생성이란 텍스트, 이미지, 오디오 등 다양한 정보를 기반으로 결과를 도출하는 작업을 말한다. AI 기술의 비약적인 발전으로 인해 여러 가지 유형의 데이터를 종합적으로 처리해 결과를 도출하는 멀티모달 기반 시스템 또한 다양해지는 추세이다. 본 논문은 음성과 텍스트 인식을 활용하여 인물을 묘사하면, 몽타주 이미지를 생성하는 AI 시스템의 개발 내용을 소개한다. 기존의 몽타주 생성 기술은 서양인들의 외형을 기준으로 이루어진 반면, 본 논문에서 개발한 몽타주 생성 시스템은 한국인의 안면 특징을 바탕으로 모델을 학습한다. 따라서, 한국어에 특화된 음성과 텍스트의 멀티모달을 기반으로 보다 정확하고 효과적인 한국형 몽타주 이미지를 만들어낼 수 있다. 개발된 몽타주 생성 앱은 몽타주 초안으로 충분히 활용 가능하기 때문에 기존의 몽타주 제작 인력의 수작업을 획기적으로 줄여줄 수 있다. 이를 위해 한국지능정보사회진흥원의 AI-Hub에서 제공하는 페르소나 기반 가상 인물 몽타주 데이터를 활용하였다. AI-Hub는 AI 기술 및 서비스 개발에 필요한 인공지능 학습용 데이터를 구축하여 원스톱 제공을 목적으로 한 AI 통합 플랫폼이다. 이미지 생성 시스템은 고해상도 이미지를 생성하는데 사용하는 딥러닝 모델인 VQGAN과 한국어 기반 영상생성 모델인 KoDALLE 모델을 사용하여 구현하였다. 학습된 AI 모델은 음성과 텍스트를 이용해 묘사한 내용과 매우 유사한 얼굴의 몽타주 이미지가 생성됨을 확인할 수 있다. 개발된 몽타주 생성 앱의 실용성 검증을 위해 10명의 테스터가 사용한 결과 70% 이상이 만족한다는 응답을 보였다. 몽타주 생성 앱은 범죄자 검거 등 얼굴의 특징을 묘사하여 이미지화하는 여러 분야에서 다양하게 사용될 수 있을 것이다.

• 한국도서관정보학회지
• /
• 제51권1호
• /
• pp.179-200
• /
• 2020

한국학의 연구 범위는 한국의 역사, 문학, 정치, 사회, 경제, 종교 등 한국과 관련된 모든 영역을 망라하고 있다. 본 연구는 문헌동시인용 분석과 텍스트마이닝 기법을 사용하여 한국학 지식구조를 정의하였다. 그리고 한국학을 다룬 주체에 따라 한국에서 논의된 한국 연구를 주체 인식 한국학, 한국 이외의 지역에서 논의된 한국 연구를 타자 인식 한국학으로 나누어 하위영역을 비교·분석하였다. 이를 위해서 SCOPUS 데이터베이스에서 'Korea' 또는 'Korean' 이라는 단어를 키워드로 포함하고 있는 인문·사회 분야 문헌 10,929건을 수집하였다. 분석결과 주체 인식 한국학의 지식구조에서는 총 20개의 하위영역이 발견되었고, 타자 인식 한국학의 지식구조에서는 총 14개의 하위영역이 발견되었다. 주체 인식의 한국학과 타자 인식의 한국학의 하위영역 구성에 있어서 차이점은 첫째, 주체 인식 한국학의 하위영역이 타자 인식 한국학의 하위영역보다 더 다양한 영역으로 세분되어 있다는 것, 둘째, 주체 인식 한국학은 마케팅/소비자와 서비스, 산업화, 다문화, 정신건강, 관광, 한국어, 환경과 도시 등이 주요 영역을 차지하고 있고, 타자 인식 한국학은 크게 한국 대내외의 상황, 한국 대중문화, 미국 이민자로서의 한국인, 한국어/한국어 습득이 주요 영역을 차지하고 있는 것으로 나타났다. 마지막으로 주체 인식과 타자 인식에서 공통적으로 보이는 영역은 정신건강, 관광, 한국어, 탈주민, 청소년 비행 등이었다.

• 정보과학회 논문지
• /
• 제42권12호
• /
• pp.1522-1534
• /
• 2015

본 연구에서는 미리 구축해 놓은 학습데이터 없이도 입력된 작문이 주어진 작문 주제에 적합한 내용인지 아닌지를 자동으로 판단할 수 있는 방법을 제안한다. ConceptNet은 다양한 종류의 문서에서 추출한 자연언어 문장들로부터 구축된 그래프 형태의 지식베이스이다. 본 연구에서는 작문 주제에 해당하는 작문 프롬프트(essay prompt)와 ConceptNet만을 이용하여 문서의 주제-이탈 여부를 판별하는 방법을 제안한다. ConceptNet에서 두 개념간의 최단 경로를 찾고 이에 대한 의미 유사도를 계산하는 방법을 제안한다. 이를 이용하여 작문 프롬프트와 수험생 작문 내용을 ConceptNet의 개념들로 매핑하고 이 개념들 사이의 의미 유사도를 계산하여 작문 프롬프트와 수험생 작문 사이의 주제 부합 여부를 판단한다. 8개의 작문 시험을 수행하여 얻은 수험생 작문 데이터에 대하여 평가를 수행한 결과 기존의 연구에 비해 좋은 성능을 얻을 수 있었다. ConceptNet을 활용하면 유의미한 단순 추론이 가능하기 때문에 본 연구에서 제안한 방법은 추론을 요하는 작문 문제에도 적용 가능함을 보였다.

• 한국빅데이터학회지
• /
• 제5권1호
• /
• pp.29-39
• /
• 2020

목적 사회 전반적으로 퍼진 개인의 취향에 대해 존중하는 분위기는 소비 트렌드를 바꾸었다. 그에 따라 여행 산업에서도 소비자 개인의 취향을 반영하는 맞춤형 여행이 새로운 트렌드로 주목받고 있다. 특히 여행 산업 분야 중 하나인 '영화 관광'에 대한 관심이 커지고 있음에 주목하였다. 영화를 시청하며 발생하는 개인의 여행 동기를 맞춤형 여행 제안으로 충족시키고자 하며, 이는 '영화 관광 산업'의 지속적 발전의 촉진제가 될 것으로 기대한다. 설계/방법론/접근 본 연구에서는 시청자가 실제로 방문하고 싶은 영화 속 촬영지 정보를 'OCR'을 통해 추출, 제안하는 방법론을 구현하였다. 먼저, 실시간 이미지 프로세싱 라이브러리인 'OpenCV'를 활용하여 사용자가 선택한 영화 속 장면을 추출 받는다. 또한, 딥러닝 기반의 텍스트 영역 탐지모델인 'EAST 모델'을 활용하여 해당 장면 이미지에서 문자가 위치한 곳을 탐지하여 검출한다. 검출한 이미지는 'OpenCV 내장 함수'를 사용해 전처리하여 인식의 정확도를 높인다. 마지막으로 광학 문자 인식 엔진인 'Tesseract'를 사용하여 이미지 속 문자를 인식 가능한 텍스트로 변환한 후, 'Google Map API'를 통해 실제 위치 정보를 반환한다. 의의 본 연구는 기존의 영화 관광에서 나아가, 4차 산업 기술을 활용한 개인 맞춤 관광 콘텐츠를 제공해준다는 점에서 큰 의의가 있다. 이는 앞으로 여행사와 함께 영화 관광 패키지 상품 개발에 활용될 수 있다. 또한 국내에서 해외로의 유입뿐만 아니라, 해외에서 국내로의 유입에 활용될 가능성 역시 내포하고 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권7호
• /
• pp.221-228
• /
• 2020

품사부착말뭉치는 품사정보를 부착한 말뭉치를 말하며 자연언어처리 분야에서 다양한 학습말뭉치로 사용된다. 학습말뭉치는 일반적으로 오류가 없다고 가정하지만, 실상은 다양한 오류를 포함하고 있으며, 이러한 오류들은 학습된 시스템의 성능을 저하시키는 요인이 된다. 이러한 문제를 다소 완화시키기 위해서 본 논문에서는 XGBoost와 교차 검증을 이용하여 이미 구축된 품사부착말뭉치로부터 오류를 탐지하는 방법을 제안한다. 제안된 방법은 먼저 오류가 포함된 품사부착말뭉치와 XGBoost를 사용해서 품사부착기를 학습하고, 교차검증을 이용해서 품사오류를 검출한다. 그러나 오류가 부착된 학습말뭉치가 존재하지 않으므로 일반적인 분류기로서 오류를 검출할 수 없다. 따라서 본 논문에서는 매개변수를 조절하면서 학습된 품사부착기의 출력을 비교함으로써 오류를 검출한다. 매개변수를 조절하기 위해서 본 논문에서는 작은 규모의 오류부착말뭉치를 이용한다. 이 말뭉치는 오류 검출 대상의 전체 말뭉치로부터 임의로 추출된 것을 전문가에 의해서 오류가 부착된 것이다. 본 논문에서는 성능 평가의 척도로 정보검색에서 널리 사용되는 정밀도와 재현율을 사용하였다. 또한 모집단의 모든 오류 후보를 수작업으로 확인할 수 없으므로 표본 집단과 모집단의 오류 분포를 비교하여 본 논문의 타당성을 보였다. 앞으로 의존구조부착 말뭉치와 의미역 부착말뭉치에서 적용할 계획이다.

• 한국컴퓨터정보학회논문지
• /
• 제26권4호
• /
• pp.93-103
• /
• 2021

금융당국의 채권추심 가이드라인, 추심업자에 대한 직접적인 관리 감독 수행 등의 노력에도 불구하고 채무자에 대한 불법, 부당한 채권 추심은 지속되고 있다. 이러한 불법, 부당한 채권추심행위를 효과적으로 예방하기 위해서는 비정형데이터 기계학습 등 기술을 활용하여 적은 인력으로도 불법 추심행위에 대한 점검 등에 대한 모니터링을 강화 할 수 있는 방법이 필요하다. 본 연구에서는 대부업체의 추심 녹취 파일을 입수하여 이를 텍스트 데이터로 변환하고 위법, 위규 행위를 판별하는 규칙기반 검출과 SVM(Support Vector Machine) 등 기계학습을 결합한 불법채권추심 분류 모델을 제안하고 기계학습 알고리즘에 따라 얼마나 정확한 식별을 하였는지를 비교해 보았다. 본 연구는 규칙기반 불법 검출과 기계학습을 결합하여 분류에 활용할 경우 기존에 연구된 기계학습만을 적용한 분류모델 보다 정확도가 우수하다는 것을 보여 주었다. 본 연구는 규칙기반 불법검출과 기계학습을 결합하여 불법여부를 분류한 최초의 시도이며 후행연구를 진행하여 모델의 완성도를 높인다면 불법채권 추심행위에 대한 소비자 피해 예방에 크게 기여할 수 있을 것이다.

• 지능정보연구
• /
• 제24권1호
• /
• pp.1-23
• /
• 2018

E-commerce 환경의 발전으로 소비자들은 다양한 상품들을 한 자리에서 폭 넓게 비교할 수 있게 되었다. 하지만 온라인 쇼핑몰에 올라와있는 상당량의 주요 상품 정보들이 이미지 형태이기 때문에 컴퓨터가 인지할 수 있는 텍스트 기반 검색 시스템에 반영될 수 없다는 한계가 존재한다. 이러한 한계점은 일반적으로 기존 기계학습 기술 및 OCR(Optical Character Recognition) 기술을 활용해, 이미지 형태로 된 키워드를 인식함으로써 개선할 수 있다. 그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다. 하지만 이를 학습시키기 위한 데이터를 구축하는 데 상당한 시간과 비용이 필요했는데, 이는 지도학습의 방법론을 따르는 SSD 모형은 훈련 데이터마다 직접 정답 라벨링을 해줘야 하기 때문이다. 본 연구는 이러한 문제점을 해결하기 위해 '훈련 데이터 자동 생성 프로그램'을 함께 개발하였다. 훈련 데이터 자동 생성 프로그램을 통해 수작업으로 데이터를 만드는 것에 비하여 시간과 비용을 대폭 절감할 수 있었으며, 생성된 훈련용 데이터를 통해 모형의 인식 성능을 높일 수 있었다. 더 나아가 실험연구를 통해 자동으로 생성된 훈련 데이터의 특징별로 인식기 모형의 성능에 얼마나 큰 영향을 끼치는지 알아보고, 성능 향상에 효과적인 데이터의 특징을 분석하였다. 본 연구를 통해서 개발된 상품 카탈로그 내 텍스트 인식모형과 훈련 데이터 자동 생성 프로그램은 온라인 쇼핑몰 판매자들의 상품 정보 등록 수고를 줄여줄 수 있으며, 구매자들의 상품 검색 시 결과의 정확성을 향상시키는 데 기여할 수 있을 것으로 기대한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.65-75
• /
• 2017

360 영상은 상하좌우 모든 영역에 대한 정보를 갖고 있기 때문에 종종 지나치게 많은 정보를 포함하게 된다. 또한 360 영상의 내용을 2D 모니터를 이용하여 확인하기 위해서는 마우스를 이용하여 360 영상을 돌려 봐야 하거나, 또는 심하게 왜곡된 2D 영상으로 변환해서 봐야 하는 문제가 있다. 따라서 360 영상에서 사용자가 원하는 물체를 찾는 것은 상당히 까다로운 일이 될 수 있다. 본 논문은 물체나 영역을 묘사하는 문장이 주어졌을 때, 360 영상 내에서 문장과 가장 잘 어울리는 영상을 추출해 내는 방법을 제시한다. 본 논문에서 제시한 방법은 주어진 문장 뿐 아니라 구도 역시 고려하여 구도 면에서도 보기 좋은 결과 영상을 생성한다. 본 논문에서 제시하는 방법은 우선 360 영상을 2D 큐브맵으로 변환한다. 일반적인 큐브맵은 큐브맵의 경계 부분에 걸쳐 있는 물체가 있을 경우, 이를 검출하기 어려운 문제가 있다. 따라서 더 정확한 물체 검출을 위해 본 논문에서는 변형된 큐브맵을 제시한다. 이렇게 변형된 큐브맵에 Long Short Term Memory (LSTM) 네트워크 기반의 자연어 문장을 이용한 물체 검출 방법을 적용한다. 최종적으로 원래의 360영상에서 검출된 영역을 포함하면서도 영상 구도 면에서 보기 좋은 영역을 찾아서 결과 영상을 생성한다.

• 정보처리학회논문지B
• /
• 제14B권5호
• /
• pp.383-390
• /
• 2007

단백질이나 유전자들 간의 상호작용 인식은 생물학적 현상의 기술에 있어서 필수적이고, 이러한 상호작용의 네트웍 파악은 생물학 접근의 시작이라고 할 수 있다. 최근에, 대량의 생물학 관련 문서로부터 자연언어처리 기술을 사용하여 이러한 정보를 추출하려는 연구들이 많이 등장했다. 또한 이전 연구들은 언어학적 정보가 문서로부터 유전자 상호작용을 자동으로 추출하는 데 있어서 유용하다고 주장하고 있다. 하지만 기존의 방법들은 정확률에 비해 재현율이 많이 낮아서 성능이 그다지 좋지 못했다. 정확률의 감소 없이 재현율의 성능향상을 위해, 이 논문은 생물학관련 문서에서 구문관계에 기반하여 유전자 상호작용을 인식하는 방법을 제안한다. 생물학 도메인에 관련된 전문지식 없이, 우리의 방법은 단지 적은 양의 학습데이터를 사용하여 효과적인 성능을 보인다. LLL05(ICML05 Workshop on Learning Language in Logic)에서 제공한 데이터 포맷을 그대로 사용하여, 상호작용하는 두 유전자 중 작용의 주체가 되는 유전자를 에이전트라 하고 상호 작용의 대상이 되는 유전자를 타겟이라 한다. 본 논문에서 제안하는 첫 단계에서, 에이전트와 타겟 유전자에 대한 유전자-전이 구문관계를 인식한다. 두 번째 단계에서, 유전자 간의 상호작용이 있음을 암시하는 용언리스트를 구축한다. 마지막 단계에서, 상호작용하는 것으로 인식된 두 유전자 중 어느 것이 에이전트이고 타겟인지를 판단하기 위해 구문관계의 방향 정보를 학습한다. LLL05 데이터를 사용한 실험결과에서, 본 논문에서 제안한 방법이 학습 데이터에 대해서는 88%의 F-measure 성능을 보였고, 테스트 데이터에 대해서는 70.4%의 F-measure 성능을 보였다. 이 결과는 기존의 방법들보다 훨씬 더 좋은 성능이다. 우리는 성능에 대한 각 단계의 공헌도를 실험하여, 첫 단계는 재현율 향상에 기여를 하고 두 번째와 세 번째 단계는 정확률 향상에 기여했음을 보인다.

• 한국산학기술학회논문지
• /
• 제22권2호
• /
• pp.548-557
• /
• 2021

본 연구는 장애인 경제활동 분야에서 정형화된 데이터의 한계성을 극복하기 위해 데이터 수집과 분석이 용이한 미디어에서 수집한 비정형 텍스트 데이터를 활용하여 빅데이터의 통계적 유용성을 파악하고자 하였다. '우선구매'가 '장애인직업재활'과 '장애인고용'에 미치는 영향에 대해 통계분석을 실시함과 동시에 의미망 분석을 병행하여 통계분석으로 파악할 수 없는 시기별 주된 이슈도 함께 파악하여 종합적인 결론을 도출하였다. 그 결과, 첫째 텍스트 의미망 분석결과 정부, 지자체 등 공공부문의 강한 주도성을 확인하였고 반면, 민간부문에서의 소비 활성화 동향과 최근 코로나19에 환경에서의 직업재활시설의 생산활동의 변화도 확인할 수 있었다. 둘째, 상관분석 결과 우선구매와 장애인직업재활, 장애인 고용이 각각 유의미한 상관관계를 나타냈다. 셋째, 회귀분석 결과도 마찬가지로 우선구매는 종속변수인 장애인직업재활, 장애인고용에 대해 각각 유의미한 영향을 미치는 것으로 나타났다. 향후 후속 연구들이 언론 빅데이터를 장애인 분야에서 이슈탐지를 위한 다양한 통계분석과 연구활동에 많이 활용될 것으로 전망하며 비정형 데이터의 접근성과 보편성이 높아질 것으로 예상된다.