• 스마트미디어저널
• /
• 제12권7호
• /
• pp.76-83
• /
• 2023

본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

• 스마트미디어저널
• /
• 제12권4호
• /
• pp.27-40
• /
• 2023

많은 추천 시스템 연구에서는 다양한 이종 데이터를 상호 호환적으로 통합하여 추천 시스템의 고질적인 데이터 부족 문제를 해결하고자 한다. 하지만, 지식 그래프를 활용하여 이종 데이터의 통합을 달성한 추천 시스템 연구는 거의 없으며, 대부분 연구에서는 기구축된 지식 그래프 상의 개체 간 연결이 명시적 관계로만 구성되어있다는 한계가 존재한다. 본 논문에서는 이종 데이터의 통합을 위해 다중 지식 베이스로부터 추출한 데이터 간 관계 모델링을 수행하고, 이를 통해 지식 그래프를 확장하는 방법을 제안한다. 또한, 딥러닝 기반의 잠재적 관계 모델링을 통해 지식 그래프 상 개체 간 관계 정보의 신뢰성을 높이고자 한다. 본 논문에서 제안하는 확장된 지식 그래프를 사용하면 개체의 특성 벡터 품질이 개선되고, 최종적으로 예측된 사용자 선호도의 정확성을 높일 수 있다. 또한, 실험을 통해 확장된 지식 그래프 기반 추천 정확도가 기존 지식 그래프 기반 추천 정확도에 비해 향상되었음을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권4호
• /
• pp.169-178
• /
• 2022

형태소는 더 이상 분리하면 본래의 의미를 잃어버리는 말의 최소 단위이다. 한국어에서 문장은 공백으로 구분되는 어절(단어)의 조합이다. 형태소 분석은 어절 단위의 문장을 입력 받아서 문맥 정보를 활용하여 형태소 단위로 나누고 각 형태소에 적절한 품사 기호를 부착한 결과를 생성하는 것이다. 한국어 자연어 처리에서 형태소 분석은 가장 핵심적인 태스크다. 형태소 분석의 성능 향상은 한국어 자연어 처리 태스크의 성능 향상에 직결된다. 최근 형태소 분석은 주로 기계 번역 관점에서 연구가 진행되고 있다. 기계 번역은 신경망 모델 등으로 어느 한 도메인의 시퀀스(문장)를 다른 도메인의 시퀀스(문장)로 바꾸는 것이다. 형태소 분석을 기계 번역 관점에서 보면 어절 도메인에 속하는 입력 시퀀스를 형태소 도메인 시퀀스로 변환하는 것이다. 본 논문은 한국어 형태소 분석을 위한 딥러닝 모델을 제안한다. 본 연구에서 사용하는 모델은 기계 번역에서 높은 성능을 기록한 BERT-fused 모델을 기반으로 한다. BERT-fused 모델은 기계 번역에서 대표적인 Transformer 모델과 자연어 처리 분야에 획기적인 성능 향상을 이룬 언어모델인 BERT를 활용한다. 실험 결과 형태소 단위 F1-Score 98.24의 성능을 얻을 수 있었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권1호
• /
• pp.51-58
• /
• 2023

본 논문에서는 X-ray 영상에서 의료 진단지표를 자동으로 추출하기 위한 조직분할 기법을 제안한다. 척추질환이나 심장질환에 대한 진단지표로서, 흉추-심장 비율이나 콥 각도 등의 지표를 산출하기 위해서는 흉부 X-ray 영상으로부터 흉추, 용골 및 심장의 영역을 정확하게 분할하는 과정이 필요하다. 본 연구에서는 이를 위하여 계층별로 영상의 고해상도의 표현과 저해상도의 특징지도로 변환되는 구조가 병렬적으로 연결되는 형태의 심층신경망 모델을 채택하였다. 이러한 구조는 영상에서 세부 조직의 상대적인 위치정보가 분할 과정에 효과적으로 반영될 수 있게 한다. 또한 픽셀 정보와 객체 정보가 다단계의 과정으로 상호 작용되는 OCR 모듈과, 네트워크의 각 채널이 서로 다른 가중치 값으로 반영되도록 하는 채널 어텐션 모듈을 결합하여 학습 성능을 개선할 수 있음을 보인다. 부수적으로 X-ray 영상에서 피사체의 위치 변화, 형태의 변형 및 크기 변이 등에도 강인한 성능을 제공하기 위하여 학습데이터를 증강하는 방법을 제시하였다. 총 145개의 인체 흉부 X-ray 영상과, 총 118개의 동물 X-ray 영상을 사용한 실험을 통하여 제안된 이론의 타당성을 평가하였다.

• 지능정보연구
• /
• 제27권3호
• /
• pp.95-112
• /
• 2021

대학 교육에 있어서 전공과목의 선택은 학생들의 진로에 중요한 역할을 한다. 하지만, 산업의 변화에 발맞춰 대학 교육도 학과별 전공과목의 분야가 다양해지고 그 수가 많아지고 있다. 이에 학생들은 본인의 진로에 맞게 수업을 선택하여 수강하는 것에 어려움을 겪고 있다. 본 연구는 대학 전공과목 추천 모델을 제시함으로써 개인 맞춤형 교육을 실현하고 학생들의 교육만족도를 제고하고자 한다. 모델 연구에는 대학교 학부생들의 2015년~2017년 수강 이력 데이터를 활용하였으며, 메타데이터로는 학생과 수업의 전공 명을 사용했다. 수강 이력 데이터는 컨텐츠 소비 여부만을 나타낸 암시적 피드백 데이터로, 수업에 대한 선호도를 반영한 것이 아니다. 따라서 학생과 수업의 특성을 나타내는 임베딩 벡터를 도출했을 시, 표현력이 낮다. 본 연구는 이러한 문제점에 착안하여, 네트워크 분석을 통해 학생, 수업의 벡터를 생성하고 이를 모델의 입력 값으로 활용하는 Net-NeuMF 모델을 제시한다. 모델은 암시적 피드백을 가진 데이터를 이용한 대표적인 모델인 원핫 벡터를 이용하는 NeuMF의 구조를 기반으로 하였다. 모델의 입력 벡터는 네트워크 분석을 통해 학생과 수업의 특성을 나타낼 수 있도록 생성하였다. 학생을 표현하는 벡터를 생성하기 위해, 각 학생을 노드로 설정하고 엣지는 두 학생이 같은 수업을 수강한 경우 가중치를 가지고 연결되도록 설계했다. 마찬가지로 수업을 표현하는 벡터를 생성하기 위해 각 수업을 노드로 설정하고 엣지는 공통으로 수강한 학생이 있는 경우 연결시켰다. 이에 각 노드의 특성을 수치화 하는 표현 학습방법론인 Node2Vec을 이용하였다. 모델의 평가를 위해 추천 시스템에서 주로 활용하는 지표 4가지를 사용하였고, 임베딩 차원이 모델에 미치는 영향을 분석하기 위해 3가지 다른 차원에 대한 실험을 진행하였다. 그 결과 기존 NeuMF 구조에서 원-핫 벡터를 이용하였을 때보다 차원과 관계없이 평가지표에서 좋은 성능을 보였다. 이에 본 연구는 학생(사용자)와 수업(아이템)의 네트워크를 이용해 기존 원-핫 임베딩 보다 표현력을 높였다는 점, 모델을 구성하는 각 구조의 특성에 맞도록 임베딩 벡터를 활용하였다는 점, 그리고 기존의 방법론에 비해 다양한 종류의 평가지표에서 좋은 성능을 보였다는 점을 기여점으로 가지고 있다.

• 인터넷정보학회논문지
• /
• 제21권6호
• /
• pp.23-31
• /
• 2020

본 연구는 철도표면상에 발생하는 노후 현상 중 하나인 결함 검출을 위해 학습데이터를 생성함으로써 결함 검출 모델에서 더 높은 점수를 얻기 위해 진행되었다. 철도표면에서 결함은 선로결속장치 및 선로와 차량의 마찰 등 다양한 원인에 의해 발생하고 선로 파손 등의 사고를 유발할 수 있기 때문에 결함에 대한 철도 유지관리가 필요 하다. 그래서 철도 유지관리의 자동화 및 비용절감을 위해 철도 표면 영상에 영상처리 또는 기계학습을 활용한 결함 검출 및 검사에 대한 다양한 연구가 진행되고 있다. 일반적으로 영상 처리 분석기법 및 기계학습 기술의 성능은 데이터의 수량과 품질에 의존한다. 그렇기 때문에 일부 연구는 일반적이고 다양한 철도표면영상의 데이터베이스를 확보하기위해 등간격으로 선로표면을 촬영하는 장치 또는 탑재된 차량이 필요로 하였다. 본연구는 이러한 기계적인 영상획득 장치의 운용비용을 감소시키고 보완하기 위해 대표적인 영상생성관련 딥러닝 모델인 생성적 적대적 네트워크의 기본 구성에서 여러 관련연구에서 제시된 방법을 응용, 결함이 있는 철도 표면 재생성모델을 구성하여, 전용 데이터베이스가 구축되지 않은 철도 표면 영상에 대해서도 결함 검출을 진행할 수 있도록 하였다. 구성한 모델은 상이한 철도 표면 텍스처들을 반영한 철도 표면 생성을 학습하고 여러 임의의 결함의 위치에 대한 Ground-Truth들을 만족하는 다양한 결함을 재 생성하도록 설계하였다. 재생성된 철도 표면의 영상들을 결함 검출 딥러닝 모델에 학습데이터로 사용한다. 재생성모델의 유효성을 검증하기 위해 철도표면데이터를 3가지의 하위집합으로 군집화 하여 하나의 집합세트를 원본 영상으로 정의하고, 다른 두개의 나머지 하위집합들의 몇가지의 선로표면영상을 텍스처 영상으로 사용하여 새로운 철도 표면 영상을 생성한다. 그리고 결함 검출 모델에서 학습데이터로 생성된 새로운 철도 표면 영상을 사용하였을 때와, 생성된 철도 표면 영상이 없는 원본 영상을 사용하였을 때를 나누어 검증한다. 앞서 분류했던 하위집합들 중에서 원본영상으로 사용된 집합세트를 제외한 두 개의 하위집합들은 각각의 환경에서 학습된 결함 검출 모델에서 검증하여 출력인 픽셀단위 분류지도 영상을 얻는다. 이 픽셀단위 분류지도영상들과 실제 결함의 위치에 대한 원본결함 지도(Ground-Truth)들의 IoU(Intersection over Union) 및 F1-score로 평가하여 성능을 계산하였다. 결과적으로 두개의 하위집합의 텍스처 영상을 이용한 재생성된 학습데이터를 학습한 결함 검출모델의 점수는 원본 영상만을 학습하였을 때의 점수보다 약 IoU 및 F1-score가 10~15% 증가하였다. 이는 전용 학습 데이터가 구축되지 않은 철도표면 영상에 대해서도 기존 데이터를 이용하여 결함 검출이 상당히 가능함을 증명하는 것이다.

• 한국정보전자통신기술학회논문지
• /
• 제13권3호
• /
• pp.197-205
• /
• 2020

한국어는 자음과 모음과 같은 음소 단위의 발음은 고정되어 있고 표기에 대응하는 발음은 변하지 않기 때문에 외국인 학습자가 쉽게 접근할 수 있다. 그러나 단어와 어구, 문장을 말할 때는 음절과 음절의 경계에서 소리의 변동이 다양하고 복잡하며 표기와 발음이 일치하지 않기 때문에 외국어로서의 한국어 표준 발음 학습은 어려운 면이 있다. 그러나 영어 같은 다른 언어와 달리 한국어의 표기와 발음의 관계는 논리적인 원리에 따라 예외 없이 규칙화 할 수 있는 장점이 있으므로 발음오류에 대해 체계적인 분석이 가능한 것으로 여겨진다. 본 연구에서는 오류 발음과 표준 발음의 차이를 컴퓨터 화면상의 상대적 거리로 표현하여 시각화하는 모델을 제시한다. 기존 연구에서는 발음의 특징을 단지 컬러 또는 3차원 그래픽으로 표현하거나 입과 구강의 변화하는 형태를 애니메이션으로 보여 주는 방식에 머물러 있으며 추출하는 음성의 특징도 구간의 평균과 같은 점 데이터를 이용하는데 그치고 있다. 본 연구에서는 시계열로 표현되는 음성데이터의 특성 및 구조를 요약하거나 변형하지 않고 직접 이용하는 방법을 제시한다. 이를 위해서 딥러닝 기법을 토대로 자기조직화 알고리즘과 variational autoencoder(VAE) 모델 및 마코브 확률모델을 결합한 확률적 SOM-VAE 기법을 사용하여 클러스터링 성능을 향상시켰다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제9권8호
• /
• pp.783-790
• /
• 2019

인공 신경망의 성공을 토대로 인지과학에서 인간 지능을 설명하려는 시도가 연결주의이다. 딥러닝 등 신경망 컴퓨터의 성과는 연결주의에 대한 전망도 낙관적일 것으로 보여준다. 그러나 고전적 계산주의, 또는 기호주의를 옹호하는 학자들(포더, 필리신, 맥래플린)은 인간의 언어와 사고의 관계를 토대로 연결주의는 성공할 수 없다고 주장하여 왔다. 연결주의에 대한 비판의 핵심은, 인공 신경망에는 체계성이 없기 때문에 신경망의 결과물은 우연적인 연합이나 조합에 불과하다는 것이다. 저자는 이 연구에서 연결주의에 대한 고전적 계산주의의 비판을 검토하고 연결주의가 인공 지능의 이론뿐 아니라 인간 지능의 이론으로서 여전히 확장될 수 있는 가능성을 제시한다. 이 연구의 구조는 다음과 같다. 첫째, 인공 신경망의 구조와 함께 연결주의에 대한 이해를 제시한다. 둘째, 고전적 계산주의자가 연결주의에 제기한 체계성 문제가 무엇인지를 소개한다. 셋째, 그 문제에 대한 연결주의의 대응으로 스몰렌스키의 벡터곱 이론을 소개한다. 넷째, 계산주의와 연결주의의 논쟁을 검토하여 체계성 문제가 어떤 방향으로 갈 때 연결주의와 고전적 계산주의 모두에게 발전적인 논의가 될 수 있는지를 모색한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권3호
• /
• pp.65-74
• /
• 2021

3차원 형상 복원(3D reconstruction)은 이미지 또는 영상 속 물체를 3차원 형상으로 복원하는 것을 말한다. 본 연구는 물체의 전반적 형상을 넘어 세부적인 모습까지 복원할 수 있는 표현력을 가진 3차원 형상 복원 네트워크인, 점진적 점유 네트워크를 제안한다. 본 연구가 제안하는 네트워크는 이미지 전체의 정보를 담고 있는 특징(feature)을 사용하는 기존 점유 네트워크와 달리, 수용 영역(receptive field)의 크기에 따라 다양한 수준의 이미지 특징을 추출해서 사용한다. 그리고, 다양한 수준의 이미지 특징을 디코더(decoder) 내 디코더 블록(decoder block)들에 순차적으로 반영하여, 형상 복원의 품질이 단계적으로 개선하는 네트워크 구조를 제안한다. 본 연구는 또한, 다양한 수준의 이미지 특징을 적절히 조합하여 사용하는 디코더 블록구조를 제안한다. 본 연구는 제안하는 네트워크의 성능 검증을 위해 ShapeNet 데이터 세트를 사용하였으며, 기존의 점유 네트워크(ONet) 및 다양한 수준의 이미지 특징을 사용하는 최신 연구(DISN)와 성능 비교하였다. 그 결과, 기존 점유 네트워크 대비 세 가지 검증 지표 모두에서 높은 성능을 달성하였으며, DISN과는 대등한 수준의 성능을 보여주었다. 그리고 복원 형상의 시각적 비교 결과, 본 연구의 점진적 점유 네트워크가 기존 점유 네트워크 대비, 물체의 세부 모습을 잘 복원하는 것을 확인하였다. 또한, DISN이 복원 실패한 물체의 얇은 부분 또는 이미지에서 가려진 부분을 본 연구의 네트워크는 잘 잡아내는 결과를 확인할 수 있었다. 이러한 결과는 본 연구가 제안하는 점진적 점유 네트워크의 유용성을 검증하는 결과다.

• 한국인터넷방송통신학회논문지
• /
• 제22권2호
• /
• pp.63-70
• /
• 2022

2D 객체 감지 시스템은 최근 몇 년 동안 심층 신경망과 대규모 이미지 데이터세트의 사용으로 크게 개선되었지만, 아직도 범주 내에서 데이터 부족, 다양한 외관 및 객체 형상 때문에 자율 탐색 등과 같은 로봇 공학과 관련된 응용에서 2D 물체 감지 시스템은 적절하지 않다. 최근에 소개되고 있는 구글 Objectron 또한 증강 현실 세션 데이터를 사용하는 새로운 데이터 파이프라인이라는 점에서 도약이라 할 수 있지만, 3D 공간에서 2D 객체 이해라는 측면에서 마찬가지로 한계가 있다. 이에 본 연구에서는 더 성숙한 2D 물체 감지 방법을 Objectron에 도입하는 3D 물체 감지 시스템을 나타낸다. 대부분의 객체 감지 방법은 경계 상자를 사용하여 객체 모양과 위치를 인코딩한다. 본 작업에서는 가우스 분포를 사용하여 객체 영역의 확률적 표현을 탐색하는데, 일종의 확률적 IoU라 할 수 있는 Hellinger 거리를 기반으로 하는 가우스 분포에 대한 유사성 측도를 제시한다. 이러한 2D 표현은 모든 객체 감지기에 원활하게 통합할 수 있으며, 실험 결과 데이터 집합에서 주석이 달린 분할 영역에 더 가까워서 Objectron의 단점이라 할 수 있는 3D 감지 정확도를 높일 수 있다.