• 지능정보연구
• /
• 제24권1호
• /
• pp.205-225
• /
• 2018

Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

• Clinical and Experimental Reproductive Medicine
• /
• 제23권3호
• /
• pp.247-268
• /
• 1996

여포와 난포의 성숙, 배란과 착상, 임신의 유지와 태아의 성장 발달, 분만 및 유선발육과 비유 등 일련의 생식현상에서 있어서 성선자극호르몬과 스테로이드 호르몬의 작용이 중추적인 역할을 한다는 사실은 오래 전부터 알려져왔다. 그러나 이러한 일련의 현상에 고전적인 호르몬 외에도 다수의 성장인자가 관여되고 있음이 최근의 연구 결과 밝혀지고 있다. 생식기관에서 성장인자들은 대부분 autocrine/paracrine mode로 작용하여, 성선자극호르몬과 스테로이드 호르몬의 작용을 매개하거나 이들 호르몬 등과 교호적인 작용(synergy)을 한다. 생식기관 내 insulin-like growth factor(IGF) system은 최근 가장 활발히 연구된 분야 중의 하나로 생식현상의 전반에 걸쳐 중요한 역할을 하고 있음이 밝혀졌다. 본 지면에서는 IGF system에 관한 개괄적인 정보를 소개하고 현재까지 보고된 intrauterine IGF system에 관한 연구를 요약하고자 한다. IGF family는 IGF-I과 IGF-II ligands, 두종류의 IGF receptors(수용체), 그리고 지금까지 발견된 6종류의 IGF-binding proteins(IGFBPs)로 이루어져 있다. IGF-I과 IGF-II는 proinsulin과 상동한 구조를 가진 peptide로서 포도당과 아미노산 운반을 자극하는 등 insulin과 유사한 작용을 한다. 이 외에도 IGFs는 세포분열촉진제(mitogens)로서 여러 형태의 세포에 걸쳐 세포증식을 자극하고, 세포의 분화(differentiation)과 세포기능의 발현에 관여한다. IGFs는 간과 주로 messenchymal cells에서 발현되어 endocrine mode는 물론 autocrine/paracrine mode로 거의 모든 조직에 작용한다. IGF 수용체는 두종류가 알려져 있는데 type I IGF receptor는 tyrosine kinase로서 IGF-I과 IGF-II에 공히 high-affinity를 나타내고, 상기한 대부분의 IGFs의 작용을 매개한다. Type II IGF receptor 혹은 IGF-II/mannose-6-phosphate receptor는 두개의 서로 다른 binding sites를 가지고 있는데 IGF-II binding site는 IGF-II에만 high-affinity를 나타낸다. Type II IGF receptor의 주요 역할은 IGF-II를 lysosomal targeting하여 ligand를 파괴하는데 있다. 체액 속의 IGFs는 대부분 IGFBP에 결합되어 있다. IGFBPs는 IGF의 저장/운반체 혹은 IGF 작용을 조절하는 역할을 하는 것으로 알려져 있으나 개개 IGFBP의 역할에 대해서는 지극히 제한된 정보만이 알려져 있다. IGFBPs의 IGF ligands에의 affinity는 IGF receptors의 IGFs에의 affinity보다 크기 때문에 대부분의 in vitro 상황 하에서 IGFBPs는 IGF 작용을 억제한다. IGFBP에 결합되어 있는 IGF가 어떤 기작에 의해 IGFBP로부터 분리되어 IGF receptor에 도달하는지는 알려지지 않고 있으나, 혈액과 조직액에 들어있는 불특정 IGFBP protease activity는 IGF의 방출과정에서 일역을 하는 것으로 믿어지고 있다. 최근 연구보고에 의하면 특정 in vitro 상황 하에서 IGFBP-1, -3, -5 등은 IGF와 무관한 작용도 있다는 증빙이 있어 IGF system의 또 다른 차원을 예고하고 있다. IGF family members의 mRNAs & proteins는 영장류, 설치류 및 가축의 자궁조직과 수태물(conceptus)에서 발현되어 자궁과 태아의 성장 발달에 중요한 역할을 한다. 자궁조직의 IGF system의 발현은 성선호르몬, 국소 생리조절인자 등에 의해 발현시기와 장소의 특이성이 결정되며, 발현된 IGFs와 IGFBPs는 autocrine/paracrine mode로 자궁조직에 작용하기도 하고, 자궁강에 분비되어 수태물의 성장 발달에 관여한다. 착상을 전후하여 수태물에서도 IGF system이 발현되는데 개개 IGF family member의 발현 시기는 모체로부터 유래된 mRNA의 유무, 수태물 자체의 genetic programming, 모체와의 상호작용 등에 의해 결정되고, IGFs의 작용 부위 역시 시간(생리적 상태)과 장소의 특이성이 있다. 이와같이 conceptus IGF system의 발현이 시간적, 공간적으로 조절되고있다는 사실은 IGFs가 수태물의 성장 발달에 일역을 한다는 가설을 간접적으로 지지해 준다. 자궁조직과 수태물에서 발현된 IGFs는 세포의 증식과 분화, 포도당과 아미노산의 운반과 단백질합성, placental lactogen과 prolactin 등과 같은 유선자극호르몬의 생성을 자극하고 스테로이드 호르몬의 합성에도 관여한다. 태아의 성장 발달에 있어서 IGFs의 역할은 embryo의 IGF-I, IGF-II, 혹은 IGF receptor gene을 homologous recombination technique에 의해 파괴(gene targeting)하여을 때의 결과로써 입증되었다. 생쥐의 IGF and/or IGF-II gene 혹은 IGF receptor gene을 파괴했을 때 출생 전후 모두 성장 발달이 지연되며 출생시 무게는 정상치의 30-60% 수준에 머물고, 특히 type I IGF receptor gene 혹은 IGF-I과 IGF-II genes를 모두 파괴했을 경우에는 출생 후 곧 치사한다. 자궁 내의 IGFBPs는 IGF ligands를 자궁 내에 제한시키거나 IGFs의 receptor binding을 억제하는 negative regulators 역할을 하는 것으로 믿어지고 있다. 그러나 영장류의 자궁에서 IGFBP-I과 같은 특정 IGFBP는 IGFs보다 월등히 많은 양이 발현 분비되고 있는 것으로 추산되고 있으며, 또한 이 단백질은 모체탈락막세포에서 분비되는 주요 단백질 중의 하나라는 점을 감안할 때 IGFBP-I이 IGF과 무관한 작용이 있을 가능성도 배제할 수 없다. 따라서 IGFBPs의 역할 규명은 IGF system을 이해하는데 중요한 부분을 차지하고 있어 향후 이 분야의 연구에 많은 기대와 촛점이 모여지고 있다.