• 제목/요약/키워드: transferring

검색결과 1,382건 처리시간 0.02초

전이학습 기반 다중 컨볼류션 신경망 레이어의 활성화 특징과 주성분 분석을 이용한 이미지 분류 방법 (Transfer Learning using Multiple ConvNet Layers Activation Features with Principal Component Analysis for Image Classification)

  • 바트후 ?바자브;주마벡 알리하노브;팡양;고승현;조근식
    • 지능정보연구
    • /
    • 제24권1호
    • /
    • pp.205-225
    • /
    • 2018
  • Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

기록관리전문가의 양성교육에 관한 사례연구 -이탈리아의 기록관리학 전통과 교육과정을 중심으로- (A study on the case of education to train an archivist - Focus on archival training courses and the tradition of archival science in Italiy -)

  • 김정하
    • 한국기록관리학회지
    • /
    • 제1권1호
    • /
    • pp.201-230
    • /
    • 2001
  • 기록들은 이전 사회의 모든 분야의 삶에 대한 기록된 흔적이자 증언이다. 기록문화유산을 보존하는 것은 물론 우리 모두의 사명이지만, 특히 관리 및 보존의 임무는 기록물관리에 대한 전문지식을 갖고 있는 기록관리전문가들의 몫이다. 기록관리전문가는 단지 오래된 기록물만을 보존하는 것이 아니라 과거의 문서를 오늘날의 역사기록물로 정의하기, 위한 미래적 안목의 평가와 선별작업을 수행하여야 한다. 일반적으로 기록관리학의 범위는 기록물의 생산에서 영구보존에 이르기까지 방대하며, 내용적으로는 크게 업무 및 행정기록물관리와 역사기록물관리의 두영역으로 이루어져 있다. 이탈리아의 경우 18세기말과 19세기초 구지도의 종말과 복원의 시대를 배경으로 원래의 질서를 상실한 채 방치된 수많은 문서들에 대한 정리작업의 필요성을 계기로 성립된 '역사기록물관리'가 기록관리학의 전통영역으로 대변된다. 이 당시의 오늘날의 십진법적 분류와 유사한 '주제별 정리방식'이 실험적으로 이루어졌다. 또한 기록물정리방식과 그 이론적 배경, 대규모 기록보존소의 설립, 그리고 기록물의 법칙, 문화적 가치 및 활용 등의 개념들이 기록관리전문가의 포괄적이고 전문적인 활동내용으로 규정되었다. 특히 이 시대에는 기록관리학이 중세문서들의 형태와 내용, 그리고 문서들의 다양한 서체와 기록배경에 대한 학문적 해석을 통해서 기록물을 역사연구에 활용하려는 고문서학 및 고서체학적 전통의 보조수단으로 인식되기도 하였다. 근현대의 기록관리는 고문서관리라는 전통영역이외에도 업무 및 행정기록물의 생산에서 등록, 분류, 편철, 활용, 선별 그리고 이관 등에 관한 종합적인 관리를 포함하게 되었다. 따라서 오늘날 기록관리전문가의 활동영역은 기록물의 행정적 가치에서 역사, 문화적 가치에 이르는 전과정의 흐름을 제도적으로 보장하는 것으로 정의되고 있다. 기록관리학에 대한 기본교육의 핵심은 역사와 법으로 구성된다. 기록관리전문가에게 법연구가 필요한 것은 기록보존소가 법적 행정적인 활동으로 생산된 문서들을 대상으로 과학적 관리활동을 수행하는 연구기관이기 때문이다. 비록 기록관리전문가들이 어떤 분야의 전문지식과 학위를 취득해야만 하는가에 대해서는 이견이 많지만 기능성 차원에서 역사관련 학문분야를 선호하며, 기록관리전문가 자신의 신념이나 이념의 보편적인 테두리를 갖기 위해 법학연구도 강조되고 있다. 20세기 접어들면서 기록보존소가 문화기관에 예속되는 경향이 우세해져 행정기관들이 기록보존소를 관리하던 과거의 전통에 대한 반발이 커지기도 하였지만 이러한 현상은 큰 영향을 불러일으키지는 못하였다. 이탈리아의 기록관리 교육은 토리노, 밀라노, 베네치아, 베노바, 볼로냐, 파르마, 로마, 나폴리, 팔레르모 등 대략 9곳의 국립기록보존소를 중심으로 이루어졌다. 이 시기의 교육과정은 대부분 고서체학과 고문서학 강의가 대부분이었으며, 여전히 기록관리학에 대한 교육은 실시되지 않았다. 1884년에 바티간의 비밀기록보존소는 '고서체학 교육과정'을 설치하였으며, 이 과정은 40년 후인 1923년에야 1년 단위의 기록관리학 과정으로 재편성되면서 명실상부한 <<고서체학, 고문서학, 그리고 기록관리학>>의 교육과정으로 발전하였다. 19세기말 20세기에 접어들면 국립기록보존소들의 교육과정에서 가장 기본적인 과목은 고서체학과 고문서학이 아니라 오히려 기록관리학임이 재차 강조되었다. 특히 고서체학과 고문서학에 대한 기록관리학은 우월을 강조하는 카사노바의 소신은 시사하는 바가 크다. 그는 고서체학, 고문서학, 그리고 기록관리학이 모두 필수적이며, 문장학, 가계학, 그리고 인장학에 대한 교육과 더불어 완성된다고 보았다. 그러나 기록보존소의 모든 기록들의 고서체학자와 고문서학자 등의 개입을 필요로 하지는 않는다. 반면에 모든 문서들은 기록관리전문가의 도움을 필요로 한다. 기록관리학의 목적은 기록 보존소에 기록물을 이관한 제도와 기관들을 연구하고, 관리들이 어려움없이 모든 것을 쉽게 이해하고 각 기관들의 고유한 업무절차와 업무분단에 대한 무지속에서 헤메지 않고 자신들의 할 일을 분명하게 알게하도록 하려는 것이다. 이처럼 문서를 생산한 기관과제도들의 역사에 대한 연구는 이미 몇십년부터 기록관리학의 한분야로 자리잡았다. 기록관리학이 많은 사람들의 공감대를 형성하지 못하고 학문으로서의 길고 어려운 여정을 겪는 동안 이탈리아뿐만 아니라 여러 국가의 기록보존소들은 역사를 비롯한 타학문가의 전문가들을 포함한 기록관리학의 버전문가들에 의해 운영됨으로써 많은 폐단을 겪게 되었다. 많은 기록물들이 도서관 사서들의 방식과 스타일에 따라 혹은 역사가들이 주장하는 주제별 분류방식에 따라 정리되었기 때문에 자국의 경험에 기초하여 마련된 기록물의 본래의 구조 즉 원 질서가 완전히 파괴되었다. 20세기 미국의 경우에도 도서관에 관련된 학문에 있어서는 다른 나라들에 비해 상당히 앞서 있었지만, 기록관리학에 있어서는 후진성을 면치 못하고 있었다. 이탈리아의 기록관리전문사 양성을 위한 전문교육과정은 1925년 로마 국립대학교의 사회과학대학원을 배경으로 성립되었다. 대학의 기록관리교육은 역사, 법, 경제에 대한 열정으로 여러 국립기록보존서들에 기록관리교육이 정식 전문교육과정으로 정착되었다. 볼로냐 국립기록보존소의 '기록관리학, 고서체학 그리고 고문서학의 전문교육과정'은 이탈리아의 17개 국립기록보존소들에서 실시하고 잇는 교육과정들 중의 하나이다. 본 교육과정은 무료이며, 2년동안 8개의 과목(기록관리학, 고서체학, 고문서학, 기록보존소의 역사, 공증인제도와 사문서, 중세의 제도사, 근대의 제도사, 현대의 제도사 등) 중에 7개의 과목을 이수하는 것으로 구성된다. 2년의 학위과정은 2회의 필기시험관 1회의 구두시럽으로 마감된다. 최종시험성적이 문화환경부에 의해 종합되면 볼로냐 국립기록보존서의 소장은 시험을 통과한 수강생들에게 '기록관리학, 고서체학 그리고 고문서학 학위'를 수여한다. 이 학위증은 도, 지방 그리고 지방의 행정수도에 위치한 기록보존소와 특별히 중요하다고 판단되는 자치도시의 조합기록보존소 및 다른 기관들의 기록 보존소에 근무할 수 있는 필수적인 자격조건을 구성한다. 바티칸의 기록보존소에서 교수되는 내용은 다른 교육과정들과 비교하여 근본적인 차이는 없다. 그러나 과거의 역사에서 독립된 영토단위와 영적, 세속적 권력을 행사하였던 관계로 과목게 있어서 보다 전문적이고 세밀한 교육내용을 추구하고 있다. 필수과목으로는 기록관리학, 필사본학, 일반 고문서학, 교황청 고문서학 그리고 라틴 고서체학이 있다. 이외에도 강독실습과 구두를 통한 이론연습이 있으며, 문장학, 인장학, 상식문자의 역사, 교황청의 역사 등 인접분야 혹은 보조학문에 대한 교육도 선택적으로 실시된다. 이탈리아의 기록관리전문가를 위한 전문교육은 현장실습을 통해 과거의 문화유산에 대한 직접적인 접촉을 유도하고, 기록물 전체에 대한 관심에 앞서 각 문서에 대한 쵠화력을 가오하하려는 의도는 반영하고 잇다. 또한 기록관리 현장에서 기록관리전문가의 양성을 위한 교육을 실시한다는 발상은 역사적으로 해당지역의 독특한 발전과정을 증언하는 국립기록보존소들의 고유한 특성과 연계하여 지역문화유상을 보존하려는 보다 적극적인 문화정책의 일환으로 평가된다. 이탈리아 기록관리전문가를 위한 교육과정이 우리에게 시사하는 바를 정리하면 다음과 같다. 첫째, 이탈리아의 교육과정 대부분이 역사기록물에 대한 관리를 중심으로 계획된 반면에 업무 및 행정기록물에 대한 프로그램은 상당히 미미하다. 그러나 기록물 생산에서 영구보존에 이르기까지 역사기록물의 정리방식으로 원 질서 즉 생산당시에 부여된 최초의 질서를 존중하는 원칙이 채택되고 있으므로 업무 및 행정기록물에 대한 관리 역시 역사기록물의 관리체계와 일관성을 가지고 있다. 둘째, 17개의 국립기록보존시를 배경으로 기록관리전문가를 위한 전문교육과정이 운영되고 있다. 비록 대학의 기록관리교육이 활성화되지 못한 것이 자격과 능력을 겸비한 전문가의 부족때문이기도 하였지만, 이탈리아 국립기록보존소들이 교육과 이론보다는 기록관리의 일선에서 활동할 인력을 양성하는데 치중한 결과이다. 셋째, 역사문서들에 대한 연구를 위한 고문서학과 고서체학이 기록관리학을 지원하고 있다는 사실이다. 넷째, 이탈리아의 과거사 연구가 기록보존소를 중심으로 기록관리전문가와 역사가의 상호보완적 관계를 통해 진행되고 잇다는 것이다. 이러한 기록보존소의 역사기록물을 공통문모로 하는 역사연구의 방법론은 거시사연구보다는 각 지역이나 소단위 연구주제의 독특한 역사발전상황을 존중하는 미시사적 연구방법론이 정착되는데 기여하였다는 것이다. 이제 우리의 과제는 기록물을 관리할 주체에 관한 논쟁이 아니라 기록물의 다양한 그리고 그 가치를 훼손시키지 않는 방식으로 문서들을 책임질 능력과 통찰력 그리고 탄력적인 사고를 가진 기록관리전문가를 정하는 것이다. 그리고 궁극적으로는 이러한 전문가들을 양성하기 위한 교육과정을 준비하고 이들이 기록관리의 현장에서 신념을 갖고 종사할 수 있는 터전을 마련하는 것이다.