A Study on Tower Modeling for Artificial Intelligence Training in Artifact Restoration

Abstract

This paper studied the 3D modeling process for the restoration of the 'Three-story Stone Pagoda of Bulguksa Temple in Gyeongju', a stone pagoda from the Unified Silla Period, using artificial intelligence (AI). Existing 3D modeling methods generate numerous verts and faces, which takes a considerable amount of time for AI learning. Accordingly, a method of performing more efficient 3D modeling by lowering the number of verts and faces is required. To this end, in this study, the structure of the stone pagoda was deeply analyzed and a modeling method optimized for AI learning was studied. In addition, it is meaningful to propose a new 3D modeling methodology for the restoration of stone pagodas in Korea and to secure a data set necessary for artificial intelligence learning.

본 논문은 인공지능(AI)을 이용하여 통일신라 석탑인 '경주 불국사 삼층석탑'의 복원을 위해 3D 모델링 과정을 연구했다. 기존의 3D 모델링 방식은 수많은 Verts와 Face를 생성하므로, 이로 인해 AI 학습에 상당한 시간이 소요한다. 이에 따라, Verts와 Face의 수를 낮추어 더 효율적인 3D 모델링을 수행하는 방식이 필요하다. 이를 위해, 본 연구에서는 석탑의 구조를 정점 및 면의 수로 분석하고, AI 학습에 최적화된 면수를을 최소화 하도록 모델링 방법을 연구했다. 더불어, 우리나라의 석탑 복원을 위한 인공지능학습에 최적화된 모델링 방법론을 제안하고, 인공지능 학습에 필요한 DataSet 을 확보하는 데 의미가 있다.

I. Introduction

인공지능 학습을 진행하기 위해서는 데이터셋의 중요하다. 특히 3차원의 경우에는 점(Verts), 면(Face) 및 삼각형의 수(tris) 개수는 학습 시간에 많은 영향을 받으며, 특히 학습의 정확도에는 지대한 영향을 받을 수 있다[1][2]. 본 연구에서는 3차원 복원에 사용하는 3D모델링의 점(Verts), 면(Face) 및 삼각형의 수(tris)의 개수를 최소화하기 위해서 3D 저작도구인 블랜더를 사용해 디자인하고 제작했다. 현재 존재하는 석탑 모델링은 대부분 3D 스캐너를 이용해 제작되어 많은 점(Verts), 면(Face) 및 삼각형의 수(tris)이 존재한다. 이로 인해 점, 선 및 면의 개수를 최소화해야 한다. 본 연구는 적은 점(Verts), 면(Face) 및 삼각형의 수(tris)에 대하여 새로운 3D 모델링을 저작해, AI로 하여금 낮은 점(Verts), 면(Face) 및 삼각형의 수(tris)로 고속의 학습이 시행되도록 했다.

II. Preliminaries

2.1 Analysis of traditional Korean Pagodas

연구를 진행하기에 앞서, 탑을 모델링 하기 위해서는 석탑의 역사와 정. 측면의 분석과 연구가 필요하다[3][4]. 본 절에는 한국의 석탑에 대한 구조와 그에 따른 형태, 시대별 특징을 분석했다. Fig 1은 석탑구조에 따른 각 부분의 명칭이다.

Fig. 1. Detailed name map of the stone pagoda

한국 석탑의 구조 분석을 위해 경주 불국사 삼층석탑을 기준으로 분석했다. 한국의 석탑은 대표적으로 크게 ‘상륜부’ ‘탑신부’ ‘기단부’ 셋으로 나누어져 있으며, 총 23개의 구조물로 구성되어 있다[5].

Fig 2의 상륜부로써 석탑의 최상위이다. 상륜부는 석탑의 가장 상층으로, 옥개석에 있는 탑의 가장 상단 부분을 말한다. ‘경주 불국사 삼층 석탑’을 기준으로 서술해 보자면, 상륜부의 구성은 ‘찰주’ ‘보주’ ‘용차’ ‘수연’ ‘보개’ ‘보륜’ ‘양화’ ‘복발’ ‘노반’ 총 9개로 구성된다. 상륜부의 가장 상층에 있는 ‘찰주’는 찰간이라고도 부른다. ‘보주’는 찰주를 감싸고 있는 구슬 모양의 조형물이고, 하단에 있는 ‘용차’는 철로 만든 둥근 장식물로, 불탑의 머리에서 수연과 보주 사이에 있다. 그 밑의 장식물 ‘수연’은 불꽃모양의 장식이다. 수연은 보주와 보륜 사이에 있으며, 다섯 개의 층으로 분리된 ‘보륜’은 지붕 위의 네모난 장식으로, 이 보륜 위에는 ‘보개’라는 덮개가 있다. 또한, ‘양화’는 꽃 모양이 새겨져 있는 장식품이다. 마지막으로 ‘복발’은 탑의 꼭대기 ‘노반’이 있다.

Fig. 2. the upper ring of a stone pagoda

Fig 3은 탑신부의 구조에 따른 명칭이다. 탑의 중심부를 칭하는 탑신부는 ‘우동’, ‘옥개’, ‘옥개받침’, ‘탑신’, ‘우주’,로 분리된다. 해당 석탑은 총 3층으로, 한 층 당 크게 옥신과 탑신으로 분리되고, 옥개는 우동과 낙수면, 전각, 옥개 받침으로 이루어져 있다. 옥개의 낙수면은 빗물이 흘러내리도록 만들어진 경사면이다. 우동은 낙수 면의 네 귀퉁이를 말하며, 그 밑에는 전각과 옥개 받침이 존재하고 있다.

Fig. 3. the pagoda body of a stone pagoda

Fig 4는 기단부의 구조에 따른 명칭이다. 가장 밑 조형물은 탑의 기단부라고 칭하며, ‘일층기단’과 ‘이층기단’으로 분류한다. 일층기단은 ‘하대갑석’, ‘하대석’, ‘지대석’, ‘지반’ 으로 분류되며, ‘일층기단’은 탑의 버팀 역할을 하는 ‘탱주’이다. 얼굴 돌 장식 부문 ‘면석’이 있으며, 탑신부와 기단부 모서리에 각각 세워진 기둥을 뜻하는 ‘우주’로 구분한다.

Fig. 4. The pagoda gidanbu of a stone pagoda

2.2 Analysis and Utilization of 3D Software

Table 1은 3D 저작도구의 사용성 및 기능성을 비교한 것으로 본 연구에서 사용된 3D 저작도구는 기능성 및 사용성이 우수한 블랜더(blender) 제품을 이용해서 석탑을 설계하고 제작했다. 또한, 블랜더 3D 제작 도구는 다른 제품과 달리 무료로 사용하고, 지원하는 플러그인도 역시 무료로 제공해, 전 세계적으로 가장 많이 사용하는 도구이다[6][7][8].

Table 1. Comparison of 3D programs

그 외에도, 3D 모델링 도구는 Blender, CINEMA 4D, Z-brush, Sketch UP, 3D MAX, Inventor, Rhino, CATIA, Solidworks이 있다[9][10].

2.3 Texture Mapping for Materials

D 모델링 과정이 마무리되면 질감 및 명암을 넣는 Texure Mapping가 이루어져야 한다. Texture Mapping을 위한 메테리얼 사이트는 대표적으로 PolyHaven, Tectures.com, Sharetectures, Ambientcg, 3D Texture 및 Megascan이 있다. 본 연구에서는 다양한 형태(Blend, Gltf, AO, Diffuse, Normal(DX))을 지원하는 활용할 사이트는 Poly Haven를 사용했다.

Fig 5는 PolyHaven에서 Ston Texture image이다. Poly Haven은 다른 메테리얼 Texture 사이트에 비해 활용할 수 있는 소재가 많으며 다양한 형태의 텍스쳐를 제공한다. 또한, Texture HDRLS 모두 지원한다는 장점이 있다.

Fig. 5. Poly Haven Site for Texture Mapping

III. The Proposed Scheme

본 절에서는 석탑을 제작하는 과정을 설명한다. Fig 6은 제작 절차이다. (1) 3D 저작 프로그램, (2)모델링 과정, (3) Texturing, (4) Rendering, (5) Exporting 과정을 진행한다.

Fig. 6. 3D modeling production process

3.1 Analysis of 3D Modeling Tools

본 연구에서 대표적인 예로 사용한 통일신라의 석탑 중 하나인 경주 불국사 삼층 석탑은 복잡한 구조와 ‘상륜부’ ‘탑신부’ ‘기단부’로 구분되어있어 연구로 선정했다. 주로 사용한 기능[11][12]은 'Object Mode' 'Edit Mode' 'Sculpt Mode' 'Vertex Paint' 'Weight Paint' 'Texture Paint' 'Mirror'와 같은 플러그인을 사용한다. Object Mode는 3D object를 이동, 크기(scale) 편집과 복제, object 회전하는 기능이 있고, Edit Mode는 object의 내부적인 형태를 편집하는 기능이다. Edit Mode에서는 Edge, Vertex, Face를 편집한다. Sculpt Mode에서는 object의 형태를 조작해 세부적인 디테일을 Brush로 통하여 추가적인 편집을 하는 기능이다. ‘Vertex Paint'는 Verts를 직접 페인트 해 메시 색상을 변경할 수 있는 기능이다. 또한, Weight Paint는 각 Verts에 가중치 값을 적용하는 기능이다. Texture Paint에서는 3D object 모델의 면을 편집하는 기능으로 본 연구에서는 실제 석탑의 재질 적용에 많이 사용했다. 또한, Mirror 기능을 이용해서 좌우 모델링의 균형(메쉬복제) 있게 제작하는 데 사용했다. 마지막으로 Bevel 기능은 모서리의 날카로움을 최소화하기 위해 사용한 도구로 면의 개수가 늘어나는 단점이 있지만, 자연스러운 탑의 형태를 만들기 위해서 사용했다.

Table 2는 3D저작 도구인 블랜더의 주요 편집 기능으로 본 연구에서 가장 많이 사용한 기능을 나열한 것이다[13][14][15]. 모델링 과정이 종료되면 석탑에 대한 UVMAP (텍스처를 입히는 과정) 작업이 필요하다. 앞절에 설명한 PloyHeaven 사이트에서 받은 재질을 MarkSeam(텍스처를 입히기 위한 기준선을 잡는 기능)를 통해서 기준점을 잡고 자동으로 텍스처를 UVMAP를 진행하면 모든 작업은 마무리된다[16].

Table 2. Blender Mode for Model Editing

3.2 The Process of Modeling

본 절에서는 석탑 제작의 기본이 되는 직육면체 오브젝트을 통해서 탑을 제작하는 과정을 설명한다. 최초에 육면체를 만들기 위해서는 Objecrt Mode - Add - Mesh - Cube를 선택하여 육면체를 생성한다. 생성된 Cube(육면체)의 Z축을 축소해 높이를 석탑의 층으로 사용할 수 있도록 제작한다. Cube를 선택 후 석탑의 층의 높이를 고려해 Cube의 Scale을 키우는 작업을 진행한다. 또한, Cube를 Shading mode로 변환하고, 변환된 Mode 하단부 +new 트리거 버튼을 활성화해 Material 속성에서 Principled BSDF에서 재질을 선정해 적용한다. 본 과정에 대한 적용 방법은 Table 3에 표시했다. 본 과정으로 탑 한 개 층에 대하여 작업을 완료했다.

Table 3. Apply a texture to the cube object

Table 3은 Cube Object의 Texture 적용한 BSDF 결과이다. Texture의 적용하고, Layout - Edit Mode로 이동에서, Select Mode (Face select)에서 Bevel mode를 이용해 석탑의 모서리를 자연스럽게(부드럽게) 조절했다. 이렇게 만들어진 석탑의 한 층은 복제 기능을 통해서 여러 층을 배치해 석탑을 완성했다. Table 4는 본 연구에서 사용한 경주 불국사 삼층석탑 탑신부의 모델링 완성 작업물이다. 탑신부의 우주, 면석, 옥개받침, 전작, 우동을 추가로 모델링 했으며, 작업 진행 시 옥개받침의 개수에 유의하며 작업했다. 경주 불국사 삼층석탑의 옥개받침은 총 5개로, 그 위에 배치된 전각의 끝부분은 위로 올라간 형태를 가지고 있다.

Table 4. Stone pagoda seal modeling

Table 5는 상륜부의 모델링 과정으로, 탑신부의 1층 모델링을 복사하여 해당 모델링 상단에 원본과 같은 형태로 배치한다. 경주 불국사 삼층석탑의 모델링 까지는 상단에서 서술한 방식을 따라 Cube Object로 모델했다. 복발 제작 과정은 UV Sphere를 생성하고 Select Mode를 사용해 UV Sphere Object로 Mesh 작업을 진행했다. 또한, 본 연구에서는 UV Sphere Object에 Texture를 삽입해 경주 불국사 삼층석탑의 상륜부 복발을 완성했다. 이렇게 만들어진 복발이 Table 5이다.

Table 5. Make “bokbal” for the stone pagoda

양화 제작을 위해 다시 한번 Cube Object를 이용해서 제작을 진행했다. 특히 양화와 보륜 제작은 기둥 형태로 제작한다. 그래서 Cylinder Object를 생성해 Z축 Scale을 확장해 모델링을 진행했다. 기둥을 감싸고 있는 보륜 또한, 동일한 방식으로 생성 후 Scale 확장하고 Z축 스케일을 축소해 제작을 완료했다. 경주 불국사 삼층석탑의 보륜은 총 5개로 이루어져 있다. Table 6에서 보륜 상단에 위치한 보주(orb)의 경우 UV Sphere의 Scale 기능에서 축소 및 확대 기능을 이용해서 제작을 완료했다.

Table 6. Stone pagoda “orb” modeling

Table 7은 완성된 경주 불국사 삼층석탑으로 Top View, Left View, Right View와 Diagonal View이다.

Table 7. Finished Stone Pagoda Modeling

완성된 석탑은 각종 뷰어 및 인공지능 학습을 위한 데이터 셋으로 사용하기 위해서 Export 과정을 거쳐야 한다. Export 과정은 블랜더의 경우 다양한 형태의 포맷을 지원하고 있으면 본 연구에서는 OBJ 파일과 인터넷에서 사용하는 GLTF 파일로 저장했다. 추가적으로 랜더링 과정으로 라이트와 카메라 방향을 설정해야 현실감있는 탑이 완성되므로 카메라 설정과 해상도 설정을 4K 수준으로 변경해 Export했다. Rendering은 Render를 진행 전 관련 설정이 필요하다. Add-Camera를 추가하고, 화면의 view point-> Toggle the camera view를 한다. 카메라의 화면으로 시야가 변경됐다면 view -> view lock -> to 3D cursor, camera to view를 선택하고, 카메라 화면의 크기와 형태를 설정한다. 또한, Object Mode에서 카메라 틀을 선택 후 카메라의 시야를 탑에 맞출 수 있다. 최종적으로 Blender 도구에서 모델링된 석탑의 최종 Shading을 통해 메테리얼 및 라이트작업을 완료한다. Fig. 7, 8은 최종적으로 Export한 Render 와 OBJ 파일이다. 지원하는 파일 포맷은 *.gltf, *,glb, *.obj, *.fbx 다양한 형태의 파일이 지원되고, *.stl파일의 경우 3D 프린터에 사용하는 포맷이다.

Fig. 7. Stone Pagoda Render

Fig. 8. Stone Pagoda “OBJ” Export

Table 8은 ‘상륜부’ ‘탑신부’ ‘기단부’에 대하여 완성된 경주 불국사 삼층석탑이다. 원본 이미지와 제작된 3D 모델링이다[17][18].

Table 8. Three-story Stone Pagoda of Bulguksa Temple

IV. Experiment and analysis

본 절에서는 최종적으로 완성된 경주 불국사 삼층 석탑에 대하여 기존의 스캐너를 통해서 제작된 석탑과 본 연구에서 제작한 석탑과의 점, 면, 삼각형의 개수를 비교 분석하는 과정을 설명한다. Table 9는 기존에 문화제청에서 제시한 탑을 다운받아 점, 면 및 삼각형의 수를 분석했다.

Table 9. stone pagoda seal modeling

Table 9에서는 석탑의 원형 복구를 위해 추가적인 제작이 이루어져 있음을 확인했고, 문화재청으로부터 받은 3D 모델링은 상륜부, 탑신부, 기단부의 메쉬가 많음을 확인했다. 이의 단점은 해당 모델링을 학습을 시킬 경우, 많은 학습 데이터로 인해 학습에 들어가는 시간적 효율이 상당히 떨어져 학습 시간 및 정확도가 떨어짐이 발생했다. Table 10은 블랜더 그래픽 제작 도구를 이용해서 만들어진 경주 불국사 삼층석탑으로 기존 문화재청에서 제공하는 모델보다 점, 면 및 삼각형의 수가 현저하게 낮음을 확인했다.

Table 10. Newly created stone pagoda model

기존의 3D 스캐너를 사용한 석탑 모델링의 경우 점, 면및 삼각형의 수가 너무 많아서 학습 시간이 오래 걸리는 단점을 가고 있어 본 연구를 진행했다. Table 11은 3D 스캐너를 통해서 제작된 문화재청에서 제공하는 경주 불국사 삼층 석탑과 모델링을 통해서 새롭게 제작된 석탑의 비교로 1000배 수준의 점, 선 및 삼각형의 수가 줄어 든 것을 확인했다. 또한, Fig. 9는 점, 면 및 삼각형의 수를 그래프로 표시한 것으로 면에서 더 많은 부분이 줄어듬을 확인했다. 이로써, 인공지능학습에서 사용하는 데이터셋으로 본 석탑 모델을 사용한다면 좀더 정확하고 빠른 속도로 문화재 복원에 적극 활용될 것으로 사료된다.

Table 11. Comparison between the created modeling and the original modeling.

Fig. 9. Comparison diagram graph of generated modeling and original modeling

V. Conclusions

대부분의 인공지능학습을 통한 복원의 경우 2D형태의 복원은 많이 있다. 하지만 3D형태로 복원하는 기술은 아직도 연구중 이고 일부 기능을 제공하고 있지만, 3D 데이터의 복잡함이 많아 학습 시간이 오래 걸리고 정확도가 떨어지는 편이다. 본 연구에서는 3D 데이터를 활용한 인공 지능 학습에서 사용되는 데이터셋을 기존의 스캐닝된 데이터의 많은 점, 면 및 삼각형의 수를 최대한 줄이기 위해 그래픽 저작도구를 통해 원본과 같도록 설계하고 제작했다. 제작한 결과 기존의 제공되는 문화재청의 3D 모델보다 적은 수의 점, 면 및 삼각형의 개수를 확인했다. 또한, 모델링 비교를 위해 경주 불국사 삼층석탑을 기준으로 모델링을 진행했으면 최소한의 점을 수를 보장하기 위해서 최적화된 모델이 될 수 있도록 과정을 정의했다. 향후 연구과제로 본 연구에서 제작된 석탑을 통해 인공지능 학습을 진행하고 기존의 제작된 석탑과 직접 제작해서 만들어진 석탑과의 비교분석을 통한 복원율이 어느 정도인지에 대한 연구가 필요하다.