• Title/Summary/Keyword: fine grained

검색결과 718건 처리시간 0.026초

효율적인 Transformer 모델 경량화를 위한 구조화된 프루닝 (Structured Pruning for Efficient Transformer Model compression)

  • 류은지;이영주
    • 반도체공학회 논문지
    • /
    • 제1권1호
    • /
    • pp.23-30
    • /
    • 2023
  • 최근 거대 IT 기업들의 Generative AI 기술 개발로 Transformer 모델의 규모가 조 단위를 넘어가며 기하급수적으로 증가하고 있다. 이러한 AI 서비스를 지속적으로 가능케 하기 위해선 모델 경량화가 필수적이다. 본 논문에서는 하드웨어 친화적으로 구조화된(structured) 프루닝 패턴을 찾아 Transformer 모델의 경량화 방법을 제안한다. 이는 모델 알고리즘의 특성을 살려 압축을 진행하기 때문에 모델의 크기는 줄어들면서 성능은 최대한 유지할 수 있다. 실험에 따르면 GPT2 와 BERT 언어 모델을 프루닝할 때 제안하는 구조화된 프루닝 기법은 희소성이 높은 영역에서도 미세 조정된(fine-grained) 프루닝과 거의 흡사한 성능을 보여준다. 이 접근 방식은 미세 조정된 프루닝 대비 0.003%의 정확도 손실로 모델매개 변수를 80% 줄이고 구조화된 형태로 하드웨어 가속화를 진행할 수 있다.

인천 해안지역 지반의 국지적 침식특성 평가 (A Case Study on Local Erosion Characteristics Evaluation of the Inchon Coast)

  • 곽기석;이주형;박재현;정문경
    • 한국지반공학회:학술대회논문집
    • /
    • 한국지반공학회 2006년도 춘계 학술발표회 논문집
    • /
    • pp.455-465
    • /
    • 2006
  • In this study, the effect of scour was evaluated by regional and geotechnical characteristics and back data were accumulate for the design against scour through the local erosion characteristics evaluation of the Inchon coast. The erosion characteristics for the undisturbed soil samples collected near the main locations at the Incheon 2nd bridge, the Hwangyeong bridge, and a coast road in Songdo, are determined quantitatively through the scour rate tests. On the basic soil properties test, the bed around the Inchon coast chiefly consists of fined grained soils, and the soil samples were classified as silty clay(ML) or clay(CL) under the Unified Soil Classification System. On the scour rate test, the critical shear stress increases when the undrained shear strength increases as of the general trend of fine grained soils, and the average scour rate for the maximum velocity by 100 year flood is 173mm/hr at the Incheon 2nd bridge, 67mm/hr at the Hwangyeong bridge and 10mm/hr at a coast road in Songdo, respectively. Comparing to the scour rate of coarse grained soil, that of the bed around the Inchon coast is turned out to be very low. Therefore, the relative ability of the bed around the Inchon coast to resist erosion is assumed to be very high.

  • PDF

동해 울릉분지 남서해역 해양투기장의 퇴적물 특성 (Sediment Characteristics of Waste Disposal Sites in the Southwestern UUeung Basin, the East Sea)

  • 천종화;허식;한상준;신동혁;정대교;홍기훈;김석현
    • 한국해양학회지:바다
    • /
    • 제4권4호
    • /
    • pp.312-322
    • /
    • 1999
  • 동해 울릉분지 남서측 해양투기장해역의 퇴적환경을 밝히기 위하여 해저지형과 퇴적물 특성을 조사하였다. 울릉분지 남서측 외대륙붕에 위치한 해양투기장 정해역은 팔림세스트(palimpsest) 퇴적물과 니질퇴적물의 교호퇴적상이 두껍게 나타난다. 울릉분지 남서측 대륙사면에 위치한 병해역은 대륙붕단으로부터 사질퇴적물의 간헐적인 유입을 제외하고는 반원양성 입자들의 수직적인 집적에 의해서 유동성이 큰 니질퇴적물(fluidized mud)이 해저지형을 평행하게 피복한다. 정해역과 병해역에서의 시추퇴적물에서는 저서생물의 교란에 의한 생흔구조들이 다수 관찰되며, 이에 의해서 퇴적물의 수직적인 혼합이 우세하게 일어난다. 표층퇴적물은 잔류퇴적물의 재동에 의한 조립질의 팔림세스트와 세립질퇴적물의 상대적 함량, 분급도, 그리고 중광물 특성들에 의해서 네 종류의 사질퇴적물(S-1, S-2, S-3, S-4)과 두 종류의 니질퇴적물(M-1, M-2)로 구분된다. 사질퇴적물들은 대부분이 태풍 또는 폭풍우로 야기된 고에너지 환경하에서 잔류퇴적물로부터 제동된 것으로 해석된다. 이에 반해 니질 퇴적물은 낙동강에서 유입된 현생 퇴적물, 대륙붕에서 재동된 세립질퇴적물, 그리고 동한난류(East Sea Warm Current)에 의해서 뜬짐으로 공급되는 입자성 부유물질 등으로 다양한 기원을 가진다.

  • PDF

EJB기반의 효율적인 설계 패턴 및 엔터프라이즈 아키텍처 설계 기법 (Effective Design Pattern and Enterprise Architecture Design Techniques in EJB Environment)

  • 민현기;김수동
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권11호
    • /
    • pp.1025-1036
    • /
    • 2003
  • 산업계에서 개발비용과 기간을 단축시키기 위해 시스템을 점차 Enterprise JavaBeans(EJB)로 개발하는 추세이다. 그러므로 시스템 재사용성, 확장성과 이식성을 높이기 위해 EJB를 위한 아키텍처가 중요해졌다. 그러나, 상위 레벨 수준의 추상적인 아키텍처는 제공되지만, 현재 가능한 J2EE기술을 사용하여 실제화 시키는 구체적 방법은 제공되지 않아 실용적인 소프트웨어 아키텍처에 관한 연구가 부족하다. EJB 규약(Specification)은 EJB를 운용하기 위한 세션빈, 엔티티빈들의 특성과 소규모(Fine Grained)방식의 컴포넌트 아키텍쳐만을 제시하고 있다. 그러므로 EJB는 작은 재사용 단위이기 때문에 EJB, 미들웨어 기술을 사용해도 기대만큼 재사용되지 않는다. 본 논문에서는 EJB 기반의 시스템을 위한 엔터프라이즈 소프트웨어 아키텍처를 구체적인 구현 기술과 기법을 함께 제안한다. 또한 효율적인 EJB 아키텍처를 설계하기 위한 EJB 설계 패턴을 제안한다. 설계 패턴들의 장단점을 분석하여 엔터프라이즈 아키텍처의 각 계층에 적합한 EJB 디자인 패턴을 식별하고, 디자인 패턴을 적용한 컴포넌트를 통해 최적의 컴포넌트간의 상호관계를 지원하는 아키텍처가 되도록 한다. EJB 설계기법을 객체수준의 화이트박스 형식인 소규모 EJB 컴포넌트로 부터 대규모(Coarse Grained) 방식의 EJB 컴포넌트로 설계하는 기법을 5가지로 제시하고, EJB 기반의 트랜잭션, 조립기법을 포함한 엔터프라이즈 아키텍처 설계 기법을 구체적으로 제안한다.

미소부 X-선 회절분석기를 이용한 미립조암광물의 상동정 및 배향도 측정 -$Al_{2}SiO_{5}$ 3상다형- (Phase identification and degree of orientation measurements far fine-grained rock forming minerals using micro-area X-ray diffractometer -$Al_{2}SiO_{5}$ Polymorphs-)

  • 박찬수;김형식
    • 암석학회지
    • /
    • 제9권4호
    • /
    • pp.205-210
    • /
    • 2000
  • 암석중에 미립(직경 0.3mm내외)으로 존재하는 조암광물의 동정 및 결정학적인 배향도를 미소부 X선 회절분석기를 이용하여 측정하였다. 실험에 사용된 표품들은 $A1_{2}SiO_{5}$ 3상디형(규선석, 남정석, 홍주석)으로서 모든 표품들은 박편상의 것을 측정대상으로 하였다 측정에 이용된 X선 회절분석기는 3(${\omega}\;{\chi}\;{\phi}$)축 회전 측각기 및 위치민감형 검출기로 구성되어 있으며 X선원으로는 $CuK_{\alpha}$를 사용하였으며 직경 $50\;\mu\textrm{m}$의 시준기를 사용하였다. 광물 동정은 3(${\omega}\;{\chi}\;{\phi}$)축 회전 측정법에 의해 시행되었으며, 박편표면에 우세하게 나타나는 광물상의 격자면을 알아보기 위해 2(${\omega}\;{\phi}$)축 회전 측정을 실시하였고 2축 회전 측정법에 의해 우세하게 나타난 회절선에 대한 격자방향의 배향도와 극분포를 확인하기 위하여 X-선 극점도 측정을 시행하였다. 3축 회전 측정결과 측정대상 광물상에 대해 동정이 가능하였으며 2축 회전 측정과 X-선 극점도 측정결과 규선석(310), 남성석(200), 홍주석(122)극이 절단면, 즉 박편표면의 법선방향으로 잘 발달하고 있음을 확인할 수 있었다. 본 측정법은 편광현미경을 사용하여 식별이 용이하지 않은 미립조암광물의 동정과 배향도를 알아보는데 유용하게 사용될 수 있는 분석기법이다.

  • PDF

세립토 위주의 토석류에 관한 유변학적 모델: 입자크기 효과 (Rheological Models for Describing Fine-laden Debris Flows: Grain-size Effect)

  • 정승원
    • 한국지반공학회논문집
    • /
    • 제27권6호
    • /
    • pp.49-61
    • /
    • 2011
  • 본 연구는 토석류의 유통성과 관련하여 세립토의 흐름특성, 유변학적 모델들의 적용가능성 및 액성상태 의존성 유변학적 특성들을 비교 분석하였다. 입자크기에 따른 유변학적 특성을 살펴보고자 점토질이 풍부한 지중해 해저점토와 실트질이 풍부한 캐나다 동부 뉴펀들랜드 와부시 호수에서 채취한 광미에 대한 물성특성을 분석하였다. 점토질이 풍부한 세립토의 경우 전형적인 전단담화(shear thinning) 거동을 보이는 반면, 실트질 광미의 경우는 전단담화와 Bingham 유체 거동을 함께 보인다. 후자의 경우, 전단변형률속도를 높임에 따라 Bingham 유체처럼 거동하였다. 이러한 현상학적 차이는 입자크기에 따른 유동특성곡선의 차이에서 기인한 것이다. 항복응력과 소성점도의 결정은 전단변형에 의한 유동 입자들의 구조적 변화와 응력상태와 관련되기 때문이다. 세립토(< 0.075mm)를 다량 함유한 토석류의 유동성을 역해석하고자 할 때, 퇴적형상(흐름 양상, 퇴적층의 모양, 두께 및 길이 등)은 항복응력과 소성점도에 의해 결정된다. 항복응력과 소성점도는 액성지수의 함수로 나타낼 수 있으므로, 토석류의 발생가능지역에서 액성상태에 따른 토석류의 유동성을 평가할 지표로 활용할 수 있다.