• 제목/요약/키워드: Multiple hint information

검색결과 6건 처리시간 0.02초

블록 계층별 재학습을 이용한 다중 힌트정보 기반 지식전이 학습 (Multiple Hint Information-based Knowledge Transfer with Block-wise Retraining)

  • 배지훈
    • 대한임베디드공학회논문지
    • /
    • 제15권2호
    • /
    • pp.43-49
    • /
    • 2020
  • In this paper, we propose a stage-wise knowledge transfer method that uses block-wise retraining to transfer the useful knowledge of a pre-trained residual network (ResNet) in a teacher-student framework (TSF). First, multiple hint information transfer and block-wise supervised retraining of the information was alternatively performed between teacher and student ResNet models. Next, Softened output information-based knowledge transfer was additionally considered in the TSF. The results experimentally showed that the proposed method using multiple hint-based bottom-up knowledge transfer coupled with incremental block-wise retraining provided the improved student ResNet with higher accuracy than existing KD and hint-based knowledge transfer methods considered in this study.

Layer-wise hint-based training for knowledge transfer in a teacher-student framework

  • Bae, Ji-Hoon;Yim, Junho;Kim, Nae-Soo;Pyo, Cheol-Sig;Kim, Junmo
    • ETRI Journal
    • /
    • 제41권2호
    • /
    • pp.242-253
    • /
    • 2019
  • We devise a layer-wise hint training method to improve the existing hint-based knowledge distillation (KD) training approach, which is employed for knowledge transfer in a teacher-student framework using a residual network (ResNet). To achieve this objective, the proposed method first iteratively trains the student ResNet and incrementally employs hint-based information extracted from the pretrained teacher ResNet containing several hint and guided layers. Next, typical softening factor-based KD training is performed using the previously estimated hint-based information. We compare the recognition accuracy of the proposed approach with that of KD training without hints, hint-based KD training, and ResNet-based layer-wise pretraining using reliable datasets, including CIFAR-10, CIFAR-100, and MNIST. When using the selected multiple hint-based information items and their layer-wise transfer in the proposed method, the trained student ResNet more accurately reflects the pretrained teacher ResNet's rich information than the baseline training methods, for all the benchmark datasets we consider in this study.

Hidden Indicator Based PIN-Entry Method Using Audio Signals

  • Seo, Hwajeong;Kim, Howon
    • Journal of information and communication convergence engineering
    • /
    • 제15권2호
    • /
    • pp.91-96
    • /
    • 2017
  • PIN-entry interfaces have high risks to leak secret values if the malicious attackers perform shoulder-surfing attacks with advanced monitoring and observation devices. To make the PIN-entry secure, many studies have considered invisible radio channels as a secure medium to deliver private information. However, the methods are also vulnerable if the malicious adversaries find a hint of secret values from user's $na{\ddot{i}}ve$ gestures. In this paper, we revisit the state-of-art radio channel based bimodal PIN-entry method and analyze the information leakage from the previous method by exploiting the sight tracking attacks. The proposed sight tracking attack technique significantly reduces the original password complexities by 93.8% after post-processing. To keep the security level strong, we introduce the advanced bimodal PIN-entry technique. The new technique delivers the secret indicator information through a secure radio channel and the smartphone screen only displays the multiple indicator options without corresponding numbers. Afterwards, the users select the target value by following the circular layout. The method completely hides the password and is secure against the advanced shoulder-surfing attacks.

선행기술조사가 국가연구개발사업의 성과에 미치는 영향: 특허성과를 중심으로 (The Effect of Prior Art Search on Patent Output from National R&D Program)

  • 임부루;박규호;이근
    • 기술혁신연구
    • /
    • 제19권1호
    • /
    • pp.177-201
    • /
    • 2011
  • 본 연구는 특허정보활용과 연구개발활동 사이의 관계에 대한 분석을 위해, 국가연구개발사업을 대상으로 특허기술동향조사가 국가연구개발사업의 성과에 미치는 영향을 기술적 성과인 특허성과에 집중하여 그 영향을 추정하였다. 정부는 2005년부터 국가연구개발사업에 대하여 특허기술동향조사사업을 시행하고 그 범위를 확대해 왔다. 특허기술동향조사사업은 국가연구개발사업의 기획단계 또는 과제 선정단계에서 특허 동향 및 선행기술에 대한 정보를 제공하여 중복 투자, 유사기술 개발의 가능성을 줄여 국가연구개발사업의 효율성과 성과를 제고하기 위한 사업이다. 이러한 특허기술동향조사가 국가연구개발사업의 기술적 성과에 어떠한 효과를 지니는지를 투입요소, 개발주체의 특성, 자금의 공급자 요인을 고려한 모형을 사용하여 추정하였다. 2005년부터 2008년까지 국가연구개발사업의 성과 자료와 특허기술동향조사사업에 대한 자료를 바탕으로 특허기술동향조사 사업의 효과를 추정한 결과, 선행기술조사는 국내 및 해외 특허의 출원 및 등록 성과를 유의하게 제고하는 것으로 밝혀졌다. 이러한 결과로부터 국가연구개발사업에서 특허정보활용을 통해 기술적 성과의 제고가 가능하다는 점을 알 수 있다. 이는 특허정보활용을 통해 국가연구개발사업의 효율성과 효과성이 제고되었음을 보여준다.

  • PDF

이동 컴퓨팅 환경에서의 예측 가입 기법을 이용한 효율적인 멀티캐스팅 (An Effective Multicasting using Pre-join Technique in Mobile Computing Environments)

  • 류기선;김중배;엄영익
    • 한국정보과학회논문지:정보통신
    • /
    • 제27권1호
    • /
    • pp.88-97
    • /
    • 2000
  • 이동 컴퓨팅 기술에 멀티캐스팅 기법을 적용하게 되는 경우, 고정 네트워크에서 멀티캐스트 수행 시 발생하지 않는 여러 문제점들이 발생하게 되는데, 그 중 하나로 이동 호스트가 새로운 셀로 진입할 때 해당 셀에 같은 멀티캐스트 그룹의 멤버가 존재하지 않는다면 호스트가 멀티캐스트 그룹에 새로 가입 할 때 발생하는 참가 지연(join delay)과 접합 지연(graft delay)을 추가적으로 겪게 된다. 뿐만 아니라, 낮은 대역폭과 에러율이 높은 전송 매체의 특성으로 인한 잦은 수신 확인과 패킷 재전송은 많은 부가 트래픽을 발생시킨다. 본 논문에서는 이동 지원국의 신호세기에 따라 이동 호스트가 이동하게 될 셀의 이동 지원국이 미리 멀티캐스트 그룹에 가입하는 예측 가입 기법과 송신자와 이동 지원국, 이동 지원국과 이동 호스트 사이의 수신 확인을 별개로 수행하는 다단계 수신 확인 전략을 제안한다. 이 기법은 주변에 멀티캐스트 그룹의 멤버가 존재하지 않는 셀이 많아지고 이동 호스트의 이동성이 적을수록 좋은 효율을 보인다.

  • PDF

슈퍼컴퓨터 최적 실행 지원을 위한 하드웨어 성능 카운터 기반 프로파일링 기법의 확장성 연구 (A Study on Scalability of Profiling Method Based on Hardware Performance Counter for Optimal Execution of Supercomputer)

  • 최지은;박근철;노승우;박찬열
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권10호
    • /
    • pp.221-230
    • /
    • 2020
  • 한정된 자원을 여러 사용자에게 공유해야하는 슈퍼컴퓨터와 같은 시스템은 응용프로그램의 실행을 최적화하는 방안이 필요하다. 이를 위해 시스템 관리자가 수행할 응용프로그램에 대한 사전 정보를 파악하는 것이 유용하다. 대부분의 고성능 컴퓨팅 시스템 운영에 있어 작업을 실행할 때 사용자로부터 실행 기간, 자원 요구사항들에 대한 정보를 제공 받거나 시스템 사용 통계 값을 사용하여 필요한 정보를 생성하는 등의 프로파일링 기술을 바탕으로 시스템 활용률을 높이는데 활용하고 있다. 본 논문의 선행연구에서는 하드웨어 성능 카운터를 이용하여 소스코드에 대한 별도의 이해 없이 응용프로그램 특성분석을 실행하고, 이 결과를 바탕으로 작업 스케줄링 알고리즘을 최적화하는 기술을 개발한 바 있다. 본 논문에서는 슈퍼컴퓨터 최적 실행지원을 위한 프로파일링 테스트베드 클러스터를 구축하고 구축한 클러스터 환경에서 하드웨어 성능 카운터를 기반으로 응용프로그램의 특성을 분석하는 프로파일링 기법의 확장성을 실험하였다. 이를 통해 응용프로그램의 문제크기를 축소하거나 프로파일링에 사용되는 노드수를 최소화하여도 개발한 하드웨어 성능 카운터 기반의 프로파일링 기법이 확장성 있게 동작하여 실제 스케줄링 최적화시에 활용될 수 있음을 보이고자 한다. 실험을 통해 프로파일링에 사용되는 노드의 수를 1/4로 줄여도 전체 노드를 사용한 프로파일링 대비 응용프로그램의 실행 시간이 1.08% 증가할 뿐 스케줄링 최적화 성능은 순차실행 대비 최대 37% 향상되었다. 또한 응용프로그램의 문제크기를 축소하여 프로파일링한 결과 프로파일링 데이터 수집 단계의 시간적 비용을 1/4배 이상 낮추면서 최대 35% 성능 향상 효과를 얻었다.