• 제목/요약/키워드: memory efficiency

검색결과 709건 처리시간 0.028초

트랜스포머 알고리즘의 멀티 헤드 어텐션과 피드포워드 네트워크에서 활용 가능한 효율적인 행렬 곱셈기 (An Efficient Matrix Multiplier Available in Multi-Head Attention and Feed-Forward Network of Transformer Algorithms)

  • 장석우;김동순
    • 전기전자학회논문지
    • /
    • 제28권1호
    • /
    • pp.53-64
    • /
    • 2024
  • 자연어 처리 모델이 발전함에 따라 챗 GPT와 같은 대화형 언어 생성 AI 모델이 널리 사용되고 있다. 따라서 자연어 처리 최신 모델의 기반이 되는 트랜스포머 알고리즘을 하드웨어로 구현하여 연산 속도와 전력 소비량을 개선하는 것은 중요하다고 할 수 있다. 특히, 행렬 곱셈을 통해 문장에서 서로 다른 단어 간의 관계를 분석하는 멀티 헤드 어텐션과 피드 포워드 네트워크는 트랜스포머에서 연산량이 가장 큰 핵심적인 알고리즘이다. 본 논문에서는 기존의 시스톨릭 어레이를 변형하여 행렬 곱 연산 속도를 개선하고, 입력 단어 개수 변동에 따라 지연시간도 변동되는 유동적인 구조를 제안한다. 또한, 트랜스포머 알고리즘의 정확도를 유지하는 형태로 양자화를 하여 메모리 효율성과 연산 속도를 높였다. 본 논문은 평가를 위해 멀티헤드어텐션과 피드포워드 네트워크에서 소요되는 클럭사이클을 검증하고 다른 곱셈기와 성능을 비교하였다.

2.4GHz RFID 태그용 고조파 억제를 위한 저역통과필터의 설계 (A Low-pass filter design for suppressing the harmonics of 2.4GHz RFID tag)

  • 조영빈;김병수;김장권
    • 대한전자공학회논문지TE
    • /
    • 제39권3호
    • /
    • pp.59-64
    • /
    • 2002
  • ISM 대역을 사용하는 RFID 시스템에서 대상물에 장착되는 태그는 내장된 컨트롤러와 메모리를 동작시키기 위해서 소형 안테나로부터 들어온 전파 신호를 쇼트키 다이오드로 정류하여 전원으로 사용하게 된다. 반도체 소자의 비선형성에 의한 고조파 성분과 안테나의 고차 모드의 공진으로 여기되는 불요파는 태그의 성능 저하를 가져온다. 본 논문에서는 2차 고조파 성분을 제거함으로써 시스템 효율을 개선하기 위하여 "스터브 I 형 DGS 슬롯 구조"를 이용한 새로운 형태의 저역통과 필터를 구현하였다. 스터브 폭과 I 형 슬롯의 연결 폭을 조정하여 최적의 통과대역 및 저지대역 주파수 특성을 갖도록 설계하고 제작하였다. 제작된 저역통과 필터의 측정결과는 차단 주파수는 3.25 GHz 이고 2.4 GHz~2.5 GHz 의 대역에서 삽입손실은 -0.29~-0.3 dB 이고 반사손실은 -27.688~-33.665 dB 로 비교적 양호한 특성을 보여주고 있으며, 2배 고조파의 대역인 4.9 GHz 에서의 저지특성은 약 -19.367 dB를 보여준다. 이 구조의 필터를 이용하여 RFID, WLAN 등의 응용에 적용되어 고조파와 불요파를 제거함으로서 시스템 효율의 개선에 사용할 수 있을 것이다.

센서 네트워크에서 스트림 데이터 질의의 효율적인 처리를 위한 다중 질의 색인 기법 (Multi-query Indexing Technique for Efficient Query Processing on Stream Data in Sensor Networks)

  • 이민수;김연정;윤혜정
    • 한국멀티미디어학회논문지
    • /
    • 제10권11호
    • /
    • pp.1367-1383
    • /
    • 2007
  • 센서 네트워크는 스스로 감지하고 계산하고 무선으로 서로 통신할 수 있는 기능을 갖춘 센서들로 이루어진 네트워크이다. 센서 네트워크의 특징들로는 네트워크가 자체적으로 관리가 되어야 한다는 것과 배터리 전원이여서 전력의 효율성을 크게 고려해야 한다는 것이 있다. 센서 네트워크에서 생성되는 많은 양의 연속적인 데이터에 대하여 여러 개의 질의들을 동시에 처리해야 하는 경우에 전력의 효율성을 극대화시켜야 한다. 본 연구에서는 센서 네트워크에서 감시 목적의 미리 정의된 다중 질의들에 대해 색인을 두어 다중 질의 처리 성능을 높이고 메모리와 전력을 효율적으로 사용할 수 있는 기법을 제안한다. 공간 색인 기법 중에서 이진 탐색트리에 기반한 데이터 구조로서 각 레벨별로 차원이 반복되어 각 차원을 분할시키는 k-d 트리와, 공간을 계층적 구조로 자르며 겹침 관계를 줄인 R-트리의 변형인 R+-트리를 기반으로 하여 이들의 응용 및 융합을 통해 다중 질의를 색인하는 새로운 트리인 SMILE 트리를 제안한다. 질의들에 대한 SMILE 트리를 구성하여 센서 네트워크에서 생성되는 스트림 데이터에 대하여 관련된 질의를 탐색하도록 하면 질의를 순차 탐색하는 것과 비교하여 경우에 따라서는 평균 탐색시간을 약 50% 정도로 줄일 수 있다.

  • PDF

메콩강 유출모의를 위한 물리적 및 데이터 기반 모형의 비교·분석 (Comparison of physics-based and data-driven models for streamflow simulation of the Mekong river)

  • 이기하;정성호;이대업
    • 한국수자원학회논문집
    • /
    • 제51권6호
    • /
    • pp.503-514
    • /
    • 2018
  • 최근 기후변화 및 유역개발로 인하여 메콩강 유역의 수문환경이 급격히 변화하고 있으며, 메콩강을 공유하는 국가의 수재해 예방 및 지속가능한 수자원개발을 위해서는 메콩강 주요지점에서의 유량 정보의 분석 및 예측이 요구된다. 본 연구에서는 물리적 기반의 수문모형인 SWAT과 데이터기반 딥러닝 알고리즘인 LSTM을 이용하여 메콩강 하류 Kratie 지점의 유출모의를 수행하고, 유출모의 정확도 및 두 가지 방법론의 장 단점을 비교 분석한다. SWAT 모형의 구축을 위해 범용 입력자료(지형: HydroSHED, 토지이용: GLCF-MODIS, 토양: FAO-Soil map, 강우: APHRODITE 등)을 이용하였으며 warming-up 및 매개변수 보정 후 2003~2007년 일유량 모의를 수행하였다. LSTM을 이용한 유출모의의 경우, 딥러닝 오픈소스 라이브러리인 TensorFlow를 활용하여 Kratie 지점기준 메콩강 상류 10개 수위관측소의 두 기간(2000~2002, 2008~2014) 일수위 정보만을 이용하여 심층신경망을 학습하고, SWAT 모형과 마찬가지로 2003~2007년을 대상으로 Kratie 지점에 대한 일수위 모의 후 수위-유량관계곡선식을 이용하여 유출량으로 환산하였다. 두 모형의 모의성능 비교 검토를 위하여 모의기간에 대해 NSE (Nash-Sutcliffe Efficiency)을 산정한 결과, SWAT은 0.9, LSTM은 보다 높은 0.99의 정확도를 나타내는 것으로 분석되었다. 메콩강과 같은 대유역의 특정 지점에 대한 수문시계열 자료의 모의를 위해서는 다양한 입력자료를 요구하는 물리적 수문모형 대신 선행 시계열자료의 변동성을 기억 학습하여 이를 예측에 반영하는 LSTM 기법 등 데이터기반의 심층신경망 모형의 적용이 가능할 것으로 판단된다.

녹용(鹿茸) 및 녹용약침(鹿茸藥鍼)이 동물(動物)의 성장(成長)과 지능발달(知能發達)에 미치는 영향(影響) (The Effects of Cervus elaphus on the Growth and the Intellectual Development of Animals)

  • 김영태;손양선;진수희;한상원;심인섭;임사비나;이학인
    • Journal of Acupuncture Research
    • /
    • 제18권5호
    • /
    • pp.122-134
    • /
    • 2001
  • The effects of Cervus elaphus and Cervus elaphus aquapuncuture on body weight, protein efficiency ratio, body length, serum growth hormone and intellectual development were studied for thirty-four days. The results were summarized as follows. 1. Body weight significantly increased in Cervus elaphus aquapuncture oral administration group compared to GH groups. 2. Protein efficiency ratio had no significant difference within all groups. 3. Body length significantly increased in Cervus elaphus aquapuncture group compared to GH injection group on 3rd day, tail length significantly increased in Cervus elaphus aquapuncture group and Cervus elaphus aquapuncture oral administration group compared to GH injection group but, body length has no significant difference within all groups. 4. Serum GH significantly increased in Cervus elaphus aquapuncture oral administration group compared to that of GH injection group. 5. As results of observing memory acquisition using Morris water maze system, there was no significant difference within all groups. 6. As results of observing retention using Morris water maze system, staying times significantly increased in Cervus elaphus aquapuncture oral administration group compared to that of GH injection group at Ist trial and 3rd trial. 7. As results of observing staining intensity of NADPH-d-positive neurons in tissue of hippocampal part, significant increasing of staining intensity were observed in septum and VDB of hippocampus in Cervus elaphus aquapuncture oral administration group compared to that of GH injection group. According to the above results, it is concluded that Cervus elaphus oral administration and Cervus elaphus aquapuncture on acupoint G39 showed effects on growth and intellectual development of animals.

  • PDF

자원기반이론을 적용한 기술협력 네트워크에서 보호 메커니즘, 관계학습, 관계성과의 관계에 대한 실증연구 (An Empirical Study on the Relationships among Safeguarding Mechanism, Relationship Learning, and Relationship Performance in Technology Cooperation Network by Applying Resource Based Theory)

  • 강석민
    • 경영과정보연구
    • /
    • 제35권2호
    • /
    • pp.45-66
    • /
    • 2016
  • 기업들은 기술협력 네트워크를 통하여 새로운 고급기술과 지식을 내부화시키고 활용함으로써 규모 및 범위의 경제를 실현할 수 있고, 기술협력 네트워크의 파트너 기업과 위험과 비용을 분담할 수 있으며, 제품의 시장우위를 선점하거나 시장에서의 자사의 위치를 강화할 수 있다. 이러한 기술협력 네트워크의 이점에 근거하여 현재까지 기존의 관련연구들은 일반적으로 기술협력이 기업의 경영성과에 긍정적인 영향을 미치는가에 집중되어왔다. 그러나 기존의 기술협력과 경영성과의 관계를 규명한 연구들은 단지 경영성과에 관한 기술협력 네트워크의 역할을 조명하는데 그친다. 본 연구에서는 기존의 연구들에서 간과된 기술협력 네트워크의 중간과정을 보호 메커니즘, 관계학습, 관계성과로 분류하고, 이를 자원기반이론의 일반적 구조인 자원, 역량, 성과에 각각 적용하였다. 실증분석의 결과는 다음과 같다. 관계특유투자와 관계자본은 역량으로서의 관계학습에 긍정적인 영향을 미치고 있는 것으로 나타났다. 둘째, 정보교환, 공동의 정보이해, 관계특유 기억개발은 관계지향성에 긍정적인 영향을 나타내고 있으나, 정보교환이 효율성과 효과성에 미치는 유의성은 발견되지 않았다. 셋째, 관계특유투자는 관계자본에 긍정적인 영향을 미치고 있으며, 효율성과 효과성은 장기지향성에 긍정적인 영향을 미치고 있는 것으로 나타났다. 본 연구는 비대칭적인 기술의존 구조를 형성하는 기술협력 네트워크 관계에서 자원기반이론에 입각하여 기존의 연구들이 간과하고 있는 보호 메커니즘, 관계학습, 관계성과의 역할을 규명함으로써 보호 메커니즘과 관계학습의 중요성을 제시하였다. 또한 협력 파트너와의 관계에서 기업의 어떠한 행동변화를 유발함으로써 관계성과에 도달하는가를 살펴봄으로써 보호 메커니즘은 기술협력 파트너와의 관계학습을 통해 관계성과에 영향을 제공할 수 있다는 점을 분석하는데 의의가 있다고 볼 수 있겠다.

  • PDF

UHD 영상을 위한 고성능 HEVC 디블록킹 필터 설계 (Hardware Design of High Performance HEVC Deblocking Filter for UHD Videos)

  • 박재하;류광기
    • 한국정보통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.178-184
    • /
    • 2015
  • 본 논문에서는 UHD(Ultra High Definition) 영상을 위한 고성능 HEVC(High Efficiency Video Coding) 디블록킹 필터 하드웨어 구조를 제안한다. 제안하는 하드웨어 구조는 필터링 수행시간 단축을 위해 두 개의 필터로 구성된 4단 파이프라인 구조를 가지며 경계강도 모듈을 병렬 구조로 설계하였다. 또한 저전력 하드웨어 구조를 위해 파이프라인의 단계를 클록 게이팅으로 설계하였고, 파이프라인 과정에서 단일 포트 SRAM에 접근할 때 발생하는 해저드 문제를 해결하기 위해 분할된 메모리 구조로 설계하였다. 전처리 단계에서 단일 포트 SRAM에 데이터를 저장할 때 발생하는 지연시간을 감소하기 위해 새로운 필터링 순서를 제안하였다. 본 논문에서 제안하는 디블록킹 필터 하드웨어 구조는 Verilog HDL로 설계 하였으며, TSMC 0.18um CMOS 표준 셀 라이브러리를 이용하여 합성한 결과 22k 개의 로직 게이트로 구현되었다. 또한, 동작 주파수는 150MHz에서 UHD급 8K 해상도인 $7680{\times}4320@60fps$ 처리가 가능하고 최대 동작 주파수는 285MHz이다. 제안하는 하드웨어 구조의 기본 처리단위 당 사이클 수를 비교 분석한 결과, 처리율이 기존 구조 대비 32% 향상된 결과를 얻었다.

UHD 영상의 실시간 처리를 위한 고성능 HEVC SAO 부호화기 하드웨어 설계 (Hardware Design of High-Performance SAO in HEVC Encoder for Ultra HD Video Processing in Real Time)

  • 조현표;박승용;류광기
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 추계학술대회
    • /
    • pp.271-274
    • /
    • 2014
  • 본 논문에서는 UHD급 영상의 실시간 처리를 위한 고성능 HEVC(High Efficiency Video Coding) SAO(Sample Adaptive Offset) 부호화기의 효율적인 하드웨어 구조를 제안한다. SAO는 HEVC에서 새롭게 채택된 루프 내 필터 기술 중 하나이다. 본 논문에서 제안하는 SAO 부호화기 하드웨어 구조는 메모리 접근 최소화 및 화소들의 처리를 간소화하기 위해 three-layered buffer를 사용한다. 또한 연산시간 및 연산량을 줄이기 위해서 4개의 화소들을 병렬적으로 에지 오프셋과 밴드 오프셋으로 분류하며, 화소들의 분류와 SAO 파라메터 적용을 2단계 파이프라인 구조로 구현하고, 하드웨어 면적을 줄이기 위해서 덧셈과 뺄셈, 쉬프트 연산, 그리고 재귀 비교기만을 사용한다. 본 논문에서 제안하는 SAO 부호화기 하드웨어 구조는 Verilog HDL로 설계하였으며, TSMC $0.18{\mu}m$ CMOS 표준 셀 라이브러리를 사용하여 합성한 결과 약 180k개의 게이트로 구현되었다. 또한, 110MHz의 동작주파수에서 4K UHD급 해상도인 $4096{\times}2160@30fps$의 실시간 처리가 가능하다.

  • PDF

비주얼 씽킹을 활용한 한국어 추측 표현 교육 방안 : '-(으)ㄹ 것 같다', '-나 보다'를 대상으로 (Way to the Method of Teaching Korean Speculative Expression Using Visual Thinking : Focusing on '-(으)ㄹ 것 같다', '-나 보다')

  • 이은경;박종호
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제15권5호
    • /
    • pp.141-151
    • /
    • 2021
  • 이 연구는 상황에 따라 다양한 의미 기능을 나타내는 추측 표현 중 '-(으)ㄹ 것 같다'와 '-나 보다'를 대상으로 그 의미와 기능을 분석하고 실제 한국어 교육 현장에서 비주얼 씽킹을 적용한 시각화를 통해 전통적인 수업 방법에서 확장하여 보다 효율적으로 추측 표현을 교육할 수 있는 방안에 대해 논의하였다. Visual Thinking'은 '생각의 시각화'인데, 머릿속 지식이나 생각, 느낌 등을 시각적으로 나타내는 것으로 다양한 교육 현장에서 활용 가능한 것이다. 이 비주얼 씽킹을 활용하여 실제 교육 현장에서 교육 내용의 시각적 전달을 통해 학생들의 흥미를 높이고, 메타 언어적 정보 전달의 수업 방식도 보완하고자 하였다. 이 연구의 대상인 추측 표현은 화자의 어떤 일이나 상황에 대한 추측을 나타내는데, 추측의 근거와 추측의 주체 등에 따라 그 의미에 미세한 차이가 있다. 다양한 상황에서 미세한 의미 차이를 보이는 추측 표현을 정보나 지식의 시각화를 통해 교수-학습의 다변화 및 효율성을 높일 수 있는 교육 방안을 제안하였다. 비주얼 씽킹을 언어 교육에 활용하게 되면 언어 지식의 시각화를 통해 언어 정보를 단순화해서 제공할 수 있고 학습자들은 언어 지식을 정리하고 체계화하는 데 효율적일 수 있다. 또한 언어 지식의 시각화를 통해 언어 정보를 장기기억 할 수 있는 장점도 있다. 한국어 교육 현장에서 적용해 볼 수 있는 다양한 교육 방법의 시도는 좀 더 체계적이고 효율적인 교육 방법을 정립하는 데 기여할 수 있는데, 이 연구에서 제안한 비주얼 씽킹을 적용한 한국어 교육 방안은 유학생들의 한국어 학습에 또 다른 흥미와 효율성을 줄 수 있다는 데에 의의가 있다고 하겠다.

기상 데이터를 활용한 LSTM 기반의 해양 혼합층 수온 예측 (LSTM Based Prediction of Ocean Mixed Layer Temperature Using Meteorological Data)

  • 고관섭;김영원;변성현;이수진
    • 대한원격탐사학회지
    • /
    • 제37권3호
    • /
    • pp.603-614
    • /
    • 2021
  • 최근 우리나라 주변 해역의 해수면 온도가 상승하고 있다. 이러한 수온 상승은 어족자원의 변화를 일으켜 낚시와 같은 레저활동에 영향을 미치기도 하며, 특히 고수온은 적조 발생으로 이어져 양식업과 같은 해양산업에 극심한 피해를 유발하기도 한다. 한편 수온 변화는 잠수함을 탐지하는 군사작전과도 밀접하게 연관되어 있다. 이는 잠수함을 탐지하기 위한 음파가 수온층에 따라 회절, 굴절 및 반사되는 정도가 달라지기 때문이다. 이와 같이 해양과 관련된 다양한 분야에서 중요성을 가지는 해양 수온의 변화를 예측하기 위한 연구가 현재 활발하게 진행되고 있다. 그러나 기존 연구들은 대부분 해수면 온도만을 예측하는데 중점을 두고 있어 수심별 어족자원의 변화나 잠수함 탐지와 같은 군사분야 활용이 제한된다. 이에 본 연구에서는 수심별 수온자료 및 해수면 온도와 상관관계를 가지는 기온, 기압, 일조량 등의 기상 데이터를 함께 활용하여 수심 38 m 혼합층의 수온을 예측하였다. 사용된 데이터는 이어도 해양과학기지에서 관측한 2016년부터 2020년까지의 기상 데이터와 수심별 수온 자료이며, 예측의 정확성과 효율성을 높이기 위해 딥러닝 기법 중 시계열 자료에 적합하다고 알려진 LSTM(Long Short-Term Memory)을 사용하였다. 실험 결과 1시간 예측을 기준으로 기온과 기압, 일조량 자료를 함께 활용한 모델의 RMSE(Root Mean Square Error)는 0.473으로 나타났다. 반면 해수면 수온만을 활용한 모델의 RMSE는 0.631로 나타나 기상데이터를 함께 활용한 모델이 상부 혼합층 수온 예측에서 보다 우수한 성능을 보임을 확인하였다.