• 제목/요약/키워드: 대규모

검색결과 7,009건 처리시간 0.036초

명령어 튜닝이 대규모 언어 모델의 문장 생성에미치는 영향력 분석 (A Study on Instruction Tuning for Large-scale Language Models)

  • 나요한;채동규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.684-686
    • /
    • 2023
  • 최근 대규모 언어모델 (large language models) 을 활용하여 다양한 자연어처리 문제를 추가학습 없이 풀어내기 위한 zero-shot 학습에 대한 연구가 활발히 수행되고 있다. 특히 프롬프트 튜닝(prompt tuning)을 활용하여 적은 학습만으로도 효과적으로 다양한 태스크에 적응하도록 돕는 방법이 최근 대규모 언어모델의 성능을 향상시키고 있다. 본 논문은 명령어 튜닝 (instruction tuning) 이 언어모델에 끼치는 영향을 분석하였다. 명령어 튜닝된 모델이 기존 언어모델과 비교하여 변화된 문장 생성 특징, 생성된 문장의 품질 등에 대한 분석을 수행하고 결과를 제시한다.

대규모 언어 모델을 활용한 새로운 의도 발견 방법과 액티브 러닝 전략 (Novel Intent Discovery Utilizing Large Language Models and Active Learning Strategies)

  • 천창우;임송요
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.425-431
    • /
    • 2023
  • 음성 어시스턴트 시스템에서 발화의 의도를 분류하고 새로운 의도를 탐지하는 것은 매우 중요한 작업이다. 끊임없이 인입되는 새로운 발화로 인해 기존에 학습된 모델의 의도 분류 성능은 시간이 지남에 따라 점차 낮아진다. 기존 연구들에서 새로운 의도 발견을 위해 제안되었던 클러스터링 방법은 최적의 클러스터 수 결정과 명명에 어려움이 있다. 이러한 제한 사항을 보완하기 위해, 본 연구에서는 대규모 언어 모델 기반의 효과적인 의도 발견 방법을 제안한다. 이 방법은 기존 의도 분류기로 판단하기 어려운 발화에 새로운 의도 레이블을 할당하는 방법이다. 새롭게 인입되는 OOD(Out-of-Domain) 발화 내에서 오분류를 찾아 기존에 정의된 의도를 탐지하고, 새로운 의도를 발견하는 효율적인 프롬프팅 방법도 분석한다. 이를 액티브 러닝 전략과 결합할 경우, 분류 가능한 의도의 개수를 지속 증가시면서도 모델의 성능 하락을 방지할 수 있고, 동시에 새로운 의도 발견을 자동화 할 수 있다.

  • PDF

Zero-shot 기반 다중 문서 그라운딩된 대화 시스템 (Zero-shot Dialogue System Grounded in Multiple Documents)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

Apache Kafka를 활용한 실시간 대규모 비디오 스트리밍 기법 (Real-time Watermarking Method for Streaming Video Data)

  • 유연준;홍석민;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.556-558
    • /
    • 2024
  • 오늘날 클라우드 컴퓨팅은 FIFA, WTA, F1, MLB등과 같은 비디오 및 실시간 스포츠 이벤트에 널리 사용된다. DataM에 따르면 비디오 스트리밍 플랫폼 시장은 545억 달러에서 2,523달러에 달할 것으로 예측된다. 기존 실시간 스트리밍 방법은 스트리밍 비디오의 개수가 증가하고나 스트리밍 이용자가 증가할 경우 성능 저하 문제가 발생한다. 본 논문에서는 Apache Kafka Server를 활용한 대규모 비디오 스트리밍 기법을 제안한다. Apache Kafka Server를 사용하여 네트워크를 수집하면 대규모 데이터를 처리할 수 있으며, 데이터의 안정성과 실시간 처리를 할 수 있어 온라인 비디오 스트리밍에 적합하다. 이에 비디오 품질을 선택할 때 적합한 비디오 품질을 선택할 수 있다. 향후 제안하는 기법은 많은 데이터와 실험으로 실질적인 검증을 할 예정이다.

대규모 IT 프로젝트에서 학습기반 애자일 프레임워크 적용사례 연구 (A Case Study of Adapting Disciplined Agile Framework for Large-scale IT Projects)

  • 박희원;최진영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권7호
    • /
    • pp.424-427
    • /
    • 2017
  • 애자일 개발 방법론이 확산되면서 초기에 불가능하다고 여겨진 대규모 IT 프로젝트에도 애자일 개발 방법론을 도입하고자 하는 노력이 있으며 이에 대한 사례도 다수 소개되고 있다. 본 논문에서는 2개의 대표적인 엔터프라이즈 애자일 방법론을 비교하고, 엔터프라이즈 애자일 개발 방법론의 하나인 학습 기반 애자일 프레임워크(DAD, Disciplined Agile Delivery)를 적용한 사례를 소개한다. 유사한 개발 과제를 수행한 2개의 프로젝트 간의 비교를 통해 폭포수 방법론을 사용한 프로젝트와 학습기반 애자일 프레임워크를 사용한 프로젝트의 개발 생산성을 정량적으로 측정하여 비교하였다.

대규모 웹서버 클러스터 시스템의 운영방안 연구 (Operational Scheme for Large Scale Web Server Cluster Systems)

  • 박진원
    • 한국시뮬레이션학회논문지
    • /
    • 제22권3호
    • /
    • pp.71-79
    • /
    • 2013
  • PC급 성능의 서버를 네트워크로 연결하여 대규모 웹서비스에 사용하는 웹서버 클러스터 시스템이 널리 활용되고 있다. 본 논문은 단순 페이지 뷰, 지식 탐색, 동영상 뷰 및 동영상 업로드 등 4가지 형태의 웹 서비스를 제공하는 대규모 웹서버 클러스터 시스템을 대상으로 공동 사용 방식과 전용 사용 방식을 적용할 경우 각각 필요한 웹서버 규모를 예측해 본다. 이를 위해 일정한 수준의 자원 활용률을 유지하면서 응답시간을 짧게 유지하는 서버 배치 방안을 컴퓨터 시뮬레이션 실험을 통해 모색해 본다.

대규모 산지지반 활동연약대 규명을 위한 지구물리탐사기법의 활용 연구 (Application of Geophysical Exploration Technique to the Identification of Active Weak Zones in Large Scale Mountainous Region)

  • 신형옥;김만일;윤왕중
    • 지구물리와물리탐사
    • /
    • 제21권3호
    • /
    • pp.162-170
    • /
    • 2018
  • 본 연구는 전라북도 완주군 ${\bigcirc}{\bigcirc}$지역에서 발생한 대규모 땅밀림 산사태 지역에서 지구물리탐사(전기비저항 탐사, 굴절법 탄성파탐사) 기법을 활용하여 대규모 산지지반 변화를 파악하고 활동연약대를 추정하고자 수행 하였다. 또한 변성암 지역에서 발생한 땅밀림 산사태 특성을 파악하고, 대략적인 규모를 파악하였다. 표준관입시험으로 얻어진 N치와 전기비저항 탐사의 저비저항 이상대, 지표지질조사로 얻어진 인장균열 위치를 비교 분석한 결과, 지표하부 10 ~ 15 m 사이에 형성되어 있는 토사층에 존재하는 불연속면을 추정하였다. 이를 토대로 토사층의 불연속면과 연구결과로 얻어진 기반암의 추정선 사이의 활동연약대 분포를 확인하였다.

P2P와 클라우드 컴퓨팅에 기반한 대규모 멀티플레이어 온라인 게임의 대역폭 분석 (Bandwidth Analysis of Massively Multiplayer Online Games based on Peer-to-Peer and Cloud Computing)

  • 김진환
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권5호
    • /
    • pp.143-150
    • /
    • 2019
  • 클라우드 컴퓨팅은 운영자들로 하여금 하드웨어 구매와 유지 부담을 경감시키므로 대규모 멀티플레이어 온라인 게임(MMOG)을 위한 적절한 해결책이 되었다. P2P 기반 해결책은 고유의 규모조정성, 자체 복구기능, 자연적인 부하 분산 능력 등 여러 장점을 가지고 있다. 상이한 두 패러다임 P2P와 클라우드 컴퓨팅의 기술적 장점들을 병합하며 MMOG를 위한 하이브리드 구조가 이 논문에서 제시된다. 효율적이고 효과적인 자원의 공급과 부하의 조절은 대규모 사용자 집단에 대한 경제적 비용과 서비스 품질의 규모를 고려하는 구조 실현에 필수적이다. 동시에 실행되는 사용자 수가 증가할 때 하이브리드 구조는 사용자의 처리 능력을 활용함으로써 클라우드에 있는 서버의 부하 즉 상당한 규모의 컴퓨팅 능력과 통신량을 절감할 수 있다. MMOG에서는 서버의 시간 외에도 대역폭 비용이 요구형 자원의 임차시 주요 지출 요인이 된다. 시뮬레이션 결과 제시된 하이브리드 구조는 클라우드와 사용자 제공 자원의 양을 제어함으로써 플레이어들의 충분한 대역폭을 활용하는 반면 서버의 대역폭을 감소시킬 수 있는 것으로 나타났다.

적정규모 학교 정책수립을 위한 우리나라 초등학교 학생수와 학급수에 관한 기초 연구 I - 경상남도 17개 시군을 중심으로 - (A Basic Study on the Number of Elementary School Students and Classroom in Korea for Making Policy in Optimal School Scale I - Centered on 17 Cities and Counties in Gyeongsangnam-do -)

  • 윤용기
    • 교육녹색환경연구
    • /
    • 제17권3호
    • /
    • pp.54-64
    • /
    • 2018
  • 경상남도 8개시와 9개 군지역 총 17개시 482 개교 학생수와 학급수 조사 분석을 실시하여 적정규모 정책에 대한 기초자료를 제공하고자 실시한 본 연구결과는 다음과 같다. 첫째, 경상남도 8개시 동지역의 전체 206개 초등학교중 대규모 학교가 65개교(31.6 %), 적정규모 학교는 107개교(51.9 %)로 대부분을 차지하고 있고, 300명 미만의 소규모 학교는 35개교(17.0 %)로 나타났다. 시 읍면지역내 초등학교 138개교중 대규모 학교는 16개교(11.6 %), 적정규모학교는 25개교(18.1 %)로 적은데 비하여 소규모학교가 97개교(70.3 %)로 대부분을 차지하고 있고, 이중 150명 미만의 소규모 학교는 14개교(10.1 %)를 차지하고 있다. 둘째, 경상남도 9개 군 지역의 전체 137개 초등학교중 대규모 학교가 3개교(2.2 %), 적정규모 학교는 17개교(12.4 %)로 적은 편이며, 300명 미만의 소규모 학교는 117개교(85.4 %)로 이중 150명 미만의 소규모 학교가 111개교(81.0 %)로 대부분을 차지하고 있다. 셋째, 시 동지역, 시 읍면지역, 군지역으로 세분하여 분석한 결과 시 동지역과 달리 시 읍면지역과 군지역에서는 소규모 학교와 극소규모학교가 대부분을 차지하고 있었다. 따라서 시 읍면지역과 군지역 학교 교육환경을 고려한 시지역 학교와 차별화된 시 읍면지역과 군지역의 특성을 고려한 적정규모 정책 수립이 필요할 것으로 판단된다.

대규모 재난대비를 위한 의용소방대 활용방안과 시사점 (Applications of Volunteer Fire Fighters against Great Disasters and its Implications)

  • 최준호;최충익
    • 한국화재소방학회논문지
    • /
    • 제32권5호
    • /
    • pp.87-94
    • /
    • 2018
  • 본 연구는 대규모 재난대비를 위해서 지역사회 기반 재난관리의 선도적 역할을 수행해야 하는 의용소방대에 대해 살펴보고 개선방안을 도출하고 있다. 이를 위해 법제도적 미비, 방재인프라 부족 등 현재 우리의 모습과 유사했던 1995년 일본의 고베대지진을 통해 대규모 재난의 특징을 살펴보았다. 아울러 이러한 재난의 대응에 있어 우리나라 의용소방대가 가지고 있는 문제점을 검토하고 2011년 동일본대지진 이후 추진 중인 일본 소방단의 개선방안을 분석하였다. 분석결과, 우리나라 의용소방대는 대규모 재난에 대응하기에는 역할, 대응능력, 지원체계 등이 아직은 미흡하며, 일본은 이러한 문제를 '핵심업무의 배분', '공동체적 재난대응', '중앙 및 지자체와의 상호 협력' 등의 관점으로 개선하고 있는 것이 주요한 특징으로 나타났다.