• 제목/요약/키워드: 다중 규모

검색결과 613건 처리시간 0.023초

복수 대규모 언어 모델에 기반한 제어 가능형 데이터 증강 프레임워크 (Controllable data augmentation framework based on multiple large-scale language models)

  • 강현석;남궁혁;정지수;정상근
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2023
  • 데이터 증강은 인공지능 모델의 학습에서 필요한 데이터의 양이 적거나 편향되어 있는 경우, 이를 보완하여 모델의 성능을 높이는 데 도움이 된다. 이미지와는 달리 자연어의 데이터 증강은 문맥이나 문법적 구조와 같은 특징을 고려해야 하기 때문에, 데이터 증강에 많은 인적자원이 소비된다. 본 연구에서는 복수의 대규모 언어 모델을 사용하여 입력 문장과 제어 조건으로 프롬프트를 구성하는 데 최소한의 인적 자원을 활용한 의미적으로 유사한 문장을 생성하는 방법을 제안한다. 또한, 대규모 언어 모델을 단독으로 사용하는 것만이 아닌 병렬 및 순차적 구조로 구성하여 데이터 증강의 효과를 높이는 방법을 제안한다. 대규모 언어 모델로 생성된 데이터의 유효성을 검증하기 위해 동일한 개수의 원본 훈련 데이터와 증강된 데이터를 한국어 모델인 KcBERT로 다중 클래스 분류를 수행하였을 때의 성능을 비교하였다. 다중 대규모 언어 모델을 사용하여 데이터 증강을 수행하였을 때, 모델의 구조와 관계없이 증강된 데이터는 원본 데이터만을 사용하였을 때보다 높거나 그에 준하는 정확도를 보였다. 병렬 구조의 다중 대규모 언어 모델을 사용하여 400개의 원본 데이터를 증강하였을 때에는, 원본 데이터의 최고 성능인 0.997과 0.017의 성능 차이를 보이며 거의 유사한 학습 효과를 낼 수 있음을 보였다.

  • PDF

분산제어시스템에서의 대규모 알람 서버 설계 (Design a Large Scale Alarm Server in the Distributed Control System)

  • 권만준;이원호;문병구
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2009년도 추계학술발표논문집
    • /
    • pp.615-617
    • /
    • 2009
  • 공정제어분야의 분산제어시스템에서는 다양한 종류의 알람과 이벤트가 발생한다. 하지만 적용 분야에 따른 규격화된 알람 형식이 없기 때문에 매번 재정의를 하거나 프로그램의 대규모 수정을 해야 한다. 이러한 문제점을 해결하고자 알람 서버의 엔진은 변형 없이 알람 메시지 맵을 정의함으로써 다중 알람 발생자에서 발생하는 이벤트와 알람을 관리하며, 조건에 따른 자동 인지 및 삭제가 가능하도록 하며, 다중 알람 뷰어를 통해 사용자 인지, 삭제, 이력 조회 등이 가능하도록 하는 알람 서버를 설계하고자 한다. 본 논문에서는 알람 메시지 맵을 통한 신규 알람 등록을 자유롭게 하며, 다중 알람 발생자와 다중 알람 뷰어의 서비스를 위한 대규모 알람 서버를 설계하고자 한다.

  • PDF

대규모 다중프로세서 시스템의 캐시 동일성 유지 기법 조사 (Survey on Cache Coherency Schemes for Large Scale Multiprocessor Systems)

  • 기안도;한우종;윤석한
    • 전자통신동향분석
    • /
    • 제9권3호
    • /
    • pp.69-96
    • /
    • 1994
  • 본고에서는 캐시 동일성 유지 기법들을 분류하여 그 특성들을 개략적으로 살펴본 후 대규모 다중프로세서를 위해 제안된 것 중 몇몇 특색있는 것들을 살펴본다.

대규모 다중사용자용 온라인 게임 시스템의 실시간 태스크를 위한우선순위 스케쥴링 기법 (Priority-based Scheduling Methods for Real-time Tasks of Massively Multiplayer On-line Game Systems)

  • 김진환
    • 한국멀티미디어학회논문지
    • /
    • 제16권4호
    • /
    • pp.493-501
    • /
    • 2013
  • 대규모 다중사용자용 온라인 게임 시스템의 당면 과제는 동시에 많은 사용자들에게 실시간적 응답 시간을 제공하는 것이다. 다수의 사용자들이 요청한 작업은 제한 시간 내에 응답이 제공되어야 하기 때문에 대규모 다중사용자용 온라인 게임 시스템은 일종의 연성 실시간 시스템이다. 클라이언트 이벤트들은 게임 세계의 본질에 따라 상이한 시간 요건과 일관성 요건을 가지고 있다. 이러한 요건들은 CPU 처리시 상이한 우선순위를 갖는 태스크들을 유발하게 된다. 이러한 태스크들의 시간적 요건을 충족하기 위하여 본 논문에서는 일시적 과부하가 발생한 경우 우선순위가 더 높은 태스크들에게 더 많은 CPU 대역폭을 우선적으로 할당하려는 우선순위 스케쥴링 기법들이 제시된다. 제시된 스케쥴링 기법은 우선순위가 높은 태스크일수록 종료시한 내에 성공적으로 종료되는 수를 최대화하며 종료시한이 경과된 이후 종료된 태스크들의 평균 지연시간을 최소화함으로써 대규모 다중사용자 온라인 게임 시스템의 실시간적 성능을 향상시킬 수 있다. 제시된 스케쥴링 기법의 성능은 다양한 시뮬레이션 실험을 통하여 측정되었다.

InnoDB 기반 DBMS에서 다중 버퍼 풀 오버헤드 분석 (An Analysis of the Overhead of Multiple Buffer Pool Scheme on InnoDB-based Database Management Systems)

  • 송용주;이민호;엄영익
    • 정보과학회 논문지
    • /
    • 제43권11호
    • /
    • pp.1216-1222
    • /
    • 2016
  • 대규모 웹 서비스의 등장으로 데이터의 규모가 점차 증가하는 추세이다. 이러한 대규모 데이터를 효율적으로 관리하기 위해 MySQL과 MariaDB와 같은 DBMS가 주로 사용되고 있으며, 이들은 데이터 관리를 위한 스토리지 엔진으로 InnoDB를 주로 사용한다. InnoDB는 ACID를 보장할 뿐만 아니라 대규모 데이터 처리에 적합하다는 장점이 있기 때문이다. InnoDB의 경우, I/O 성능 향상을 위해 버퍼 풀을 통해 데이터와 인덱스를 캐싱하며 락 경쟁(lock contention)을 줄이기 위해 다중 버퍼 풀을 지원한다. 그러나 다중 버퍼 풀 기법은 데이터 일관성 오버헤드를 증가시킨다. 본 논문에서는 다중 버퍼 풀 기법의 오버헤드를 분석한다. 실험 결과, 다중 버퍼 풀 기법을 사용함에 따라 락 경쟁이 최대 46.3%까지 완화되었지만 디스크 I/O와 fsync 명령이 증가하면서 DBMS의 처리량이 50.6%까지 떨어지는 현상을 확인하였다.

Zero-shot 기반 다중 문서 그라운딩된 대화 시스템 (Zero-shot Dialogue System Grounded in Multiple Documents)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

대규모 다중 서버 분산 가상 환경 시스템을 위한 확장성 있는 로드 밸런싱 기법 (A Scalable Load Balancing Scheme for Large-Scale Multi-Server Distributed Virtual Environment (DVE) Systems)

  • 이경민;이동만;김성훈;장소희;박은광;현순주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
    • /
    • pp.160-162
    • /
    • 2002
  • 분산 가상 환경(Distributed Virtual Environment, DVE)시스템의 규모가 커지면서 확장성(scalability)이 중요한 이슈가 되고 있다. 시스템의 확장성을 높이기 위해 제안된 다중 서버 DVE 시스템에서 사용자들의 집단적인 움직임 특성은 서버간 작업부하의 불균형을 초래한다. 이는 전체 시스템의 효용을 떨어뜨리고 다중 서버의 효과를 감소시킨다. 결과적으로 시스템의 확장성이 저하된다. 이러한 문제를 해결하기 위해 기존에 제안된 로드 밸런싱 기법은 크게 로컬 기법과 글로벌 기법으로 구분할 수 있다. 로컬 기법은 적은 비용을 갖지만 작업부하의 분포가 한쪽으로 치우쳐 있을 경우 성능이 낮다. 글로벌 기법은 좋은 성능을 보여주는 반면, 서버의 수가 증가하면 비용이 크게 증가한다. 본 논문은 서버들의 작업부하분포에 동적으로 적응(adaptation)하는, 대규모 다중 서버 DVE 시스템을 위한 확장성 있는 로드 밸런싱 기법을 제안한다. 제안하는 기법에서 과부하된 서버는 그 주변 서버들의 작업부하가 적을 경우 로컬 확산 (Local Diffusion) 로드 밸런싱을 수행하고, 그렇지 않을 경우 제한적 글로벌 (Limited Scope Global)로드 밸런싱을 수행한다. 시뮬레이션 결과를 통해 제안하는 기법이 효율(efficiency)의 측면에서 기존의 로컬 기법과 글로벌 기법보다 각각 14%, 3%가 우수함을 보인다. 또한, 제안하는 기법은 서버의 수가 증가함에 따라 효율이 감소하는 추세가 기존 기법들보다 완만함을 보인다.

  • PDF

대규모 분산 가상 환경을 위한 확장성있는 예측기반 동시성 제어 (Scalable Prediction based Concurrency Control for Large Distributed Virtual Environments)

  • 양정화;이동만
    • 한국정보과학회논문지:정보통신
    • /
    • 제28권1호
    • /
    • pp.154-163
    • /
    • 2001
  • 인터넷으로 연결된 다수의 참여자를 지원하는 대규모 분산 가상 환경을 위한 확장성 있는 예측 기반 동시성 제어 방법을 제안한다. 예측 기반 동시성 제어 방식은 낙관적(optimistic) 방식과 같이 참여자들에게 실시간 상호 작용 성능을 제공함과 동시에 비관적(pesimistic)방식과 같이 잠금 허가를 받은 사용자에게만 객체 조작을 허용하므로 충돌을 확실히 방지할 수 있다. 본 논문에서는 사용자 수의 증가에 따른 확장성 있는 예측 알고리즘을 위하여 객체 중심 다중 전송그룹을 도입했다. 객체에 관심있는 객체주변의 사용자들만 객체에 할당된 다중 전송 그룹에 소유권 요청 메시지로서의 참여 메시지를 보냄으로써 소유자 후부가 된다. 현재 소유자는 소유자 후보들 중 다음 소유자를 예측한다. 가상 영역내의 모든 사용자 대신 객체의 할당된 다중 전송 그룹에 소유권 요청 메시지로서의 참여 메시를 보냄으로써 소유자 후보가 된다. 현재 소유자는 소유자 후보들 중 다음 소유자를 예측한다. 가상 영역내의 모든 사용자 대신 객체의 다중 전송 그룹에 참여하고 있는 사용자로부터만 소유권 요청 메시지를 받으므로 소유자가 받는 메시지 수는 가상환경의 전체 사용자의 수에 관계없이 상수값을 갖는다. 이는 소유자의 소유권 요청메세지 처리 시간을 줄여 보다 더 정확한 예측을 하고 사용자의 객체 조작 시간 전에 소유권이 전달되도록한다. 제안한 예측 알고리즘은 라이브러리로 구현되어 기존의 가상 환경 시스템에 적용되었고 실험을 통해 제안한 알고리즘이 대규모 가상 환경에서 갖는 효율성과 확장성을 증명한다.

  • PDF

네트웍 환경에서의 대규모 지형 데이터 전송 및 렌더링 (Transmission and Rendering of Massive Terrain Data in Network Environment)

  • 김대성;한정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.184-186
    • /
    • 2003
  • 본 논문에서는 대규모 지형 데이터를 이용한 네트웍 환경에서의 지형 탐색을 위한 다중 해상도 기법과 prefetching 기법을 제안한다. 지형 렌더링에 널리 사용되는 직각이등변 삼각형 메쉬 형태의 DEM 데이터를 정삼각형 메친 데이터로 재구성한 뒤, 이를 다중 해상도로 구조화하여. 네트웍 환경에서의 주요 문제점인 대역폭과 지연 문제를 보완하였다. 본 기법은 3차원 지형 데이터를 이용한 온라인 게임 등에 응용될 수 있다.

  • PDF