• 제목/요약/키워드: 읽기 데이터베이스

검색결과 42건 처리시간 0.024초

다중 무선 방송채널에서의 효과적인 모바일 트랜잭션 처리 기법 (An Efficient Mobile Transaction Processing Scheme over Multiple Wireless Broadcast Channels)

  • 정호련;정성원;박성욱
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권3호
    • /
    • pp.257-271
    • /
    • 2008
  • 무선 방송 환경은 모바일 클라이언트 수에 상관없이 다수의 클라이언트에게 데이타를 보낼 수 있다는 특징이 있다. 이와 같은 특징으로 무선 방송은 많은 분야에 적응되고 있는데 이러한 응용분야에서는 대부분이 읽기 작업을 수행하며 데이타를 일관성 있게 관리하기 위하여 트랜잭션 단위의 동시성 제어기법을 사용하고 있다. 기존 멀티 무선 방송 채널에서의 데이타 할당 방법으로 구성된 데이타 채널들에서는 단일채널에서 사용하는 동시성 제어 기법으로 트랜잭션의 일관성을 보장해 주기 어렵다. 이는 각 데이타 채널의 브로드캐스트 주기가 서로 다르기 때문에 특정 채널에서 데이타를 수신한 후, 다음 채널로 이동하였을 때 트랜잭션이 접근하는 데이타의 일관성이 깨질 수 있기 때문이다. 본 논문에서는 이러한 문제를 해결할 수 있는 멀티 무선 방송채널에서의 읽기 트랜잭션을 위한 동시성 제어 기법을 제안하였다. 이 논문에서는 기본적으로 인덱스 전용 채널과 데이타 전용채널 구조를 이용한다. 또한 LBCPC(Longest Broadcast Cycle Per Channel)라는 새로운 일관성의 단위를 제시한다. 데이타 전용채널에서는 이 LBCPC만큼 같은 BCPC(Broadcast Cycle Per Channel)내의 데이타를 반복하여 방송한다. 또한 LBCPC마다 전체 데이타에 대한 제어 정보를 이용하여 자체적으로 트랜잭션의 검증을 실시한다. 이로 인해 트랜잭션의 일관성이 유지될 뿐만 아니라 단일채널의 긴 브로드캐스트 주기보다 짧은 LBCPC로 인하여 재실행을 위한 대기 시간을 줄여줌으로써 평균 응답 시간을 줄여줄 수 있다. 또한 단일 채널에 비해 제어 정보를 자주 방송함으로써 읽기 전용 트랜잭션이 접근하는 데이타에 대한 최신성을 보장한다. 마지막으로 실험을 통해 단일 채널과의 트랜잭션의 평균 응답 시간이 현저히 감소함을 보임으로써 제안하는 다중 채널에서의 동시성 제어 기법의 성능을 검증한다.

다중 언어로 작성된 문서 파일에 적용된 문자 인코딩 자동 인식 기법 (A Method for Automatic Detection of Character Encoding of Multi Language Document File)

  • 서민지;김명호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권4호
    • /
    • pp.170-177
    • /
    • 2016
  • 문자 인코딩은 문서를 컴퓨터에서 이용할 수 있도록 문자 코드 테이블을 이용하여 이진화하는 방법이다. 이진화된 문서를 읽기 위해서는, 문서에 적용된 문자 코드를 이용하여 문자 인코딩을 알아내야 한다. 본 논문에서는 문서의 문자 인코딩을 자동으로 판별하는 방법을 제시한다. 제안하는 방법은 이스케이프 문자를 이용한 판별법, 문서에 나타난 코드 값 범위 판별법, 문서에 나타난 코드 값의 특징 판별법, 각 언어별 자주 사용하는 단어를 이용한 판별법과 같은 여러 단계를 걸쳐 문서에 적용된 문자 인코딩을 판별한다. 자주 사용하는 단어를 이용한 방법은 문서를 언어별로 분류하여 문자 인코딩을 판별하기 때문에, 다국어 문서에서 기존의 방법보다 높은 문자 인코딩 인식률을 보인다. 주로 표현하는 언어의 비중이 20% 미만일 경우, 기존의 방법은 약 50%의 문자 인코딩 인식률을 보였으나, 제안하는 방법은 문자 인코딩에서 표현하는 언어의 비중과는 상관없이 96% 이상의 문자 인코딩 인식률을 보였다.

멀티코어 및 고성능 플래시 SSD 환경에서 저널링 파일 시스템의 성능 평가 및 최적화 (Performance Evaluation and Optimization of Journaling File Systems with Multicores and High-Performance Flash SSDs)

  • 한혁
    • 한국콘텐츠학회논문지
    • /
    • 제18권4호
    • /
    • pp.178-185
    • /
    • 2018
  • 최근 클라우드 컴퓨팅, 슈퍼컴퓨팅, 기업용 스토리지/데이터베이스 등의 분야에서 멀티코어 CPU와 고성능 플래시 메모리 기반 저장 장치(플래시 SSD)를 장착한 컴퓨더 시스템에 대한 수요가 크게 증가하고 있다. 이러한 고성능 시스템에서 구동되고 있는 대표적인 운영체제 파일 시스템인 저널링 파일 시스템은 저장장치의 입출력 성능을 최대로 활용하고 있지 못하다. 본 논문에서는 고성능 플래시 SSD와 멀티코어 CPU기반의 컴퓨터 시스템에서 리녹스 운영체제의 EXT4 저널링 파일 시스템의 성능을 평가하고 분석하고자 한다. 성능 평가에 사용된 72-코어 컴퓨터 시스템은 인텔의 고성능 NVMe 기반 플래시 SSD를 장착하고 있으며 이 장치의 연속 읽기/쓰기 성능은 2800/1900 MB/s 이다. 실험 결과는 EXT4 파일 시스템의 체크포인팅 연산이 성능상의 큰 오버헤드임을 보여준다. 이 결과를 바탕으로 체크포인팅을 여러 쓰레드가 수행할 수 있는 최적화 기법을 제안하였고, 최적화된 EXT4 파일 시스템은 기존 EXT4 파일 시스템 대비 최대 92%의 성능 향상을 보여준다.

'빅데이터' 분석 기반 한국사 연구의 현황과 가능성: 디지털 역사학의 시작 (Conditions and potentials of Korean history research based on 'big data' analysis: the beginning of 'digital history')

  • 이상국
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1007-1023
    • /
    • 2016
  • 본 글은 역사학, 그 중에서 한국사 연구에서 활용 가능한 빅데이터 분석 방법론을 모색하고, 이를 활용한 '디지털 역사학'의 가능성을 검토하는 것을 목적으로 한다. 방대한 '한국사 빅데이터'를 활용한 한국사 연구를 위해서는 기존의 질적분석 방법론뿐만 아니라 양적분석 방법론이 모색되어야 한다. 이를 위해서는 다양한 학문 분야와의 학제 간 융합연구가 요청된다. 본 글에서는 '한국사 빅데이터'를 활용한 다양한 융합연구의 출현을 고대하면서, 학제 간 융합연구의 연구방법론을 제안하고, 이를 적용한 연구의 한 사례를 소개하였다. 즉, 문장의 의미를 분석하는 텍스트 분석방법으로 '한국사 빅데이터'에서 원하는 정보를 추출한다면, 양적분석 방법론의 단점으로 지적되는 '행간의 의미읽기의 부재'를 점차 보완해 갈 수 있을 것이다. 그리고 이러한 방법론으로 구축한 데이터베이스를 바탕으로 준지도 학습(Semi-Supervised Learning) 방법론을 적용할 경우, 사료가 충분하지 않은 전근대 한국사의 역사적 인물과 사건들을 분석하는데 유용하게 활용될 것으로 기대된다. 분석 결과를 직관적으로 보여주는 시각화를 통해서도 평면적 연구에서 찾아내지 못한 역사적 사실들을 밝혀낼 수 있을 것이다. 이제 '디지털 역사학'의 서막이 오른 것이다.

소형 블록 DBMS의 데이터/인덱스 페이지 구조 소형화를 통한 NVRAM 성능 개선 (Scaling down data/index page structure of the NVRAM based DBMS with the small size blocks)

  • 배상희;이태화;차재혁
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권1호
    • /
    • pp.15-23
    • /
    • 2013
  • 저전력과 새로운 응용의 대용량 데이터 처리 요구에 따라 저장장치로 하드디스크 대신 빠른 입출력 성능을 가진 SSD(Solid State Disk/Drive)를 활용한 저장 시스템이 등장하고 있으며 다양한 처리 데이터단위와 out-place-update, 제한된 지우기 횟수 등의 SSD 고유의 문제점을 극복하는 방안에 대한 연구가 활발하다. 그러나 빈번한 임의 쓰기를 발생하는 소규모 특정 데이터를 하드디스크나 SSD에 저장하는 경우 성능 및 안정성 저하 문제는 아직 완전히 해결하지 못하고 있다. 본 논문에서는 NVRAM의 바이트 단위의 빠른 읽기/쓰기와 비휘발성 그리고 인덱스 페이지 내 실제 데이터 변경 크기가 블록 크기보다 작다는 특성을 활용하여 빈번한 임의 쓰기를 요구하는 인덱스를 바이트 접근이 가능한 NVRAM에 저장하는 시스템의 구조를 제안한다.

기상 데이터를 활용한 CQRS 패턴의 조회 모델 구현 (Implementation of query model of CQRS pattern using weather data)

  • 서보민;전철호;전현식;안세윤;박현주
    • 한국정보통신학회논문지
    • /
    • 제23권6호
    • /
    • pp.645-651
    • /
    • 2019
  • 대용량 데이터가 쏟아져 나오고 있는 지금, 대용량 데이터의 처리를 위해 데이터 처리 특성상 쓰기 작업보다 읽기작업이 많아 소프트웨어 아키텍처나 데이터 저장 패턴에 많은 변화가 가해지고 있다. 이에 따라 본 논문에서는 명령(Command)과 쿼리(Query)의 책임을 분리하는 CQRS(Command Query Responsibility Segregation) 패턴의 쿼리 모델을 사용해 사용자의 요구사항에 효율적인 대용량 데이터 조회 시스템을 구현한다. 본 논문의 대용량 데이터는 기상청 Open API의 2018년 온도, 습도, 강수 데이터를 활용하여 약 23억 건의 데이터를 RDBMS(PostgreSQL)와 NoSQL(MongoDB)에 알맞게 저장한다. 또한 구현한 웹 서버 (Web Server) 입장에서의 CQRS패턴을 적용한 시스템과 CQRS 패턴을 적용하지 않은 시스템의 성능, 각 데이터베이스의 저장구조 성능, 데이터 처리 특징에 맞는 성능을 비교 및 분석한다.

스트리밍 프레임워크와 멀티미디어 데이타베이스와의 연동기법 (An Interconnection Method for Streaming Framework and Multimedia Database)

  • 이재욱;이승룡;이종원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권7호
    • /
    • pp.436-449
    • /
    • 2002
  • 본 논문은 실시간 멀티미디어 스트리밍 프레임워크과 멀티미디어 데이타베이스의 연동 모듈인 데이타베이스 커넥터를 소개한다. 스트리밍 시스템과 멀티미디어 데이타베이스를 연동하는 경우 스트리밍 중에도 재생중인 미디어에 관련된 정보들을 데이타베이스로부터 검색 및 재결합이 가능하여 다양한 멀티 미디어 데이타베이스 서비스를 제공받을 수 있다. 그러나, 현재 스트리밍 시스템과 데이타베이스와의 연동은 파일 시스템으로 구현되거나, 파일형태의 스트리밍 데이타와 컨텐츠를 다루는 메타 데이타가 분리되어 관리되는 관계형 데이타베이스에 국한되어 있어 다양한 멀티미디어 서비스를 제공하기에 부적합하다. 이런 제약점을 보완하기 위하여 본 논문에서는 스트리밍 프레임워크와 멀티미디어 데이타베이스가 동일한 호스트에 존재한다는 가정 하에 작동되는 IPC 기반의 데이타 베이스 커넥터를 제안한다. 제안된 데이터베이스 커넥터는 데이타베이스 기능을 사용할 수 있도록 읽기, 쓰기, 찾기, 재생 트랜잭션과, 트랜잭션 처리를 위한 인터페이스를 정의하였고, IPC 인터페이스 모듈을 플러그인 형태로 구현하여 본 논문에서 적용한 BeeHive와의 연동뿐 아니라 다른 다양한 멀티미디어 데이타베이스와 연동 시 바로 적용시킬 수 있는 확장성을 가지고 있다. 성능 분석 결과 제안된 IPC 기반 연동기법은 기존의 파일 방식의 연동기법과 비교하여 성능의 저하가 크지 않았다.

지하수의 플랫폼 동시성과 Digital Twin의 개념과 적용 (Concept and Application of Groundwater's Platform Concurrency and Digital Twin)

  • 최두형;김병우;권이재;김화영;기철서
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.13-13
    • /
    • 2023
  • 디지털 기술은 오늘날 플랫폼과 디지털 트윈의 기술도입을 통해 현실 세계를 네트워크와 가상세계와의 연결이 통합되어진 가상 현실 세계의 입문 도약이다. 현실에서 가상현실의 사이의 디지털 전환(digital transformation)에는 디지털 기술과 솔루션을 비즈니스의 모든 영역에 통합하는 것이 포함된다. 이러한 디지털 전환의 핵심은 데이터에 관한 것이며, 데이터를 활용하여 가치를 창출하고 고객경험과 비즈니스 영역을 극대화하는 방식을 제공한다. 최적의 데이터를 제공하기 위한 플랫폼과 가상 현실세계 구현을 위한 디지털 트윈의 상호연계 관한 기본 개념은 데이터 수집, 데이터 분석, 데이터 시각화 및 데이터 보고와 같은 데이터 비즈니스이다. 현장 데이터는 디지털 양식을 통해 수집, 기록, 저장된다. 현장 IoT 기반 데이터(사진 및 비디오 매체 등)는 지속적으로 수집되고 종종 다른 데이터베이스에 저장되지만 지리 공간적 위치에 연결되지 않는다. 모든 디지털 발전을 조화시키고 지하수 데이터에서 더 빠른 이해를 도출하기 위해서는 디지털 트윈이 시작되어야 한다. 단일 지하수플랫폼에서 현장 조건을 시각화하고 실시간 데이터를 스트리밍하며, 과거 3D 데이터와 상호작용하여지질 또는 지화학 데이터를 선택적 사용을 위해 지하수 플랫폼과 디지털 트윈이 연계되어야 한다. 데이터를 디지털 정보모델과 연결하면 디지털 트윈에 생명을 불어넣을 수 있지만 디지털 트윈의 가치를 극대화하려면 여전히 데이터 플랫폼 서비스와 전달 방식을 선택해야 한다. 지하수 플랫폼동시성을 갖는 디지털 트윈은 정적 및 동적 데이터를 저장하는 데이터베이스 또는 크라우드 서비스에서 데이터를 가져오는 API(애플리케이션 프로그래밍 인터레이스), 디지털 트윈을 위한 호스팅 공간, 디지털 대상을 구축하는 소프트웨어, 구성 요소 간 읽기/쓰기를 위한 스크립트, chatGPT 및 API를 활용할 수 있다. 이를 통해 수집된 데이터의 실시간 양방향 통신기술인 지하수 플랫폼 기술을 활용하여 디지털 트윈을 적용하고 완성할 수 있고, 이를 지하수 분야에도 그대로 적용할 수 있다. 지하수 분야의 디지털 트윈 기술의 근간은 지하수 모니터링을 위한 관측장치와 이를 활용한 지하수 플랫폼의 구축 및 양방향 자료전송을 통한 분석 및 예측기술이다. 특히 낙동강과 같이 유역면적이 넓고 유역 내 지자체가 많아 이해관계가 다양하며, 가뭄과 홍수/태풍 등 기후위기에 따른 극한 기상이변가 자주 발생하고, 또한 보 및 하굿둑 개방 등 정부정책 이행에 따른 민원이 다수 발생하는 지역의 경우 하천과 유역에 대한 지하수 플랫폼과 디지털 트윈의 동시성 기술적용 시 지하수 데이터에 대한 고려가 반드시 수반되어야 한다.

  • PDF

고차원 멀티미디어 데이터 검색을 위한 벡터 근사 비트맵 색인 방법 (Vector Approximation Bitmap Indexing Method for High Dimensional Multimedia Database)

  • 박주현;손대온;낭종호;주복규
    • 정보처리학회논문지D
    • /
    • 제13D권4호
    • /
    • pp.455-462
    • /
    • 2006
  • 고차원 데이터 공간에서의 효과적인 검색을 위해 최근 VA-file[1], LPC-file[2] 등과 같이 벡터 근사에 기반을 둔 필터링 색인 방법들이 연구되었다. 필터링 색인 방법은 벡터를 근사한 작은 크기의 색인 정보를 사용하여 근사 거리를 계산하고, 이를 사용하여 질의 벡터와 유사하지 않은 대부분의 벡터들을 빠른 시간 안에 검색 대상에서 제외한다. 즉, 실제 벡터 대신 근사 벡터를 읽어 디스크 I/O 시간을 줄여 전체 검색 속도를 향상시키는 것이다. 하지만 VA-file 이나 LPC-file은 근사 거리를 구하는 방법이 순차 검색과 같거나 복잡하기 때문에 검색 속도 향상 효과가 그리 크지 않다는 문제점을 가지고 있다. 본 논문은 이러한 근사 거리 계산 시간을 줄이기 위하여 새로운 비트맵 색인 구조를 제안한다. 근사 거리 계산속도의 향상을 위하여, 각 객체의 값을 특성 벡터 공간상의 위치를 나타내는 비트 패턴으로 저장하고, 객체 사이의 거리를 구하는 연산은 실제 벡터 값의 연산보다 속도가 훨씬 빠른 XOR 비트 연산으로 대체한다. 실험에 의하면 본 논문이 제안하는 방법은 기존 벡터 근사 접근 방법들과 비교하여 데이터 읽기시간은 더 크지만, 계산 시간을 크게 줄임으로써 전체 검색 속도는 순차 검색의 약 4배, 기존의 방법들보다는 최대 2배의 성능이 향상되었다. 결과적으로, 데이터베이스의 속도가 충분히 빠른 경우 기존의 벡터 근사 접근법의 필터링을 위한 계산 시간을 줄임으로써 더욱 검색 성능을 향상 시킬 수 있음을 확인할 수 있다.

한국어 분석의 중의성 해소를 위한 하위범주화 사전 구축 (Development of Subcategorization Dictionary for the Disambiguation Korean Language Analysis)

  • 이수선;박현재;우요섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-264
    • /
    • 1999
  • 자연언어 처리에 있어 문장의 성분 구조를 파악하는 통사적 해석에서는 애매성 있는 결과가 많이 생성된다. 한국어의 경우 어순 등의 통사적 특성뿐 아니라 상황과 의미, 문맥이 문장의 분석에 더 중요한 역할을 하기 때문에 문맥 자유 문법에 의한 접근 방법만으로는 중의적 구조의 해결이 어렵다. 이는 또한 의미 분석시 애매성을 증가시키는 원인이 된다. 이러한 통사적, 의미적 중의성 해결을 위해 용언 중심의 하위범주화 사전을 구축하였다. 본 논문에서는 용언에 따라 제한될 수 있는 하위범주 패턴을 정의하고 패턴에 따라 하위범주 사전을 구축하였다. 하위범주화 사전에는 명사의 시소러스와 정합하여 보어를 선택 제한(Selectional Restriction)할 수 있도록 용언과 명사와의 의미적 연어 관계에 따라 의미마커를 부여했다. 말뭉치를 통해 수집된 용언 12,000여개를 대상으로 25,000여개의 하위범주 패턴을 구축하였고 이렇게 구축한 하위범주화 사전이 120,000여 명사에 대한 의미를 갖고 있는 계층 시소러스 의미 사전과 연동하도록 하였다. 또한 논문에서 구현된 하위범주화 사전이 구문과 어휘의 중의성을 어느 정도 해소하는지 확인하기 위해 반자동적으로 의미 태깅(Sense Tagging)된 2만여 문장의 말뭉치를 통해 검증 작업을 수행하고, 의존관계와 어휘의 의미를 포함하고 있는 말뭉치에 하위범주 패턴이 어느정도 정합되는지를 분석하여, 하위범주 패턴과 말뭉치의 의존관계만 일치하는 경우와 어휘의 의미까지 일치하는 경우에 대해 평가한다. 이 과정에서 하위범주 패턴에 대한 빈도 정보나, 연어 정보를 수집하여 데이터베이스에 포함시키고, 각 의미역과 용언의 통계적 공기 정보 등을 추출하는 방법도 제시하고자 한다.을 입증하였다.적응에 문제점을 가지기도 하였다. 본 연구에서는 그 동안 계속되어 온 한글과 한잔의 사용에 관한 논쟁을 언어심리학적인 연구 방법을 통해 조사하였다. 즉, 글을 읽는 속도, 글의 의미를 얼마나 정확하게 이해했는지, 어느 것이 더 기억에 오래 남는지를 측정하여 어느 쪽의 입장이 옮은 지를 판단하는 것이다. 실험 결과는 문장을 읽는 시간에서는 한글 전용문인 경우에 월등히 빨랐다. 그러나. 내용에 대한 기억 검사에서는 국한 혼용 조건에서 더 우수하였다. 반면에, 이해력 검사에서는 천장 효과(Ceiling effect)로 두 조건간에 차이가 없었다. 따라서, 본 실험 결과에 따르면, 글의 읽기 속도가 중요한 문서에서는 한글 전용이 좋은 반면에 글의 내용 기억이 강조되는 경우에는 한자를 혼용하는 것이 더 효율적이다.이 높은 활성을 보였다. 7. 이상을 종합하여 볼 때 고구마 끝순에는 페놀화합물이 다량 함유되어 있어 높은 항산화 활성을 가지며, 아질산염소거능 및 ACE저해활성과 같은 생리적 효과도 높아 기능성 채소로 이용하기에 충분한 가치가 있다고 판단된다.등의 관련 질환의 예방, 치료용 의약품 개발과 기능성 식품에 효과적으로 이용될 수 있음을 시사한다.tall fescue 23%, Kentucky bluegrass 6%, perennial ryegrass 8%) 및 white clover 23%를 유지하였다. 이상의 결과를 종합할 때, 초종과 파종비율에 따른 혼파초지의 건물수량과 사료가치의 차이를 확인할 수 있었으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract

  • PDF