• 제목/요약/키워드: chunks

검색결과 61건 처리시간 0.023초

Z-인덱스 기반 MOLAP 큐브 저장 구조 (A Z-Index based MOLAP Cube Storage Scheme)

  • 김명;임윤선
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권4호
    • /
    • pp.262-273
    • /
    • 2002
  • MOLAP(multi-dimensional online analytical processing)은 데이타의 다차원적 분석 기술로서, 이는 질의 처리 속도를 높이기 위해 데이타를 큐브(cube)라고 불리는 다차원 배열에 저장하고 배열 인덱스를 사용하여 데이타를 엑세스한다. 큐브는 다양한 방식으로 디스크에 저장될 수 있으며 이 때 사용되는 방식에 따라 MOLAP의 주요 연산인 슬라이스와 다이스 연산 속도가 크게 영향을 받는다. 이러한 연산들을 효율적으로 처리하기 위해 다차원 배열을 작은 크기의 청크로 나누고 이 들 중에서 희박한 청크들을 압축하여 저장하는 기법이 [1]에 제안되어 있다. 이 방식에서는 청크들을 행우선 순서로 디스크에 저장한다. 본 연구에서는 청크들을 밀도와 인접도 기준으로 배치시킴으로써 슬라이스와 다이스 연산 속도를 향상시키는 방법을 제시한다. 청크 밀도를 이용하여 청크들을 디스크 블록 경계에 가능한 한 맞추었고, Z 인덱싱을 사하여 인접한 저밀도 청크들을 군집화 함으로써 디스크 I/O의 속도를 높였다. 제안한 큐브 저장 방식은 일반적 비즈니스 데이타의 분석에 흔히 사용되는 3~5차원의 큐브 저장에 효율적이라는 것을 실험적으로 보였다.

DCGAN을 이용한 잡육에서의 바늘 검출 (Detection of Needle in trimmings or meat offals using DCGAN)

  • 장원재;차윤석;금예은;이예진;김정도
    • 센서학회지
    • /
    • 제30권5호
    • /
    • pp.300-308
    • /
    • 2021
  • Usually, during slaughter, the meat is divided into large chunks by part after deboning. The meat chunks are inspected for the presence of needles with an X-ray scanner. Although needles in the meat chunks are easily detectable, they can also be found in trimmings and meat offals, where meat skins, fat chunks, and pieces of meat from different parts get agglomerated. Detection of needles in trimmings and meat offals becomes challenging because of many needle-like patterns that are detected by the X-ray scanner. This problem can be solved by learning the trimmings or meat offals using deep learning. However, it is not easy to collect a large number of learning patterns in trimmings or meat offals. In this study, we demonstrate the use of deep convolutional generative adversarial network (DCGAN) to create fake images of trimmings or meat offals and train them using a convolution neural network (CNN).

청크 기반 MOLAP 큐브를 위한 비트맵 인덱스 (A Bitmap Index for Chunk-Based MOLAP Cubes)

  • 임윤선;김명
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권3호
    • /
    • pp.225-236
    • /
    • 2003
  • 다차원 온라인 분석처리 (MOLAP, Multidimensional On-line Analytical Processing) 시스템은 데이타를 큐브라고 불리는 다차원 배열에 저장하고 배열 인덱스를 이용하여 데이타를 엑세스한다. 큐브를 디스크에 저장할 때 각 변의 길이가 같은 작은 청크들로 조각내어 저장하게 되면 데이타 클러스터링 효과를 통해 모든 차원에 공평한 질의 처리 성능이 보장되며, 이러한 큐브 저장 방법을 ‘청크기반 MOLAP 큐브’ 저장 방법이라고 부른다. 공간 효율성을 높이기 위해 밀도가 낮은 청크들은 또한 압축되어 저장되는데 이 과정에서 데이타의 상대 위치 정보가 상실되며 원하는 청크들을 신속하게 엑세스하기 위해 인덱스가 필요하게 된다. 본 연구에서는 비트맵을 사용하여 청크기반 MOLAP 큐브를 인덱싱하는 방법을 제시한다. 인덱스는 큐브가 생성될 때 동시에 생성될 수 있으며, 인덱스 수준에서 청크들의 상대 위치 정보를 보존하여 청크들을 상수 시간에 검색할 수 있도록 하였고, 인덱스 블록마다 가능한 많은 청크들의 위치 정보가 포함되도록 하여 범위 질의를 비롯한 OLAP 주요 연산 처리 시에 인덱스 엑세스 회수를 크게 감소시켰다. 인덱스의 시간 공간적 효율성은 다차원 인덱싱 기법인 UB-트리, 그리드 파일과의 비교를 통해 검증하였다.

Research on Keyword-Overlap Similarity Algorithm Optimization in Short English Text Based on Lexical Chunk Theory

  • Na Li;Cheng Li;Honglie Zhang
    • Journal of Information Processing Systems
    • /
    • 제19권5호
    • /
    • pp.631-640
    • /
    • 2023
  • Short-text similarity calculation is one of the hot issues in natural language processing research. The conventional keyword-overlap similarity algorithms merely consider the lexical item information and neglect the effect of the word order. And some of its optimized algorithms combine the word order, but the weights are hard to be determined. In the paper, viewing the keyword-overlap similarity algorithm, the short English text similarity algorithm based on lexical chunk theory (LC-SETSA) is proposed, which introduces the lexical chunk theory existing in cognitive psychology category into the short English text similarity calculation for the first time. The lexical chunks are applied to segment short English texts, and the segmentation results demonstrate the semantic connotation and the fixed word order of the lexical chunks, and then the overlap similarity of the lexical chunks is calculated accordingly. Finally, the comparative experiments are carried out, and the experimental results prove that the proposed algorithm of the paper is feasible, stable, and effective to a large extent.

단위(Chunks) 분석과 의존문법에 기반한 한국어 구문분석 (Dependency Parsing by Chunks)

  • 김미영;강신재;이종혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.327-329
    • /
    • 2000
  • 기존의 구문분석 방법은 구구조문법과 의존문법에 기반한 것이 대부분이다. 이러한 구문분석은 다양한 분석 결과들이 분석되는 동안 많은 시간이 소요되며, 잘못된 분석 결과를 찾아 내어 삭제하기(pruning)도 어렵다. 본 논문은 구문분석에 필요한 의존문법을 적용하기 이전에, 단위화(Chunking) 방법을 사용하는 것을 제안한다. 이렇게 함으로써, 의존문법에 적용하는 차트의 수를 줄이게 되고, 의존관계의 설정 범위(scope)도 제한을 가할 수 있으며, 구문분석 속도 또한 빨라지게 된다.

  • PDF

A Corpus-based Lexical Analysis of the Speech Texts: A Collocational Approach

  • Kim, Nahk-Bohk
    • 영어어문교육
    • /
    • 제15권3호
    • /
    • pp.151-170
    • /
    • 2009
  • Recently speech texts have been increasingly used for English education because of their various advantages as language teaching and learning materials. The purpose of this paper is to analyze speech texts in a corpus-based lexical approach, and suggest some productive methods which utilize English speaking or writing as the main resource for the course, along with introducing the actual classroom adaptations. First, this study shows that a speech corpus has some unique features such as different selections of pronouns, nouns, and lexical chunks in comparison to a general corpus. Next, from a collocational perspective, the study demonstrates that the speech corpus consists of a wide variety of collocations and lexical chunks which a number of linguists describe (Lewis, 1997; McCarthy, 1990; Willis, 1990). In other words, the speech corpus suggests that speech texts not only have considerable lexical potential that could be exploited to facilitate chunk-learning, but also that learners are not very likely to unlock this potential autonomously. Based on this result, teachers can develop a learners' corpus and use it by chunking the speech text. This new approach of adapting speech samples as important materials for college students' speaking or writing ability should be implemented as shown in samplers. Finally, to foster learner's productive skills more communicatively, a few practical suggestions are made such as chunking and windowing chunks of speech and presentation, and the pedagogical implications are discussed.

  • PDF

무선 Content-Centric Network에서 효과적인 콘텐츠 전달 방식 (Efficient Content Delivery Method in Wireless Content-Centric Network)

  • 박찬민;김병서
    • 인터넷정보학회논문지
    • /
    • 제18권2호
    • /
    • pp.13-20
    • /
    • 2017
  • 최근 TCP/IP 네트워크를 대체할 잘 알려진 미래 인터넷 가술들 중에서 Content-Centric Network(CCN) 방식을 무선 환경에 적용시키려는 연구들이 활발하다. 그러나 무선 환경의 불안전한 채널과 높은 오류율은 기존의 CCN 개념을 도입하기에 다소 어려움이 존재한다. 본 논문에서는 이러한 문제점들 중, 노드들이 Content의 일부 chunk들만 저장하는 경우에 발생하는 Content Download Time 지연 문제에 대한 개선 방법을 논의한다. 본 논문에서 제안하는 프로토콜은 전체의 콘텐츠가 아닌 일부 chunk만을 소유하고 있는 노드들이 나머지 Chunk들을 콘텐츠 소비자로 부터의 부족한 Chunk에 대한 요청을 하여 부족한 Chunk를 채움과 동시에 콘텐츠 소비자에게 소유하고 있는 Chunk를 전달함으로써 더 빠르게 콘텐츠를 전달할 수 있게 한다.

Influence of Milk Co-precipitates on the Quality of Restructured Buffalo Meat Blocks

  • Kumar, Sunil;Sharma, B.D.;Biswas, A.K.
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제17권4호
    • /
    • pp.564-568
    • /
    • 2004
  • Restructuring had made it possible to utilize lower value cuts and meat trimmings from spent animals by providing convenience in product preparation besides enhancing tenderness, palatability and value. Milk co-precipitates (MCP) have been reported to improve the nutritional and functional properties of certain meat products. This study was undertaken to evaluate the influence of incorporation of milk co-precipitates at four different levels viz. 0, 10, 15 and 20% on the quality of restructured buffalo meat blocks. Low-calcium milk co-precipitates were prepared from skim milk by heat and salt coagulation of milk proteins. Meat chunks were mixed with the curing ingredients and chilled water in a Hobart mixer for 5 minutes, followed by addition of milk co-precipitates along with condiments and spice mix and again mixed for 5 minutes. Treated chunks were stuffed in aluminium moulds and cooked in steam without pressure for 1.5 h. After cooking, treated meat blocks were compared for different physico-chemical and sensory attributes. Meat blocks incorporated with 10% MCP were significantly better (p<0.05) than those incorporated with 0, 15 and 20% MCP in cooking yield, percent shrinkage and moisture retention. Sensory scores were also marginally higher for meat blocks incorporated with 10% MCP than product incorporated with 15 and 20% MCP, besides being significantly higher than control. On the basis of above results 10% MCP was considered optimum for the preparation of restructured buffalo meat blocks. Instrumental texture profile analysis revealed that meat blocks incorporated with 10% MCP were significantly better (p<0.05) in hardness/ firmness than control although, no significant (p>0.05) differences were observed in cohesiveness, springiness, gumminess and chewiness of both type of samples.

윈도우 서버 2012에서 데이터 중복 제거 기능이 적용된 파일의 복원 방법에 관한 연구 (A Study of Method to Restore Deduplicated Files in Windows Server 2012)

  • 손관철;한재혁;이상진
    • 정보보호학회논문지
    • /
    • 제27권6호
    • /
    • pp.1373-1383
    • /
    • 2017
  • 중복 제거는 데이터를 효과적으로 관리하여 저장 공간의 효율성을 높이기 위한 기능이다. 중복 제거 기능이 시스템에 적용되면 저장되어 있는 파일을 청크 단위로 분할하고 중복되는 부분은 하나의 청크로만 저장함으로써 저장 공간을 효율적으로 사용할 수 있게 한다. 하지만 중복 제거된 데이터에 대해 상용 디지털 포렌식 도구에서 파일시스템 해석을 지원하지 않으며, 도구로 추출된 원본 파일을 실행하거나 열람할 수 없는 상황이다. 따라서 본 논문에서는 중복 제거 기능을 적용할 수 있는 윈도우 서버 2012 시스템을 대상으로 청크 단위의 데이터를 생성하는 과정과 그 결과로 생성되는 파일의 구조를 분석하고, 기존 연구에서 다뤄지지 않은 청크가 압축되는 경우에 대해서도 분석결과를 도출하였다. 이러한 결과를 바탕으로 디지털 포렌식 조사에서 적용할 수 있는 수집 절차와 원본 파일로 재조합하기 위한 방법을 제시한다.

확장청크와 세분화된 문장부호에 기반한 중국어 최장명사구 식별 (Identification of Maximal-Length Noun Phrases Based on Expanded Chunks and Classified Punctuations in Chinese)

  • 백설매;이금희;김동일;이종혁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권4호
    • /
    • pp.320-328
    • /
    • 2009
  • 일반적으로 명사구는 기본명사구와 최장명사구로 분류되는데 최장명사구에 대한 정확한 식별은 문장의 전체적인 구문구조를 파악하고 정확한 지배용언을 찾아내는데 중요한 역할을 하게 된다. 본 논문에서는 확장된 청크(chunk) 개념과 다섯 개의 클래스로 세분화된 문장부호 정보를 자질로 사용한 두 단계 최장명사구 식별 기법을 제안한다. 제안한 기법은 기본모델보다 2.65% 향상된 평균 89.66%($F_1$-measure)의 우수한 성능을 보인다.