• International Journal of Computer Science & Network Security
• /
• 제24권7호
• /
• pp.31-44
• /
• 2024

The inverted index is combination of the keywords and posting lists associated for indexing of document. In modern age excessive use of technology has increased data volume at a very high rate. Big data is great concern of researchers. An efficient Document indexing in big data has become a major challenge for researchers. All organizations and web engines have limited number of resources such as space and storage which is very crucial in term of data management of information retrieval system. Information retrieval system need to very efficient. Inverted indexing technique is introduced in this research to minimize the delay in retrieval of data in information retrieval system. Inverted index is illustrated and then its issues are discussed and resolve by implementing the scalable inverted index. Then existing algorithm of inverted compared with the naïve inverted index. The Interval list of inverted indexes stores on primary storage except of auxiliary memory. In this research an efficient architecture of information retrieval system is proposed particularly for unstructured data which don't have a predefined structure format and data volume.

• 한국IT서비스학회지
• /
• 제7권3호
• /
• pp.145-157
• /
• 2008

The existing XML storage methods which use relational data model, usually store path information for every node type including literal contents in order to keep the structural information of XML documents. Such path information is usually maintained by an inverted index to efficiently process XPath queries for large XML documents. In this study, We propose an improved approach that retrieve information from the large volume of XML documents stored in a relational database, while using a segment-based inverted index for path searches. Our new approach can reduce the number of searching an inverted index for getting target path information. We show the effectiveness of this approach through several experiments that compare XPath query performance with the existing methods.

• 한국정보과학회논문지:데이타베이스
• /
• 제30권1호
• /
• pp.27-40
• /
• 2003

XML 정보검색 시스템이 XML 문서에 대한 포함질의를 지원하기 위해서는 기존의 정의검색 분야에서 널리 쓰이는 역색인 기법을 XML 문서에 대해서도 적용이 가능하도록 확장해야 한다. 본 논문에서는 확장된 역색인 정보를 저장하고 XML 문서에 대한 포함질의를 처리하는 방법을 이전 연구에서와 같이 두 가지 관점에서 제시한다. 하나는 관계형 데이타베이스 관리 시스템(RDBMS)을 이용해서 역색인 정보를 저장하고 질의를 처리하는 방법이고 다른 하나는 RDBMS 대신 역 리스트 엔진(Inverted List Engine)을 이용하는 방법이다. 이전 연구에서 역색인을 확장한 방식은 두 가지 문제점이 존재한다. 하나는 RDBMS를 이용하는 방법이 역 리스트 엔진을 이용하는 방법에 비해 성능 상으로 많이 안 좋다는 점이고, 다른 하나는 RDBMS 상에서 포함질의를 처리 시, 질의의 경로길이에 비례해서 조인연산이 증가하고 조인연산도 크기가 큰 테이블간의 조인이 된다는 점이다. 본 논문에서는 이러한 문제점들을 해결하고자 이전연구와는 다르게 역색인을 확장하여 RDBMS를 이용하는 방법의 효율성을 밝힌다.

• 한국정보과학회논문지:데이타베이스
• /
• 제33권1호
• /
• pp.12-31
• /
• 2006

n-gram 기반 역색인 구조는 언어 중립적이고 에러 허용적인 장점들로 인해 일부 아시아권 언어에 대한 정보 검색이나 단백질과 DNA의 sequence의 근사 문자열 매칭에 유용하게 사용되고 있다. 그러나, n-gram 기반의 역색인 구조는 색인의 크기가 크고 질의 처리 시간이 오래 걸린다는 단점들을 가지고 있다. 이에 본 논문에서는 n-gram 기반 역색인의 장점을 그대로 유지하면서 색인의 크기를 줄이고 질의 처리 성능을 향상시킨 2단계 n-gram 역색인(간단히 n-gram/2L 역색인이라 부른다)을 제안한다. n-gram/2L 역색인은 n-gram 기반 역색인에 존재하던 위치 정보의 중복을 제거한다. 이를 위해 문서로부터 길이 m의 m-subsequence들을 추출하고, 그 m-subsequence들로부터 n-gram을 추출하여 2단계로 역색인을 구성한다. 이러한 2단계 구성 방법은 이론적으로 의미 있는 다치 종속성이 존재하는 릴레이션을 정규화하여 중복을 제거하는 것과 동일하며, 이를 본문에서 정형적으로 증명한다. n-gram/2L 역색인은 데이타의 크기가 커질 수록 n-gram 역색인에 비해 색인 크기가 줄어들며 질의 처리 성능이 향상되고, 질의 문자열의 길이가 길어져도 질의 처리 시간이 거의 증가하지 않는 좋은 특성을 가진다. 1GByte 크기의 데이타에 대한 실험을 통하여, n-gram/2L 역색인은 n-gram 기반 역색인에 비해 최대 1.9${\~}$2.7배 더 작은 크기를 가지면서, 동시에 질의 처리 성능은 3${\~}$18 범위의 길이를 가지는 질의들에 대해 최대 13.1배 향상됨을 보였다.

• 정보과학회 논문지
• /
• 제42권10호
• /
• pp.1247-1253
• /
• 2015

유사도 검색에서는 효율적으로 유사성을 만족하는 문자열을 찾기 위해서 데이터에 대한 역 색인을 구축하여 이용한다. 일반적으로 기존의 기법들은 빠른 응답속도의 질의처리를 위해서 역 색인을 메모리에 상주시킨다. 하지만 구축된 역 색인은 그 크기가 매우 크다는 문제점을 가지고 있다. 따라서 데이터의 크기가 매우 큰 경우나 자원이 제약적인 환경에서는 역 색인을 이용한 질의처리가 불가능할 수 있다. 본 논문에서는 동일한 q-그램을 포함하는 문자열들이 서로 인접한 위치가 되도록 재배치시킨 후 해당 문자열들을 범위로 표현한다. 실험을 통하여 질의처리의 성능을 희생하지 않으면서도 색인의 크기가 줄어드는 것을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권4호
• /
• pp.171-180
• /
• 2016

트위터와 같은 소셜 네트워킹 서비스(social networking service)의 확산으로 스트림 형태의 데이터가 크게 증가하고 있다. 스트림 형태로 들어와 누적되는 데이터를 효율적으로 검색하기 위해서는 색인이 반드시 필요하다. 본 논문에서는 스트림 형태로 들어와 계속 누적되는 데이터에 대한 키워드 검색을 효율적으로 할 수 있게 해주는, 효율적인 갱신이 가능한 디스크 기반 역색인(inverted index) 구조를 제안한다. 데이터 스트림을 검색하기 위해서는 데이터의 유입에 따라 역색인을 계속해서 갱신해 주어야 한다. 전통적인 역색인을 사용하는 경우, 역색인을 갱신하기 위해서는 매번 디스크에 저장된 모든 색인 데이터를 읽고 다시 써야 하므로 디스크 I/O 측면에서 매우 비효율적이다. 이러한 문제를 해결하기 위해 본 논문에서는 역색인을 크기가 지수적으로 증가하는 여러 역색인들로 나누어 저장한다. 새로운 데이터가 들어오면 우선 가장 작은 크기의 역색인에 삽입하고, 작은 크기의 역색인들을 더 큰 크기를 가진 역색인들과 나중에 병합함으로써 평균적으로 역색인을 갱신하는 비용을 크게 낮춘다. 또한 디스크에 저장된 역색인들을 병합할 때 발생하는 디스크 I/O 비용을 최소화함으로써 역색인의 갱신 비용을 더욱 낮춘다. 다양한 실험을 통해 기존 방법과 제안 방법의 효율성을 비교하고, 제안 방법이 갱신 비용에 있어 기존 방법에 비해 훨씬 효율적임을 보인다.

• 정보처리학회논문지B
• /
• 제15B권4호
• /
• pp.355-364
• /
• 2008

XML로 대표되는 구조화된 문서의 검색을 위해서는 구조 조인 기법이 많이 사용되며 구조 조인 기법을 사용하기 위해서는 구조 조인에 참여하는 엘리먼트들을 추출하는 과정이 선행되어야 한다. 이 과정을 위해서 일반적으로 동일한 태그 값을 가지는 엘리먼트들을 리스트 형태로 추출해 주는 역색인을 사용한다. 하지만 이러한 기존의 기법은 경로 질의 내의 부모-자식 관계나 조상-후손 관계를 비교적 비용이 비싼 구조 조인으로 모두 처리해야 하기 때문에 경로의 길이가 길어질수록 질의 처리 비용이 크게 증가하는 단점을 가지고 있다. 본 논문에서는 기존의 역색인과는 달리 엘리먼트 추출과정에서 부모-자식 관계에 있는 엘리먼트들을 처리할 수 있는 단계별 역색인을 제안한다. 본 논문에서 제안하는 단계별 역색인은 경로 질의 내의 부모-자식 관계를 가지는 엘리먼트 쌍(pair)들의 리스트를 추출해 준다. 또한 단계별 역색인으로부터 추출된 엘리먼트 쌍들의 리스트를 처리하기 위해 기존의 구조 조인과는 다른 변형된 구조 조인 기법을 제안하며 실험을 통해 제안된 기법이 기존의 기법보다 2배에서 4배 가량의 성능향상이 있는 것을 확인하였다.

• 산업경영시스템학회지
• /
• 제41권2호
• /
• pp.174-183
• /
• 2018

In the industrial fields, the process capability index has been using to evaluate the variation of quality in the process. The traditional process capability indices such as $C_p$, $C_{pk}$, $C_{pm}$ and $C^+_{pm}$ have been applied in the industrial fields. These traditional process capability indices are mainly applied in the univariate analysis. However, the main streams in the recent industry are the multivariate manufacturing process and the multiple quality characteristics are corrected each other. Therefore, the multivariate statistical method should be used in the process capability analysis. The multivariate process indices need to be enhanced with more useful information and extensive application in the recent industrial fields. Hence, the purpose of the study is to develop a more effective multivariate process index ($MC_{pI}$) using the multivariate inverted normal loss function. The multivariate inverted normal loss function has the flexibility for the any type of the symmetrical and asymmetrical loss functions as well as the economic information. Especially, the proposed modeling method for the multivariate inverted normal loss function (MINLF) and the expected loss from MINLF in this paper can be applied to the any type of the symmetrical and asymmetrical loss functions. And this modeling method can be easily expanded from a bivariate case to a multivariate case.

• 한국멀티미디어학회논문지
• /
• 제11권7호
• /
• pp.905-913
• /
• 2008

최근 XML(Extensible Markup Language) 사용의 증가와 함께 다량의 이질적 구조를 가진 XML문서들이 이용되고 있으며, 이러한 XML문서들의 효율적인 관리를 위해 데이터 저장 구조에 대한 연구의 필요성이 증가하고 있다. 이에 따라 본 논문에서는 이들 XML 문서들의 효율적인 관리를 위하여 분할된 역 인덱스 테이블에서 부모노드의 정보를 이용하여 질의를 처리하는 방법을 제안한다. 이질적 구조를 가진 대규모의 문서들에 대한 질의 처리 횟수와 처리 데이터 량은 검색 성능에 큰 영향을 주기 때문에 데이터 구조를 설계할 때에 이 두 가지 요소들을 신중히 고려해야 한다. 제안된 방법은 부모 노드의 정보를 이용하여 선형 경로 질의를 위한 질의 처리 횟수를 반감시키고, 역 인덱스 테이블을 XML 트리의 깊이에 따라 적절히 분할하여 탐색 대상이 되는 데이터의 양을 줄이기 때문에 XML 문서에 대한 검색 성능을 향상시킨다. 제안하는 방법의 효율성을 입증하기 위해 인터넷에서 수집한 XML 문서들에 대한 XPath 질의 처리 성능이 기존의 역 색인 기법들에 비해 우수함을 보인다.

• 한국콘텐츠학회논문지
• /
• 제10권2호
• /
• pp.54-62
• /
• 2010

역파일 인덱스 구조는 대용량 텍스트 데이터의 색인저장 기법을 위한 효율적인 데이터 구조로 널리 활용 되고 있다. 특히, 최근 이슈가 되고 있는 온라인 색인관리 측면에서는 동적 검색 환경에 적합한 In-Place 방식과 Merge-based 색인 방식이 주로 사용 되고 있다. 위 방법들의 핵심은 검색 처리시간을 줄이기 위해서 포스팅 정보의 저장 연속성(Contiguity)을 보장하면서 동시에 색인정보 관리(Index Maintenance) 시간을 최소화 하기위한 색인저장 구조에 중점을 두고 연구가 진행 되었다. 그러나 최근 기존 저장장치(HDD)와 근본적으로 구조가 다른 새로운 저장장치(SSD, SCRAM)가 데이터 저장소로 이용되면서 이러한 장치들의 특성을 효과적으로 활용할 수 있는 새로운 형태의 색인저장 기법 또한 필요하게 되었다. 따라서 본 논문에서는 새로운 저장장치의 빠른 접근 속도(Low access latency) 특성을 최대한 활용할 수 있는 분할(Segmentation) 포스팅 구조를 기반으로 새로운 저장장치에 적합하도록 변형된 In-Place 방식(Pulsing)과 수정된 Merge-based 방식(Merging)을 혼합하여 검색 처리시간 및 색인정보관리시간을 크게 향상시킬 수 있는 새로운 색인저장 구조(SPM)를 제안한다.