• Journal of the Korean Society for information Management
• /
• v.16 no.4
• /
• pp.75-94
• /
• 1999

Indexing is a prerequisite function for the information retrieval system in order to retrieve the information of the documents effectively which are saved in database. As a digital data increases in accordance with the development of a computer, the numbers of literatures to be saved in database have also been increased in a large volume. To retrieve such documents of large volume, a lot of system resources and processing time will be required. In this paper, we suggest a advanced indexing method using text partition. This method can retrieve the documents of large volume in short processing time. We applied this suggested indexing method to real information retrieval system, and proved its excellent functions through the demonstration.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.166-168
• /
• 2004

행정기관의 전자문서는 정부의 공문서 표준 DTD 및 XML 문법에 따라 작성되고 있으나. 일반 문서와 동일하게 정부의 디렉토리시스템에 문서 단위로 저장 관리되고 있다 그러나 구조 정보를 포함하고 있는 XML 문서를 보다 효과적으로 활용하기 위해서는 논리구조 단위로 정보를 저장 관리할 필요가 있다. 본 논문은 행정기관 전자문서의 특성을 파악하여 데이터베이스로 저장할 때 적합한 모델을 제안한다. 대부분의 행정기관이 사용하고 있는 관계 데이터베이스시스템(RDBMS)을 사용하였고. 데이터 중심과 문서내용 중심의 성격을 동시에 가지는 행정기관 전자문서의 특성을 고려하였다. 제안하는 저장 모델은 메타데이터를 표현하는 부분은 정적인 테이블을 사용하여 구조정보와 내용을 항께 저장하고, 문서 내용 중심의 본문 부분은 분할하지 않고 저장하는 변형된 분할 저장 방식이다. 제안하는 저장 모델을 활용하면 기존 RDBMS로 개발된 여러 응용 시스템과의 연동이 가능하고, XML 데이터 저장/검색을 위한 새로운 데이터베이스시스템의 구입 없이 행정기관에서 XML 전자문서를 효율적으로 관리할 수 있는 장정이 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04a
• /
• pp.548-550
• /
• 2003

본 논문에서는 관계형 데이터베이스를 이용하여 XML 문서를 효과적으로 검색 및 갱신을 수행할 수 있는 데이터 저장 모델을 제안한다. 저장 시스템의 스키마는 DTD 독립적인 형태를 채택하였고, 가상 분할 모델과 분할 모델의 장점을 취합한 혼합형태로 설계하였다. 본 시스템에서는 엘리먼트 추가 또는 삭제시 문서의 구조정보 변경으로 인한 변경사항 발생을 방지하기 위하여 타 노드의 위치정보와 독립적인 position id를 사용하였다.

• Journal of Internet Computing and Services
• /
• v.9 no.1
• /
• pp.103-113
• /
• 2008

Vast amount of XML documents raise interests in how they will be used and how far their usage can be expanded, This paper has two central goals: 1) easy and fast retrieval of XML documents or relevant elements; and 2) efficient and stable management of large-size XML documents, The keys to develop such a practical system are how to segment a large XML document to smaller fragments and how to store them. In order to achieve these goals, we designed SCOF(Service-centric Object Fragmentation) model, which is a semi-decomposition method based on conversion rules provided by XML database managers. Keyword-based search using SCOF model then retrieves the specific elements or attributes of XML documents, just as typical XML query language does. Even though this approach needs the wisdom of managers in XML document collection, SCOF model makes it efficient both retrieval and management of massive XML documents.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10c
• /
• pp.340-342
• /
• 2000

웹 캐쉬는 자주 쓰이는 웹 문서를 복제함으로써 네트웍 혼잡, 서버 부하, 문서 도착 시간을 줄이는데 목적을 둔다. 웹 캐쉬에서 중요한 이슈 중에 하나인 제한된 저장 공간을 어떻게 사용할 것인가에 대한 연구로서 분할 캐쉬 접근 방법이 있다. 분할 캐쉬는 캐쉬 저장 공간을 여러 개의 분할된 영역으로 나눔으로써, 이질적인 웹 상의 객체를 동종의 데이터 집합으로 나누어서 각각의 분할 영역에서 다루도록 할 수 있게 한다. 실험적 연구 결과는 분할 캐쉬가 기존의 캐쉬 저장 공간을 관리하는 교체 알고리즘보다 우수한 성능을 보여준다는 것을 증명하고 있다. 그러나 기존의 분할 캐쉬에서는 각각의 분할 영역에서 동일한 교체 알고리즘을 사용하였다. 본 연구는 각각의 분할 영역에 다양한 교체 알고리즘을 적용하는 실험을 하고, 이 실험결과에 기반 하여 웹 상에서의 분할 캐쉬를 위한 최적 교체 알고리즘을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.293-296
• /
• 2000

본 논문에서는 주제어 인식에 기반한 문서영상의 검색 및 색인 시스템에 적용하기 위한 단어 단위 분한 시스템을 제안한다. 제안 시스템은 영상 전처리, 문서 구조 분석을 통해 추출된 텍스트 영역을 입력으로 단어 단위 분할을 수행하는데, 텍스트 영역에 대해 텍스트 라인을 분할하고 분할된 텍스트 라인을 단어 단위로 분할하는 계층적 접근 방법을 사용한다. 텍스트라인 분할은 수평 방향 투영 프로파일을 적용하여 분할 지점을 구한다. 그리고 단어 분할은 연결요소들을 추출한 후 연결요소간의 gap 정보를 구하고, gap 군집화 기법을 사용하여 단어 단위 분한 지점을 구한다. 이때 단어 단위 분할의 성능을 저하시키는 특수기호에 대해서는 휴리스틱 정보를 이용하여 검출한다. 제안 시스템의 성능 평가는 50개의 텍스트 영역에 적용하여 99.83%의 정확도를 얻을 수 있었다.

• The KIPS Transactions:PartB
• /
• v.16B no.5
• /
• pp.377-384
• /
• 2009

A new algorithm in order to classify various contents in the image documents, such as text, figure, graph, table, etc. is proposed in this paper by classifying contents using texture-based PCA, and by segmenting document images using local entropy-based histogram. Local entropy and histogram made the binarization of image document not only robust to various transformation and noise, but also easy and less time-consuming. And texture-based PCA algorithm for each segmented region was taken notice of each content in the image documents having different texture information. Through this, it was not necessary to establish any pre-defined structural information, and advantages were found from the fact of fast and efficient classification. The result demonstrated that the proposed method had shown better performances of segmentation and classification for various images, and is also found superior to previous methods by its efficiency.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.27 no.6A
• /
• pp.575-583
• /
• 2002

JBIG2 is an International Standard fur compression of Bi-level images and documents. JBIG2 supports three encoding modes for high compression according to region features of documents. One of which is generic region coding for bitmap coding. The basic bitmap coder is either MMR or arithmetic coding. Pattern matching coding method is used for text region, and halftone pattern coding is used for halftone region. In this paper, a document is segmented into line-art, halftone and text region for JBIG2 encoding and JBIG2 CODEC is implemented. For efficient region segmentation of documents, region segmentation method using wavelet coefficient is applied with existing boundary extraction technique. In case of facsimile test image(IEEE-167a), there is improvement in compression ratio of about 2% and enhancement of subjective quality. Also, we propose arbitrary shape halftone region coding, which improves subjective quality in talc neighboring text of halftone region.

• Journal of KIISE:Computing Practices and Letters
• /
• v.14 no.4
• /
• pp.412-429
• /
• 2008

As the amount of electronic documents increases rapidly with the growth of the Internet, a parallel search engine capable of handling a large number of documents are becoming ever important. To implement a parallel search engine, we need to partition the inverted index and search through the partitioned index in parallel. There are two methods of partitioning the inverted index: 1) document-identifier based partitioning and 2) keyword-identifier based partitioning. However, each method alone has the following drawbacks. The former is convenient in inserting documents and has high throughput, but has poor performance for top h query processing. The latter has good performance for top-k query processing, but is inconvenient in inserting documents and has low throughput. In this paper, we propose a hybrid partitioning method to compensate for the drawback of each method. We design and implement a parallel search engine that supports the hybrid partitioning method using the Odysseus DBMS tightly coupled with information retrieval capability. We first introduce the architecture of the parallel search engine-Odysseus/parallel-OOSQL. We then show the effectiveness of the proposed system through systematic experiments. The experimental results show that the query processing time of the document-identifier based partitioning method is approximately inversely proportional to the number of blocks in the partition of the inverted index. The results also show that the keyword-identifier based partitioning method has good performance in top-k query processing. The proposed parallel search engine can be optimized for performance by customizing the methods of partitioning the inverted index according to the application environment. The Odysseus/parallel OOSQL parallel search engine is capable of indexing, storing, and querying 100 million web documents per node or tens of billions of web documents for the entire system.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05a
• /
• pp.497-500
• /
• 2003

문서에 여러 가지 화제가 혼합되어 있는 문서에서 화제의 실마리 부분을 특정화하여 각 화제별 단락을 추출하는 기술은 정보검색 분야에서 중요한 역할을 담당하는 기술이다. 잘 정의된 분야체계에 따라 구축된 분야연상어를 이용하여 단락분할을 시도한다. 분야연상어는 특정한 분야를 정확하게 연상할 수 있는 단어로서 잘 분류된 문서 컬렉션에서 구축할 수 있다. 이 분야연상어를 이용하여 문서를 관련된 분야변로 추출하여 의미기반 단락추출 방법을 제안한다. 화제의 계속성에 주목하여 분야연상어의 수준(범위)이나 연속출현성에 의해 계산된 계속도에 의해 화제의 실마리를 추적하고, 화제의 전환성을 고려한 방법을 제안한다. 문서 내 각 화제의 단락구분을 명확히 하여, 단락을 화제분야별로 추출하는 방법을 제안한다. 50문서를 실험한 결과 82%의 정확율과 63%의 재현율을 얻어 실용성을 기대할 수 있다.