• 제목/요약/키워드: 인덱싱

검색결과 449건 처리시간 0.027초

효과적인 RAG Document Data 구조화 전략 (Effective RAG Document Data Structuring Strategy)

  • 손영진;임유경;박민정;채상미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.807-809
    • /
    • 2024
  • 대규모 언어 모델의 발전은 텍스트 생성 및 정보 제공 분야에서 큰 진전을 이루었으며 사용자와의 원활한 소통을 가능하게 했다. 그러나 언어 모델은 특화된 정보 제공에 한계를 가지며 때때로 부정확한 정보를 생성할 수 있다. RAG(Retrieval-Augmented Generation) 기법은 이러한 한계를 극복하기 위해 제안되었다. 본 연구에서는 RAG 의 답변품질과 효율성을 높이기 위해 외부 문서 정보와 단어 단위로 카테고리화된 인덱싱 데이터 세트를 함께 제공하여 보다 정확하고 신뢰성 있는 문서 생성을 가능하게 하는 접근법을 제시한다.

도로 네트워크 데이터베이스를 위한 근사 인덱싱 (Approximate Indexing in Road Network Databases)

  • 이상철;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.61-62
    • /
    • 2007
  • 본 논문에서는 도로 네트워크 데이터베이스에서 k-최근접 이웃 질의를 효율적으로 처리하기 위한 방안에 대하여 논의한다. 네트워크 거리는 삼각형 부등식 성질(triangular inequality property)을 만족하지 못하므로 기존의 기법들은 네트워크 거리를 기반으로 하는 인덱스를 사용하지 않았다. 이러한 기법들은 질의 처리 시 심각한 성능 저하의 문제를 가진다. 사전 계산된 네트워크 거리를 이용하는 또 다른 기법은 저장 공간의 오버헤드가 크다는 문제를 갖는다. 본 논문에서는 이러한 두 가지 문제점들을 동시에 해결하기 위하여 객체들 간의 네트워크 거리를 근사하여 객체들에 대한 인덱스를 구축하고, 이를 이용하여 k-최근접 이웃 질의를 처리하는 새로운 기법을 제안한다. 실제 도로 네트워크를 이용한 정확도 검증 실험을 통하여 제안된 기법의 우수성을 규명한다.

키워드 기반 전문 검색을 이용한 Access Grid에서의 효과적인 데이터 공유 방안 (Effective Method for Data Sharing on Access Grid Using Keyword-Based Fulltext Retrieval)

  • 오헌;김진승;이영구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.799-801
    • /
    • 2007
  • 앞으로 다가올 유비쿼터스 컴퓨팅 환경에서는 일상생활 어디에서든지 컴퓨팅이 가능해질 것으로 예상되며, 원격지의 상대방과의 상호작용이 다양한 형태로 발전할 것으로 예상된다. 이를 지원하기 위하여 유비쿼터스 환경에서의 다자간 인터랙티브 협업 시스템들이 연구되고 있다. 그런데, 현재 개발된 다자간 협업 환경 시스템에서는 자료를 공유하는데 있어서, 데이터에 대한 인덱싱과 검색에 비중을 두지 않고 있다. 공유 데이터는 늘어나는 반면, 그것을 효과적으로 검색할 수 있는 방법이 마련되지 않아 데이터를 공유하고 활용하는 효율성이 떨어질 것이 예상됨에 따라서 키워드 검색 기반으로 데이터를 검색할 수 있는 방법을 마련하고자 한다.

통합된 비디오 인덱싱 방법을 이용한 내용기반 비디오 데이타베이스의 설계 및 구현 (Design and Implementation of Content-based Video Database using an Integrated Video Indexing Method)

  • 이태동;김민구
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권6호
    • /
    • pp.661-683
    • /
    • 2001
  • 오늘날 멀티미디어 정보의 양이 매우 빠른 속도로 증가함에 따라 비디오 데이타베이스에 대한 효율적인 관리는 더욱 중요한 의미를 가지게 되었다. 그리고 초고속 정보통신망과 디지털 기술의 발전은 비디오 데이타를 통신 및 컴퓨터와 결합하여 새로운 멀티미디어로 발전하고 있으며, 인터넷 방송, 주문형 비디오(VOD) 등에 크게 활용하고 있다. 비디오는 대용량적인 특성과 비정형적인 특성을 가지고 있으므로 신속하고 효율적으로 비디오를 검색하기 위해 비디오의 정확한 특징정보를 추출하여 비디어 데이타베이스를 구축하여야 한다. 비디오 데이타베이스는 텍스트 기반의 전통 데이타베이스와는 다른 모델링 방법과 검색방법을 사용한다. 따라서, 비디오 데이타베이스에서의 검색속도와 정확도를 향상시키기 위해서는 새로운 비디오 데이타베이스 생성기법과 효율적인 검색기법이 필요하다. 본 논문에서는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적할 수 있는 내용기반 비디오 데이타베이스의 구축 방안과 생성기법을 제시하였다. 그리고 제안된 비디오 데이타베이스의 구축 방안과 생성기법을 사용하여 새로운 인터넷 방송 프로그램 컨텐츠 제작에 활용할 수 있는 비디오 데이타베이스를 구현하였다. 이를 위해 비디오 분할과 대표키 프레임 추출 시 비디오의 의미적 구조와 사전 제작지식정보의 상호관계를 기반으로 하여 비디오 데이타의 특징정보를 추출하고, 검색할 수 있도록 주석기반 검색과 내용기반 검색을 통합한 비디오 인덱싱 방법을 제시하였다. 통합된 비디오 인덱싱 방법은 비디오의 하위 레벨에 표현된 내용기반 메타데이타 유형과 비디오의 특징정보 추출이 어려운 상위 레벨에 표현된 주석기반 메타데이타 유형을 동시에 이용하므로 컨텐츠 검색의 성능을 향상시킬 수 있다. 마지막으로 본 논문에서 제시한 비디오 데이타베이스는 비디오의 의미적 구조와 사전 제작지식정보를 구조적으로 축적하여 데이타베이스를 구축하므로 정확한 인터넷 방송 컨텐츠 정보의 축적관리와 구축작업의 효율화가 가능하며, 또한 인터넷 방송 컨텐츠 제작 시 정보공유 및 재이용이 가능하므로 새로운 컨텐츠 제작의 효율성을 높일 수 있다.

  • PDF

형태학과 문자의 모양을 이용한 뉴스 비디오에서의 자동 문자 추출 (Automatic Text Extraction from News Video using Morphology and Text Shape)

  • 장인영;고병철;김길천;변혜란
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권4호
    • /
    • pp.479-488
    • /
    • 2002
  • 최근 들어 인터넷 사용의 증가와 더불어 디지털 비디오의 수요 또한 급격히 증가하고 있는 추세이다. 따라서 디지털 비디오 데이타베이스의 인덱싱을 위한 자동화된 도구가 필요하게 되었다. 디지털비디오 영상에 인위적으로 삽입되어진 문자와 배경에 자연적으로 포함되어진 배경문자 등의 문자 정보는 이러한 비디오 인덱싱을 위한 중요한 단서가 되어질 수 있다. 본 논문에서는 뉴스 비디오의 정지 영상에서 뉴스 자막과 배경 문자를 추출하기 위한 새로운 방법을 제안한다. 제안된 알고리즘은 다음과 같이 세 단계로 구성된다. 첫 번째 전처리 단계에서는 입력된 컬러 영상을 명도 영상으로 변환하고, 히스토그램 스트레칭을 적용하여 영상의 수준을 향상시킨다. 이 영상에 적응적 임계값 추출에 의한 분할 방법을 수정 적용하여 영상을 분할한다. 두 번째 단계에서는 적응적 이진화가 적용된 결과 영상에 모폴로지 연산을 적절하게 사용하여, 우선 문자 영역은 아니면서 문자로 판단되기 쉬운 양의 오류(false-positive) 요소들이 강조되어 남아있는 영상을 만든다. 또한, 변형된 이진화 결과 영상에 모폴로지 연산과 본 논문에서 제안한 기하학적 보정(Geo-corrertion) 필터링 방법을 적용하여 문자와 문자로 판단되기 쉬운 요소들이 모두 강조되어 남아있는 영상을 만든다. 이 두 영상의 차를 구함으로서 찾고자 하는 문자 요소들이 주로 남고, 문자가 아닌 문자처럼 보이는 오류 요소들은 대부분 제거된 결과 영상을 만든다. 문자로 판단되는 양의 오류 영역들을 남기는데 사용된 모폴로지 연산은 3$\times$3 크기의 구조 요소를 갖는 열림과 (열림닫힘+닫힘열림)/2 이며, 문자 및 문자와 유사한 요소들을 남기는데 사용된 연산은 (열림닫힘+닫힘열림)/2와 기하학적 보정이다. 세 번째 검증 단계에서는 전체 영상 화소수 대비 각 후보 문자 영역의 화소수 비율, 각 후보 문자 영역의 전체 화소수 대비 외곽선의 화소수 비율, 각 외곽 사각형의 폭 대 높이간의 비율 등을 고려하여 비문자로 판단되는 요소들을 제거한다. 임의의 300개의 국내 뉴스 영상을 대상으로 실험한 결과 93.6%의 문자 추출률을 얻을 수 있었다. 또한, 본 논문에서 제안한 방법으로 국외 뉴스, 영화 비디오 등의 영상에서도 좋은 추출을 보임을 확인할 수 있었다.

계층적 행정 구역에 기반한 효율적인 위치 정보 표현 방식 (An Efficient Location Encoding Method Based on Hierarchical Administrative District)

  • 이상윤;박상현;김우철;이동원
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.299-309
    • /
    • 2006
  • 최근 이동 통신 기술의 급속한 발달로 인해 휴대폰, PDA등과 같은 휴대용 단말기의 사용이 보편화 되고 있다. 따라서 무선 이동기기의 시간에 따른 공간적인 위치 정보를 활용하여 다양하고 빠른 서비스를 제공하기 위해서 위치 기반 서비스(Location-Based Service)에 관한 많은 연구가 진행되고 있다. 효율적인 위치 기반 서비스의 제공을 위하여 시간에 따라 지속적으로 변하는 이동 객체의 대용량 시공간 정보를 신속하게 저장, 관리, 검색할 수 있는 인덱싱 및 질의 처리 기술이 수반되어야 한다. 본 논문에서는 대용량 이동 객체 데이타베이스를 대상으로 효율적인 인덱스 구축을 위한 위치 정보의 압축 표현 방식에 대하여 논한다. 이를 위해 본 논문에서는 기존의 주요 연구에서 (x,y) 형태의 2차원 공간 좌표로 표현되던 이동 객체의 위치 정보를 계층적 구조를 갖는 행정 구역과 도로 상의 위치를 이용하여 1차원의 위치 정보로 압축 표현하는 방식을 제안한다. 이를 이용해 도로를 따라 움직이는 이동 객체에 대해 위치 정보의 손실 없이 효율적인 위치 기반 서비스를 제공할 수 있다 또, 일정 공간 내의 객체 분포를 필요로 하는 교통 상황 파악, 근사적(approximate) 공간 정보를 필요로 하는 사람 차량 위치 추적 등에 유용하게 사용할 수 있다.

시퀀스 데이터베이스에서 타임 워핑을 지원하는 효과적인 인덱스 기반 서브시퀀스 매칭 (An Index-Based Approach for Subsequence Matching Under Time Warping in Sequence Databases)

  • 박상현;김상욱;조준서;이헌길
    • 정보처리학회논문지D
    • /
    • 제9D권2호
    • /
    • pp.173-184
    • /
    • 2002
  • 본 논문에서는 대용량 시퀀스 데이터베이스에 타임 워핑을 지원하는 인덱스 기반 서브시퀀스 매칭에 관하여 논의한다. 타임 워핑은 시퀀스의 길이가 서로 다른 경우에도 유사한 패턴을 갖는 시퀀스들을 찾을 수 있도록 해준다. 최근의 연구에서 타임 워핑을 지원하는 효과적인 전체 매칭 기법을 제안된바 있다. 이 기법은 데이터 시퀀스들로부터 타임 워핑에 영향을 받지 않는 특징 벡터들의 집합을 대상으로 인덱스를 구성한다. 또한, 특징 공간상에서의 필터링을 위하여 삼각형 부등식을 만족하는 타임 워핑 거리의 하한 함수를 사용한다. 본 연구에서는 이 기존의 연구에 슬라이딩 윈도우를 기반으로 하는 접두어-질의 방법을 결합하는 새로운 기법을 제안한다. 인덱싱을 위하여 각 슬라이딩 윈도우와 대응되는 서브 시퀀스로부터 특징 벡터를 추출하고, 이 특징 벡터를 인덱싱 애트리뷰트로 사용하는 다차원 인덱스를 구성한다. 질의 처리를 위하여, 조건을 만족하는 질의 접두어들에 대한 특징 벡터들을 이용하여 다수의 인덱스 검색을 수행한다. 제안된 기법은 대용량의 데이터베이스에서도 효과적인 서브시퀀스 매칭을 지원한다. 본 연구에서는 제안된 기법이 착오 기각을 유발시키지 않음을 증명한다. 제안된 기법의 우수성을 규명하기 위하여 다양한 실험을 수행한다. 실험 결과에 따르면, 제안된 기법은 실제 S&P 500 주식 데이터와 대용량의 생성 데이터 모두에 대하여 큰 성능 개선 효과를 보이는 것으로 나타났다.

DNA 시퀀스 데이타베이스를 위한 실용적인 유사 서브 시퀀스 검색 기법 (A Practical Approximate Sub-Sequence Search Method for DNA Sequence Databases)

  • 원정임;홍상균;윤지희;박상현;김상욱
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권2호
    • /
    • pp.119-132
    • /
    • 2007
  • 유사 서브 시퀀스 검색은 분자 생물학 분야에서 사용되는 매우 중요한 연산이다. 본 논문에서는 대규모 DNA 시퀀스 데이타베이스를 처리 대상으로 하여 효율성과 정확도를 보장하는 실용적인 유사 서브 시퀀스 검색 기법을 제안한다. 제안된 기법은 이진 트라이를 인덱스 구조로 채택하여 DNA 시퀀스로부터 추출한 일정 길이의 윈도우 서브 시퀀스를 인덱싱 대상으로 한다. 유사 서브 시퀀스 검색 알고리즘은 기본적으로 다이나믹 프로그래밍 기법에 근거하여 이진 트라이를 루트로부터 너비 우선(breadth-first)방식으로 운행하며, 경로 상에 존재하는 모든 유사 서브 시퀀스를 검색해 낸다. 그러나 질의 길이가 윈도우의 크기보다 큰 일반적인 경우에는 질의를 일정 길이의 서브 시퀀스로 분해하여 각 서브 시퀀스에 대하여 유사 서브 시퀀스 검색을 수행한 후, 후처리 과정에 의하여 정확도에 손상 없이 이들 결과를 결합하는 분할 질의 처리 방식을 채택한다. 제안된 기법의 우수성을 검증하기 위하여, 실험을 통한 성능 평가를 수행한다. 실험 결과에 의하면 제안된 인덱스 기법은 접미어 트리에 비하여 약 40%의 작은 저장 공간을 가지고도 약 4-17배의 검색 성능의 개선 효과를 나타낸다. 또한 분할 질의 처리 방식에 의한 유사 서브 시퀀스 검색 알고리즘은 질의 길이가 긴 경우에도 효율적으로 동작하여 Suffix와 Smith-Waterman 알고리즘에 비하여 각각 수배에서 수십배의 검색 성능의 개선 효과를 나타낸다.

자기 조직화 맵 기반 유사 검색 시스템 (SOM-Based $R^{*}-Tree$ for Similarity Retrieval)

  • 오창윤;임동주;오군석;배상현
    • 정보처리학회논문지D
    • /
    • 제8D권5호
    • /
    • pp.507-512
    • /
    • 2001
  • 특징 기반 유사성은 멀티미디어 데이터베이스 시스템에서 중요한 연구 쟁점이 되고 있다. 멀티미디어 데이터의 특징이 멀티미디어 객체들을 구별하는데 유용하다지만 특징 벡터의 차원의 수가 증가함에 따라 종래의 다차원 데이터 구조의 성능은 떨어지는 경향이 있다. $R^{*}-Tree$는 R-Tree의 가장 성공적인 병형으로 본 논문에서 고차원 특징 벡터를 위한 새로운 인덱싱 방법으로서 자기 조직화 맵 기반 $R^{*}-Tree$를 제안한다. 자기 조직화 맵 기잔 $R^{*}-Tree$는 고차원 데이터를 좀더 스칼라화해서 탐색할 수 있도록 SOM과 $R^{*}-Tree$를 결합하여 구축한 인덱싱 기법이다. 자기 조직 맵은 고차원 특징 벡터들로부터 2차원 공간으로의 맵핑을 제공한다. 그러나 맵을 위상 특징 맵이라 하고 인접 노느에서 서로 유사한 특징 벡터들을 모아서 입력데이터의 특징 공간들 속에 유사성을 보존하는데 위상 특징 맵의 각 노드는 코드북 벡터를 가지고 있다. 실험적으로 4만개의 이미지로부터 추출된 색깔 특징 벡터들을 이용하여 자기 조직화 맵 기반 $R^{*}-Tree$의 검색시간 비용과 자기 조직화 맵과 $R^{*}-Tree$의 검색 시간 비용을 비교한다. 그 결과 $R^{*}-Tree$를 구축하는데 필요한 노드 수와 검색 시간 비용이 감소됨으로써 자기 조직화 맵 기반 $R^{*}-Tree$는 자기 조직화 맵과 $R^{*}-Tree$보다 훨씬 우수한 성능을 나타냄이 입증되었다.

  • PDF

폭발장면 자동 검출을 위한 저급 수준 비디오 특징의 추상화 (Abstraction Mechanism of Low-Level Video Features for Automatic Retrieval of Explosion Scenes)

  • 이상혁;낭종호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권5호
    • /
    • pp.389-401
    • /
    • 2001
  • 본 논문에서는 MPEG형식의 영화 데이터를 대상으로 폭발 장면 자동 추출을 위한 저급 수준 비디오 내용정보의 추상화 방법을 제안하고, 실제 구현을 통하여 그 유용성을 보인다. 제안한 추상화 방법은 폭발시 발생하는 불꽃의 색이 노란색 톤을 가진다는 사실과, 불꽃이 나타나는 프레임은 같은 tit에 속하는 이웃한 프레임과는 화면 구성이 달라지게 되므로 움직임 에너지 값이 커지게 된다는 사실을 바탕으로 한다. 이를 위해서 샷 단위의 인덱싱을 자동적으로 수행하고 각 샷의 첫 번째 프래임을 키 프레임으로 하다. 이를 위해서 샷 단위의 인덱싱을 자동적으로 수행하고 각 샷의 첫 번째 프레임을 키 프레임으로 선택한 후 영역별 주 색깔(Dominant Color)를 추출한다. 이때 색 공간은 양자화를 통한 512색 중 노란색 톤을 가지는 48 색 범위로 정의한다. 이후 매 샷마다 첫 번째 프레임과 이웃한 프레임의 에지 이미지(Edge Image)를 추출하여 이들의 차이로써 움직임 에너지(Motion Energy)를 얻는다. 이 두 가지 정보, 즉 노란색 톤을 가지는 색 정보와, 같은 장면 내의 다른 샷의 움직임 에너지에 비해 큰 값의 움직임 에너지를 갖는 샷을 폭발장면이 포함된 장면으로 검출한다. 실험 결과에 의하면 검색 결과는 주어진 임계값에 의존적이나, Recall과 Precision에서 80% 이상의 검출률을 보이고 있다. 그러나 일반적인 폭발 장면은 찾기에는 노란색 불꽃을 보이지 않는 예외적인 경우가 발생하여 이를 추출하는데 어려움이 있었다. 앞으로 이러한 문제점등은 기존의 오디오 정보를 이용한 폭발 장면 검출 방법과 함께 이용함으로써 해결되어질 수 있을 것이다.

  • PDF