• 제목/요약/키워드: 중복문제

검색결과 831건 처리시간 0.023초

단어 유사도를 이용한 뉴스 토픽 추출 (News Topic Extraction based on Word Similarity)

  • 김동욱;이수원
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1138-1148
    • /
    • 2017
  • 토픽 추출은 문서 집합으로부터 그 문서 집합을 대표하는 토픽을 자동 추출하는 기술이며 자연어 처리의 중요한 연구 분야이다. 대표적인 토픽 추출 방법으로는 잠재 디리클레 할당과 단어 군집화 기반 토픽 추출방법이 있다. 그러나 이러한 방법의 문제점으로는 토픽 중복 문제와 토픽 혼재 문제가 있다. 토픽 중복 문제는 특정 토픽이 여러 개의 토픽으로 추출되는 문제이며, 토픽 혼재 문제는 추출된 하나의 토픽 내에 여러 토픽이 혼재되어 있는 문제이다. 이러한 문제를 해결하기 위하여 본 연구에서는 토픽 중복 문제에 대해 강건한 잠재 디리클레 할당으로 토픽을 추출하고 단어 간 유사도를 이용하여 토픽 분리 및 토픽 병합의 단계를 거쳐 최종적으로 토픽을 보정하는 방법을 제안한다. 실험 결과 제안 방법이 잠재 디리클레 할당 방법에 비해 좋은 성능을 보였다.

순회 외판원 문제를 풀기 위한 전역 최적 경로의 중복 간선을 고려한 개미 집단 시스템 (Ant Colony System for solving the traveling Salesman Problem Considering the Overlapping Edge of Global Best Path)

  • 이승관;강명주
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권3호
    • /
    • pp.203-210
    • /
    • 2011
  • 개미 집단 시스템은 조합 최적화 문제를 해결하기 위한 메타 휴리스틱 탐색 방법으로, 그리디 탐색뿐만 아니라 긍정적 피드백을 사용한 모집단에 근거한 접근법으로 순회 판매원 문제를 풀기 위해 처음으로 제안되었다. 본 논문에서는 이전 전역 최적 경로와 현재 전역 최적 경로의 중복 간선을 고려한 탐색 방법을 제안하였다. 이 방법은 이전전역 최적 경로와 현재 전역 최적 경로에서의 중복 간선은 최적 경로로 구성될 가능성이 높다고 판단하고, 해당 중복 간선에 대해 페로몬을 강화시켜 최적 경로를 구성할 확률을 높이게 하였다. 그리고, 실험을 통해 ACS-3-opt 알고리즘, ACS-Subpath 알고리즘, ACS-Iter 알고리즘에 비해 최적 경로 탐색 및 평균 최적 경로 탐색의 성능이 우수함을 보여 주었다.

중소기업 지원실태와 지원체계 개선방안 (Supporting Reality and Support System Improvement for the Small and Medium Size Enterprises)

  • 이재현;고승희
    • 한국콘텐츠학회논문지
    • /
    • 제9권7호
    • /
    • pp.333-341
    • /
    • 2009
  • 국가경제 성장동력으로서 역할이 강조되는 중소기업을 효과적으로 지원하기 위해 중소기업 지원체계 개선이 시급하다. 따라서 중소기업지원제도를 (1)융 투자, (2)보증 보험, (3)기술개발, (4)특허인증, (5)판로 수출, (6)인력, (7)창업 벤처, (8)정보화 컨설팅, (9)자영업 유통, (10)대 중소상생협력 지원 등 10개 부문으로 구분하여 지원 유형을 파악하고 유사중복적인 지원실태를 분석하였다. 분석결과 지원부문 중 자금지원, 판로수출, 기술개발 등의 부문에서 유사중복적 지원이 이루어지고 있고, 지원법 제도간의 중복적인 문제와 지원주체의 복잡다기화로 인한 추진체계의 비효율적인 문제를 보였다. 이를 개선하기 위해 중소기업지원에 가장 필요한 것은 현재 지원시책을 중심으로 지원체계와 지원대상, 지원규모 등을 보다 체계화 및 정교화 해야 하며, 지원기관간 협력네트워크 구축과 통합정보시스템을 개선하여 불필요한 유사중복성 지원을 최소화하고, 현행 정책을 점진적으로 개선하는 방향으로 나아가야 한다.

가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인 (Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure)

  • 박상근;박순영;김명근;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

중복 응답 임계값의 완만한 조절 기법을 통한 향상된 TCP-DAD (Smooth Dupthresh Mechanism for Advanced TCP-DAD)

  • 박민우;김종명;한영주;권윤주;이길재;정태명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.971-974
    • /
    • 2008
  • 오늘날 네트워크는 장비의 발달로 인해 패킷 재배치(packet reordering)가 빈번히 일어나고 있다. 패킷 재배치는 TCP의 성능을 저하시키는 문제점을 가지는데, 이러한 문제점을 해결하기 위해 TCPDAD 메커니즘이 제안되었다. TCP-DAD는 중복 응답 임계값을 동적으로 조절함으로써, TCP의 패킷 재배치 문제를 완화하는 메커니즘이다. 하지만 TCP-DAD는 중복 응답 임계값을 조절하는 메커니즘에 문제가 있어 패킷 손실이 일어날 경우, 패킷 손실에 대한 복구가 늦어지고 심지어 재전송 타이머가 불필요하게 종료되어 TCP의 성능저하를 야기하기도 한다. 본 논문에서는 이러한 TCP-DAD의 문제점을 해결하기 위해 새로운 중복 응답 임계값 조절 기법으로 Smooth-dupthresh를 제안한다. NS-2를 이용한 시뮬레이션을 통해 Smooth-dupthresh 기법을 적용한 TCP-DAD가 기존의 TCP-DAD 보다 평균적으로 약 8% 향상된 성능을 보임을 증명하였다.

이동적응망에서 데이터 일관성 보장을 위한 주사본 기반 데이터 중복 기법 (Primary Copy based Data Replication Scheme for Ensuring Data Consistency in Mobile Ad-hoc Networks)

  • 문애경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.334-336
    • /
    • 2005
  • 이동적응망(MANET: Mobile Ad-hoc Network)은 네트워크 하부 구조를 필요로 하지 않은 무선 단말들로 구성된 네트워크이다. 이러한 특성은 네트워크 단절 가능성을 높게 하기 때문에 이동단말들의 데이터 액세스률이 낮아지게 된다는 문제점을 갖는다. 이를 해결하기 위하여 이동 노드들은 데이터의 중복사본을 갖는다. 이동 노드가 갖는 중복사본은 데이터 일관성을 유지하기 위하여 별도의 중복관리 기법이 필요하다. 하지만 MANET을 구성하는 이동 노드들은 일반적으로 제한된 전력을 가지고 있고 단절될 가능성이 높기 때문에 중복 사본의 일관성 보장은 어려운 문제로 지적되고 있다. 기존에 제안된 MANET에서의 데이터 중복관리 기법은 데이터 액세스 빈도수를 계산하여 액세스률을 높이는 방법에 주안점을 두고 있고 갱신 데이터의 일관성 보장은 그 어려움 때문에 주로 판독 연산만 고려하였다. 갱신 트랜잭션을 지원하는 경우 대부분 높은 통신비용을 이유로 데이터 일관성을 보장하지 않는다. 또한 이동 노드가 다수의 서버를 통해서 갱신 연산을 실행하기 때문에 통신 오버헤드로 인하여 전력소모가 크다. 본 논문에서는 주사본 노드를 통하여 갱신을 가능하게 함으로써 데이터 일관성을 유지할 수 있는 데이터 중복 기법을 제안한다. 제안된 기법은 이동 노드들의 에너지 특성을 고려하여 더 않은 에너지를 가진 노드에게 갱신 전파 및 일관성 유지를 의뢰함으로써 상대적으로 낮은 에너지를 갖는 이동 노드의 에너지 효율을 고려하였다.

  • PDF

클라우드 스토리지 상에서의 프라이버시 보존형 소스기반 중복데이터 제거기술 (Privacy Preserving Source Based Deduplication In Cloud Storage)

  • 박철희;홍도원;서창호;장구영
    • 정보보호학회논문지
    • /
    • 제25권1호
    • /
    • pp.123-132
    • /
    • 2015
  • 최근 클라우드 스토리지 사용이 급증함에 따라 스토리지의 효율적인 사용을 위한 데이터 중복제거 기술이 활용되고 있다. 그러나 외부 스토리지에 민감한 데이터를 저장할 경우 평문상태의 데이터는 기밀성 문제가 발생하기 때문에 중복처리를 통한 스토리지 효율성 제공뿐만 아니라 데이터 암호화를 통한 기밀성 보장이 필요하다. 최근, 스토리지의 절약뿐만 아니라 네트워크 대역폭의 효율적인 사용을 위해 클라이언트측 중복제거 기술이 주목을 받으면서 다양한 클라이언트측 중복제거 기술들이 제안되었지만 아직까지 안전성에 대한 문제가 남아있다. 본 논문에서는 암호화를 통해 데이터의 기밀성을 보장하고 소유권 증명을 이용해 데이터 접근제어를 제공하여 신뢰할 수 없는 서버와 악의적인 사용자로부터 프라이버시를 보존할 수 있는 안전한 클라이언트측 소스기반 중복제거 기술을 제안한다.

안전하고 효율적인 클라이언트 사이드 중복 제거 기술 (Secure and Efficient Client-side Deduplication for Cloud Storage)

  • 박경수;엄지은;박정수;이동훈
    • 정보보호학회논문지
    • /
    • 제25권1호
    • /
    • pp.83-94
    • /
    • 2015
  • 중복 제거 기술(Deduplication)은 동일한 데이터에 대하여 중복 저장을 방지하는 기법으로 클라이언트(Client)와 클라우드 서버(Cloud Server) 간에 데이터를 저장하고 관리하는데 있어 효율성을 제공한다. 하지만 공개된 환경의 클라우드 서버에 데이터를 저장하고 관리하기 때문에, 클라이언트가 저장한 데이터에 대한 프라이버시 문제가 발생할 뿐만 아니라 데이터의 손실이 발생할 수도 있다. 최근 이러한 문제점들을 해결하기 위해 안전한 중복 제거 기술이 제안되었지만, 여전히 각각의 공격의 안전성에 대한 문제가 발생할 뿐만 아니라 비효율적이다. 본 논문에서는 2013년 Bellare 등이 제안한 기법의 키 서버(Key Server)와 질의-응답 메커니즘(Challenge-Response)을 이용하여 안전하고 효율적인 클라이언트 사이드 중복 제거 기술을 제안한다. 제안 기법은 클라이언트 사이드 중복 제거 기술에서 발생하는 다양한 공격에 대해 안전성을 제공하며, 크기가 큰 데이터를 업로드 하는 환경에서 높은 효율성을 제공한다.

유전알고리즘을 이용한 강의시간표 작성 시스템 설계 (Design A Timetable System Using A Genetic Algorithm)

  • 강명주
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2011년도 제43차 동계학술발표논문집 19권1호
    • /
    • pp.289-292
    • /
    • 2011
  • 본 논문에서는 유전 알고리즘을 이용한 강의시간표 작성 시스템 설계 방법을 제안한다. 강의시간표는 교과목의 강의시간, 강의실, 교수자 등의 정보를 시간표 테이블에 할당하는 문제이면서 스케줄링 문제이다. 강의시간표로써의 의미를 가지기 위해서는 강의실 중복 회피, 교수의 강의시간 중복회피와 같은 필수 제약조건(Hard Constraint)을 만족해야 한다. 또한, 강의시간표 문제는 NP-Complete 문제로 알려져 있으며 기존의 Exact 알고리즘으로는 최적 해를 구하는 것이 힘들다. 따라서 본 논문에서는 휴리스틱 알고리즘 중의 하나인 유전 알고리즘을 교과목의 강의시간 배정 부분과 강의실 배정 부분을 각각 별도의 부시스템 (Sub-system)으로 나누어 적용하는 방법을 제안한다. 실험 결과 강의시간표로써의 의미를 가질 수 있는 필수 제약 조건을 만족시킬 수 있음을 알 수 있었다.

  • PDF

효율적인 각 기반 공간 분할 병렬 스카이라인 질의 처리를 위한 데이터 샘플링 기반 프루닝 기법 (A Sampling based Pruning Approach for Efficient Angular Space Partitioning based Skyline Query Processing)

  • 최우성;민종현;정재화;정순영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.55-58
    • /
    • 2016
  • 스카이라인 질의란 다수의 선택지 중 '선호될 만한(preferable)' 선택지를 요청하는 질의이다. 사용자가 검토해야하는 선택지의 수를 대폭 감소시키는 스카이라인 질의는 데이터가 폭증하는 빅데이터 환경에서 매우 유용하게 활용된다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행 중이다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 최근 각 기반 공간분할 기법을 사용하여 부하 불균등 문제와 중복 계산 문제를 해소하는 맵리듀스 기반 스카이라인 질의 처리 기법이 제안되었으나 해당 기법은 네트워크 비용 관점에서 최적화되어있지 않다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 새로운 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 제안한다. MR-SEAP에서는 데이터를 샘플링하여 샘플 스카이라인 객체를 추출한 뒤 해당 객체들을 균등 분배하는 각도를 기준으로 공간을 분할하여 스카이라인 질의를 병렬 계산하되, 샘플 스카이라인을 이용하여 다수의 객체를 사전에 프루닝함으로써 네트워크 비용을 절감한다. 본 논문에서는 다양한 데이터 수량(cardinality) 및 분포(distribution)에 따른 제안 기법의 성능을 실험 평가함으로써 제안 기법의 우수성을 검증한다.