• 제목/요약/키워드: Duplicate Elimination

검색결과 8건 처리시간 0.02초

신뢰실행환경기반 엣지컴퓨팅 환경에서의 암호문에 대한 효율적 프라이버시 보존 데이터 중복제거 (Efficient Privacy-Preserving Duplicate Elimination in Edge Computing Environment Based on Trusted Execution Environment)

  • 구동영
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제11권9호
    • /
    • pp.305-316
    • /
    • 2022
  • 사물인터넷 및 빅데이터 등 디지털 데이터의 범람으로, 다수 사용자로부터 방대한 데이터를 처리 및 보관하는 클라우드 서비스 제공자는 효율적 데이터 관리를 위한 데이터 중복제거를 적용할 수 있다. 중앙 클라우드 서버로의 네트워크 혼잡 및 연산 효율성 저하 등의 문제를 개선하기 위한 클라우드의 확장으로 엣지 컴퓨팅 개념이 도입되면서 사용자 경험을 개선할 수 있으나, 전적으로 신뢰할 수 없는 새로운 엣지 디바이스의 추가로 인하여 프라이버시 보존 데이터 중복제거를 위한 암호학적 연산 복잡도의 증가를 야기할 수 있다. 제안 기법에서는 신뢰실행환경을 활용함으로써 사용자-엣지-클라우드 간 최적화된 통신 구조에서 프라이버시 보존 데이터 중복제거의 효율성 개선 방안을 제시한다. 사용자와 클라우드 사이에서의 비밀정보 공유를 통하여 엣지 디바이스에서의 연산 복잡도를 최소화하고, 클라우드 서비스 제공자의 효율적 암호화 알고리즘 사용을 가능하게 한다. 또한, 사용자는 엣지 디바이스에 데이터를 오프로딩함으로써 데이터 중복제거와 독립적인 활동을 가능하게 하여 사용자 경험을 개선한다. 실험을 통하여 제안 기법이 데이터 프라이버시 보존 중복제거 과정에서 엣지-클라우드 통신 효율성 향상, 엣지 연산 효율성 향상 등 성능 개선 효과가 있음을 확인한다.

원격 저장소 데이터 아웃소싱에서 발생하는 중복 식별 과정에서의 부채널 분석 및 제거 (Analysis and Elimination of Side Channels during Duplicate Identification in Remote Data Outsourcing)

  • 구동영
    • 정보보호학회논문지
    • /
    • 제27권4호
    • /
    • pp.981-987
    • /
    • 2017
  • 클라우드 컴퓨팅의 대중화로 개인 및 기업의 로컬 저장소에서 관리되던 데이터가 클라우드 스토리지 등 제 3의 공간에 아웃소싱 되면서 유지, 관리 비용의 절감 효과를 얻을 수 있게 됨과 동시에, 다수의 원격저장 서비스 제공자는 공간 자원의 효율화를 위하여 아웃소싱된 데이터의 중복제거 기법을 도입하고 있다. 동일 데이터의 중복성 판단에 해시 트리가 사용되는 경우에는 검증 데이터의 크기 및 트리의 일부 정보에 대한 부채널이 존재하게 되는데, 이로부터 특정 데이터에 대한 정보 수집 및 검증의 우회 가능성이 증가하게 된다. 이러한 부채널로 인한 검증의 유효성 문제를 개선하기 위하여, 본 논문에서는 멀티 셋 해시함수를 이용한 동일성 검증 기법을 제시한다.

종합목록의 중복레코드 검증을 위한 알고리즘 연구 (A Study on Duplicate Detection Algorithm in Union Catalog)

  • 조순영
    • 한국문헌정보학회지
    • /
    • 제37권4호
    • /
    • pp.69-88
    • /
    • 2003
  • 본 연구는 KERIS 종합목록의 품질 개선을 위하여 새로운 유형의 중복 데이터 색출 알고리즘을 개발한 것이다. 새로운 알고리즘에서는 현재 적용하고 있는 것과 같은 MARC 데이터 일치여부 비교 방식에서 탈피하여 언어별 서지 유형별 다른 비교방식을 적용하였다. 아울러 비교 요소간의 유사성을 측정하고, 각 요소의 중요도에 따라 가중치를 차등 부여하는 방식을 병행하였다. 새로 개발한 알고리즘의 효용성을 입증하기 위하여 최근 종합목록에 업로드된 데이터 210,000건을 추출하여 실험용 마스터 파일을 구축하고 7,649건을 두 개의 알고리즘으로 처리한 결과 새로운 알고리즘에서 중복레코드의 색출 비율이 36.2% 더 높게 나타났다.

사례 기반 추론 시스템에서 적응 지식 자동 획득 모델에 관한 연구 (A Study on Adaptive Knowledge Automatic Acquisition Model from Case-Based Reasoning System)

  • 이상범;김영천;이재훈;이성주
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2002년도 춘계학술대회 및 임시총회
    • /
    • pp.81-86
    • /
    • 2002
  • In current CBR(Case-Based Reasoning) systems, the case adaptation is usually performed by rule-based method that use rules hand-coded by the system developer. So, CBR system designer faces knowledge acquisition bottleneck similar to those found in traditional expert system design. In this thesis, 1 present a model for learning method of case adaptation knowledge using case base. The feature difference of each pair of cases are noted and become the antecedent part of an adaptation rule, the differences between the solutions in the compared cases become the consequent part of the rule. However, the number of rules that can possibly be discovered using a learning algorithm is enormous. The first method for finding cases to compare uses a syntactic measure of the distance between cases. The threshold fur identification of candidates for comparison is fixed th the maximum number of differences between the target and retrived case from all retrievals. The second method is to use similarity metric since the threshold method may not be an accurate measure. I suggest the elimination method of duplicate rules. In the elimination process, a confidence value is assigned to each rule based on its frequency. The learned adaptation rules is applied in riven target Problem. The basic. process involves search for all rules that handle at least one difference followed by a combination process in which complete solutions are built.

  • PDF

외국학술지지원센터 운영 사업의 비용편익분석 (Cost Benefit Analysis of Foreign Research Information Centers)

  • 김광석;오동근;여지숙
    • 한국도서관정보학회지
    • /
    • 제43권1호
    • /
    • pp.287-301
    • /
    • 2012
  • 이 연구는 2011년 현재 운영중인 7개 외국학술지지원센터의 운영효과를 점검하기 위해 그 비용과 편익을 분석하였다. 사업개시부터 30년 경과시점을 기준으로 한 투자타당성 분석 결과, 비용편익 비율(BCR)은 0.99, 내부수익률(IRR)은 5.49%, 누적순현재가치(NPV)는 -507백만원으로 나타났다. 다만 민감도분석에서는 저널 이용건수와 사회적 할인율, 중복구독 중단 등의 항목의 변화에 따라 비용편익비율이 변화할 수 있음을 제시하였다.

건설CALS시스템과 과태료부과시스템의 연계방안 연구 (A Study on the Construction CALS system and the Road Fine System Connections)

  • 김태학;주기범
    • 한국산학기술학회논문지
    • /
    • 제13권12호
    • /
    • pp.6111-6117
    • /
    • 2012
  • 본 논문은 과적업무 담당자의 입력부담 해소와 과적단속비리 근절을 위한 투명성 확보를 위하여 검문소의 계근장비에 검차정보의 자동수집기능을 설치하고, 단속정보의 경우 동일한 정보를 건설CALS시스템과 과태료부과시스템의 중복입력을 피하기 위하여 연계를 통한 국토관리사무소에서 과적단속정보를 확인 후 과태료부과시스템으로 전송하면 과적단속 이후의 과태료 부과업무의 진행현황을 파악하도록 하여, 향후 과적단속 업무의 효율적인 수행과 과적적발 정보에 대한 정확성 향상을 도모할 수 있는 방안을 마련하였다.

건설산업 생산체계 개편에 따른 건설보증시장 변화 예측 조사 (Prediction Survey on Construction Guarantee Market Due to the Restructuring of the Construction Industry's Production System)

  • 김성일;장철기;유현지
    • 한국건설관리학회논문집
    • /
    • 제22권1호
    • /
    • pp.63-71
    • /
    • 2021
  • 건설보증시장은 건설산업 및 건설시장의 변화에 영향을 받는 후방시장으로서의 특성을 갖고 있다. 최근 종합건설업체와 전문건설업체간의 업역 규제가 폐지되는 등 건설산업 생산체계의 대대적 개편이 추진됨에 따라 건설시장 뿐만 아니라 건설보증시장에도 큰 변화가 예상된다. 건설보증시장에는 현재 업역과 업종을 기반으로 구분된 종합·전문·기계설비의 3개 공제조합이 운영되고 있다. 업역이 폐지되고 나면 3개 공제조합 간 경쟁구조가 형성되는 등 건설보증시장에 여러 영향을 미칠 것이고, 따라서 시장 변화에 따라 건설보증기관의 역할에도 변화가 필요하다. 본 연구는 건설산업 생산체계 개편이 건설보증시장에 불러올 변화를 분석·예측하고, 건설보증시장에 미치는 파급효과를 분석하였다. '건설산업 생산체계 개편안'과 건설보증 관련 법령 및 제도· 정책, 건설 보증기관 관련 통계자료를 검토하여 건설보증시장의 현황을 파악하고, 3개 공제 조합원을 대상으로 설문조사를 수행하여 시장 참여자의 보증기관 이용 행태를 분석하였다. 생산체계 개편 후 보증시장 변화를 살펴보면, 기계설비 조합원의 타 보증기관 이용 의향이 가장 높으며, 종합과 전문 조합원은 경쟁 확대에도 불구하고 기존 공제조합을 이용, 타 이용기관을 중복으로 이용하는 조합원들이 많을 것으로 예상된다.

캠페인 효과 제고를 위한 자기 최적화 변수 선택 알고리즘 (Self-optimizing feature selection algorithm for enhancing campaign effectiveness)

  • 서정수;안현철
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.173-198
    • /
    • 2020
  • 최근 온라인의 비약적인 활성화로 캠페인 채널들이 다양하게 확대되면서 과거와는 비교할 수 없을 수준의 다양한 유형들의 캠페인들이 기업에서 수행되고 있다. 하지만, 고객의 입장에서는 중복 노출로 인한 캠페인에 대한 피로감이 커지면서 스팸으로 인식하는 경향이 있고, 기업입장에서도 캠페인에 투자하는 비용은 점점 더 늘어났지만 실제 캠페인 성공률은 오히려 더 낮아지고 있는 등 캠페인 자체의 효용성이 낮아지고 있다는 문제점이 있어 실무적으로 캠페인의 효과를 높이고자 하는 다양한 연구들이 지속되고 있다. 특히 최근에는 기계학습을 이용하여 캠페인의 반응과 관련된 다양한 예측을 해보려는 시도들이 진행되고 있는데, 이 때 캠페인 데이터의 다양한 특징들로 인해 적절한 특징을 선별하는 것은 매우 중요하다. 전통적인 특징 선택 기법으로 탐욕 알고리즘(Greedy Algorithm) 중 SFS(Sequential Forward Selection), SBS(Sequential Backward Selection), SFFS(Sequential Floating Forward Selection) 등이 많이 사용되었지만 최적 특징만을 학습하는 모델을 생성하기 때문에 과적합의 위험이 크고, 특징이 많은 경우 분류 예측 성능 하락 및 학습시간이 많이 소요된다는 한계점이 있다. 이에 본 연구에서는 기존의 캠페인에서의 효과성 제고를 위해 개선된 방식의 특징 선택 알고리즘을 제안한다. 본 연구의 목적은 캠페인 시스템에서 처리해야 하는 데이터의 통계학적 특성을 이용하여 기계 학습 모델 성능 향상의 기반이 되는 특징 부분 집합을 탐색하는 과정에서 기존의 SFFS의 순차방식을 개선하는 것이다. 구체적으로 특징들의 데이터 변형을 통해 성능에 영향을 많이 끼치는 특징들을 먼저 도출하고 부정적인 영향을 미치는 특징들은 제거를 한 후 순차방식을 적용하여 탐색 성능에 대한 효율을 높이고 일반화된 예측이 가능하도록 개선된 알고리즘을 적용하였다. 실제 캠페인 데이터를 이용해 성능을 검증한 결과, 전통적인 탐욕알고리즘은 물론 유전자알고리즘(GA, Genetic Algorithm), RFE(Recursive Feature Elimination) 같은 기존 모형들 보다 제안된 모형이 보다 우수한 탐색 성능과 예측 성능을 보임을 확인할 수 있었다. 또한 제안 특징 선택 알고리즘은 도출된 특징들의 중요도를 제공하여 예측 결과의 분석 및 해석에도 도움을 줄 수 있다. 이를 통해 캠페인 유형별로 중요 특징에 대한 분석과 이해가 가능할 것으로 기대된다.