• 제목/요약/키워드: 신경망 클러스터링

검색결과 85건 처리시간 0.024초

대용량 데이터 처리를 위한 하이브리드형 클러스터링 기법 (A Hybrid Clustering Technique for Processing Large Data)

  • 김만선;이상용
    • 정보처리학회논문지B
    • /
    • 제10B권1호
    • /
    • pp.33-40
    • /
    • 2003
  • 데이터 마이닝은 지식발견 과정에서 중요한 역할을 수행하며, 여러 데이터 마이닝의 알고리즘들은 특정의 목적을 위하여 선택될 수 있다. 대부분의 전통적인 계층적 클러스터링 방법은 적은 양의 데이터 집합을 처리하는데 적합하여 제한된 리소스와 부족한 효율성으로 인하여 대용량의 데이터 집합을 다루기가 곤란하다. 본 연구에서는 대용량의 데이터에 적용되어 알려지지 않은 패턴을 발견할 수 있는 하이브리드형 신경망 클러스터링 기법의 PPC(Pre-Post Clustrering) 기법을 제안한다. PPC 기법은 인공지능적 방법인 자기조직화지도(SOM)와 통계적 방법인 계층적 클러스터링을 결합하여 두 과정에서는 군집의 내부적 특징을 나타내는 응집거리와 군집간의 외부적 거리를 나타내는 인접거리에 따라 유사도를 측정한다. 최종적으로 PPC 기법은 측정된 유사도를 이용하여 대용량 데이터 집합을 군집화한다. PPC 기법은 UCI Repository 데이터를 이용하여 실험해 본 결과, 다른 클러스터링 기법들 보다 우수한 응집도를 보였다.

퍼지추론과 코호넨 신경망을 사용한 유즈넷 뉴스 필터링 (Usenet News Filtering using Fuzzy Inference and Kohonen Network)

  • 김종완;조규철;김병익
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2003년도 춘계학술대회
    • /
    • pp.47-51
    • /
    • 2003
  • 인터넷을 통해 제공되는 맡은 양의 뉴스 정보 중에서 찾고자 하는 정확한 정보를 빠른 시간 안에 검색하고, 원하는 정보만 필터링 하는 것이 필요하다. 먼저, 인터넷에 접속된 뉴스서버들의 뉴스 문서를 각 그룹별로 수집한다. 수집된 뉴스 문서를 대상으로 퍼지추론을 통하여 문서를 대표하는 키워드를 추출하여 데이터베이스에 저장한다. 각 뉴스그룹의 문서에서 단어들을 분석하여 입력된 단어들의 개수를 이용하여 정규화 시켜서 대표적인 비지도학습 신경망인 코호넨 신경망을 사용하여 학습시킨다. 코호넨 신경망으로 추출된 단어들의 연관성을 활용하여 뉴스그룹을 클러스터링한다. 최종적으로 사용자가 관심 있는 키워드를 입력하면, 학습된 신경망이 유사한 뉴스그룹들을 사용자에게 제시해준다.

  • PDF

이미지에 대한 비전 트랜스포머(ViT) 기반 딥 클러스터링 (Deep Clustering Based on Vision Transformer(ViT) for Images)

  • 신혜수;유사라;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.363-365
    • /
    • 2023
  • 본 논문에서는 어텐션(Attention) 메커니즘을 이미지 처리에 적용한 연구가 진행되면서 등장한 비전 트랜스포머 (Vision Transformer, ViT)의 한계를 극복하기 위해 ViT 기반의 딥 클러스터링(Deep Clustering) 기법을 제안한다. ViT는 완전히 트랜스포머(Transformer)만을 사용하여 입력 이미지의 패치(patch)들을 벡터로 변환하여 학습하는 모델로, 합성곱 신경망(Convolutional Neural Network, CNN)을 사용하지 않으므로 입력 이미지의 크기에 대한 제한이 없으며 높은 성능을 보인다. 그러나 작은 데이터셋에서는 학습이 어렵다는 단점이 있다. 제안하는 딥 클러스터링 기법은 처음에는 입력 이미지를 임베딩 모델에 통과시켜 임베딩 벡터를 추출하여 클러스터링을 수행한 뒤, 클러스터링 결과를 임베딩 벡터에 반영하도록 업데이트하여 클러스터링을 개선하고, 이를 반복하는 방식이다. 이를 통해 ViT 모델의 일반적인 패턴 파악 능력을 개선하고 더욱 정확한 클러스터링 결과를 얻을 수 있다는 것을 실험을 통해 확인하였다.

데이터 마이닝을 위한 신경망 클러스터링 기법에 관한 연구 (Hybrid Neural Network Clustering Using SOM and BP for DataMing)

  • 김만선;이상용
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.160-162
    • /
    • 2001
  • 최근 대용량의 데이터베이스로부터 유용한 정보를 발견하고 데이터간에 존재하는 연관성을 탐색하고 분석하는 데이터 마이닝에 관한 많은 연구들이 진행되고 있다. 실제 응용분야에선 수집된 데이터는 시간이 지날수록 데이터의 양이 늘어나게 되고, 중복되는 속성과 잡음을 갖게 되어 마이닝 기법을 이용하는데 많은 시간과 비용이 소요된다. 또한 어느 속성이 중요한지 알 수 없어 중요한 속성이 중요하지 않은 속성에 의해 왜곡되거나 제대로 분석되지 않을 수 있다. 이 논문은 이러한 문제점들을 해결하기 위해, 대용량의 데이터에 적용할 수 있고 데이터에서 알려지지 않은 패턴을 발견할 뿐만 아니라, 사용자가 얻고자 하는 출력을 생성할 수 있는 혼합형 신경망 클러스터링 기법을 제안한다. 그리고 알고리즘의 타당성을 검증하기 위해 몇 가지 벤치마크데이터를 이용하여 본 논문의 타당성을 보인다.

  • PDF

SOFM 신경회로망을 이용한 한국어 음소 인식 (Korean Phoneme Recognition Using Self-Organizing Feature Map)

  • 전용구
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1993년도 학술논문발표회 논문집 제12권 1호
    • /
    • pp.233-237
    • /
    • 1993
  • 본 논문에서는 패턴 매칭 방법에 근거하여 인식 단위가 음소인 음소 기반 인식 시스템을 구성하였다. 선택한 신경망 구조는 생물학적 신경망인 코호넨(T. Kohonen)의 SOFM(Self-Organizing Feature Map)으로 패턴 매칭 과정 중 cluster로 사용하였다. SOFM 신경망은 신호 공간에 대해서 최적의 국소(局所) 해부적 사사에 의한 자기 조직화 과정을 수행하며, 그 결과 인식 문제에 있어서 상당히 높은 정확도를 나타낸다. 따라서 SOFM 신경망은 음소 인식에도 효과적으로 응용될 수 있다. 또한 음소 인식 시스템의 성능 향상을 위해 K-means 클러스터링 알고리즘이 결합된 학습 알고리즘을 제안하였다. 제안된 음소 인식 시스템의 성능을 평가하기 위해, 먼저, 우리말 음소들을 모음, 파열음, 마찰음, 파찰음, 유음 및 비음, 종성의 6개 음소군으로 분류하고 각 음소군에 대한 특징 지도를 구성하여 labeler의 기능을 수행하게 하였다. 화자 종속 인식실험 결과 87.2%의 인식률을 보였으며 제안한 학습법의 빠른 수렴성과 인식률 향상을 확인하였다.

  • PDF

개선된 군집화 단계의 NofM 알고리즘을 이용한 훈련된 신경망으로부터의 규칙추출 (Rule extraction from trained neural network using NofM algorithm with improved clustering step)

  • 이한율;나종회;김문현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.581-584
    • /
    • 2001
  • 신경망이 만들어내는 출력에 대한 정보는 수치적으로 분산되어 신경망에 저장되므로, 인간이 직접 해석하기가 힘들다. 본 논문에서는 LRE(link rule extraction)기법인 NofM 알고리즘의 6단계 중에서 초기 단계인 가중치 군집화 단계를 개선하여 추출되는 규칙들의 전제부에 들어가는 규칙 조건들의 수를 조절함으로써, 추출된 규칙이 입력 특성에 대한 정보를 과잉 일반화하거나, 과잉 구체화하는 것을 피할 수 있음을 실험을 통해 보였다. 일반적으로 NofM 알고리즘에서 가중치들을 군집화한 때는 Join 알고리즘을 사용하는데, 본 논문에서는 Join 알고리즘의 Join condition을 0.05부터 0.25까지 0.05씩 점진적으로 확대하여 클러스터링을 하여줌으로써 신경망의 출력에 중요한 역할을 하는 가중치들을 효과적으로 군집화함을 보였다.

  • PDF

자율 분산 이동 로봇 시스템을 위한 머신비젼 (Machine Vision for Distributed Autonomous Robotic System)

  • 김대욱;박창현;심귀보
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2004년도 추계학술대회 학술발표 논문집 제14권 제2호
    • /
    • pp.94-97
    • /
    • 2004
  • 독립된 자율로봇에서 머신비젼의 구동을 위해 본 논문에서는 DARS(Distributed Autonomous Robotic System)에 적용하기 위한 디지털 이미지 프로세싱을 연구하고, DARS의 개별 로봇에 이를 임베디드화하는 것을 연구한다. 따라서 로봇을 구동하기 위해 필요한 데이터를 CMOS 카메라로부터 수신하여 영상을 스캔한 후, 원영상을 신경망 알고리즘을 통해 클러스터링하여 필요한 데이터를 추출한다. 또 이를 사용자 컴퓨터 단말기 상에 디스플레이하고, 최종적으로 DARS의 자율 이동 로봇이 영상 데이터를 인지하여 특정한 선택 동작을 수행하도록 한다.

  • PDF

인공신경망모형(다층퍼셉트론, 방사형기저함수), 사회연결망모형, 타부서치모형을 이용한 컨테이너항만의 클러스터링 측정 및 2단계(Type IV) 교차효율성 메트릭스 군집모형을 이용한 실증적 검증에 관한 연구 (A Study on Containerports Clustering Using Artificial Neural Network(Multilayer Perceptron and Radial Basis Function), Social Network, and Tabu Search Models with Empirical Verification of Clustering Using the Second Stage(Type IV) Cross-Efficiency Matrix Clustering Model)

  • 박노경
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제9권6호
    • /
    • pp.757-772
    • /
    • 2019
  • 본 논문에서는 아시아 38개 컨테이너항만 들을 대상으로 10년(2007년-2016년)동안의 4개의 투입요소(선석길이, 수심, 총면적, 크레인 수)와 1개의 산출요소(컨테이너화물 처리량)를 이용하여 인공신경망모형(다층퍼셉트론, 방사형기저함수)으로 클러스터링에 영향을 미친 요소들을 파악하였으며, 1단계 교차효율성 메트릭스를 이용한 군집 수를 사회연결망모형과 타부서치모형에 적용하여 클러스터링을 파악하고 효율성을 측정하였다. 또한 2단계효율성 메트릭스모형을 이용한 클러스터링을 파악하고 효율성을 측정하여 1단계 교차효율성 메트릭스에 의한 측정결과와 비교하였다. 주요한 실증분석 결과는 다음과 같다. 첫째, 인공신경망모형에 의해서 측정해 보았을 때, 군집에 영향을 많이 미친 요소별로 제시해 보면 컨테이너화물 처리량, 선석길이와 수심, 총면적, 크레인 수의 순서로 나타났다. 둘째, 사회연결망분석에서는 2단계 교차효율성(Type IV)메트릭스에 의한 군집은 benevolent 와 aggressive 모형에서 매년 동일한 결과를 보였다. 셋째, 클러스터링 후에 1단계 교차효율성 모형에 비해서 사회연결망 모형 분석과 타부서치 모형 분석에서 국내항만들의 효율성이 거의(사회연결망 모형에서 인천항의 경우 제외) 악화되는 것으로 나타났다. 다섯째, 일반적인 투입지향, 규모수확불변하의 CCR모형의 효율성 측정결과와 비교했을 때는 클러스터링이 모든 항만들에 대해서 약 37%이상의 효율성을 증대시켰다. 여섯째, 사회연결망모형과 타부서치모형에 의해서 클러스터링 되는 항만들은 부산항(고베, 오사카, 포트클랑, 탄중 펠파스, 마닐라항), 인천항(사히드 라자히, 광양), 광양항(아카바, 포트 슐탄 카바스, 담만, 크호르 파칸, 인천)으로 나타났다. 한국항만당국은 본 연구에서 이용된 방법을 도입하여 항만개선방안을 마련해야만 한다.

SDN 환경에서 자기조직화지도 신경망을 이용한 분산 컨트롤러 (Distributed controllers using a Self-Organizing Map Neural Network in SDN environment)

  • 유승언;김민우;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
    • /
    • pp.47-48
    • /
    • 2019
  • 본 논문에서는 신경망의 일종인 자기조직화지도(Self Organizing Map)을 이용하여 컨트롤러의 순서를 정하는 모델을 제안하였다. 자기조직화지도는 자율 학습에 의한 클러스터링을 수행하는 알고리즘으로써 컨트롤러에 가중치를 부여하고 컨트롤러 간 거리를 계산하여 효율적인 컨트롤러 선택을 목표로 한다.

  • PDF

자기조직화지도 신경망을 이용한 국내 컨테이너터미널의 클러스터링 측정소고 (A Brief Clustering Measurement for the Korean Container Terminals Using Neural Network based Self Organizing Maps)

  • 박노경
    • 한국항만경제학회지
    • /
    • 제26권1호
    • /
    • pp.43-60
    • /
    • 2010
  • 본 논문에서는, 국내와 외국에서 선행된 항만분야의 SOM신경망을 이용한 클러스터 분석과 관련된 선행연구들을 간략하게 검토하였으며, 또한 국내 컨테이너터미널 8곳의 3년간(2002년, 2003년, 2004년)자료를 이용하고, 4개의 투입물[종업원수(명), 부두길이(m), 부지면적(평방m), 갠트리크레인 대수(대)])과 1개의 산출물[년간 컨테이너 처리실적(TEU)]을 이용하여 DEA방법 및 SOM신경망을 이용한 클러스터링으로 실증분석하는 방법을 보여주었으며, 그 결과가 갖는 현실적인 의미와 정책적인 함의를 제시하였다. 주요한 실증분석 결과는 다음과 같다. 첫째, DEA분석결과에 의하면, 각 터미널의 참조터미널들이 감천터미널을 제외하고 지리적으로 근접지역에 위치하고 있는 것으로 나타나서 클러스터형성이 가능하며, 시너지 효과도 얻을 수 있는 것으로 나타났다. 광양터미널들은 지리적으로 멀지만, 감만, 우암터미널들과 클러스터를 구축할 수 있는 것으로 나타났다. 둘째, SOM신경망을 이용한 클러스터링분석결과를 보면, 클러스터 1, 클러스터 2, 클러스터 3에 위치함 감만터미널, 클러스터 4에 위치하고 있는 허치슨터미널과 신선대터미널, 클러스터 5에 위치한 15개의 터미널들이 나름대로 클러스터링에 대한 의미를 가지고 있는 것으로 추정되었다. 셋째, DEA기법에 의한 참조터미널들에 의한 클러스터링과 SOM신경망에 의한 클러스터링 사이에서는 약67% 수준에서 일치하였다. 본 연구의 정책적인 함의는 첫째, 컨테이너터미널에 대한 정책입안자는 북항에 속한 자성대, 우암, 신감만, 감만 터미널은 터미널운영을 통합하는 것이 필요하다. 즉, 클러스터링의 효과를 극대화시키기 위해서는 부두운영사의 숫자를 줄여나가는 정책을 강제적으로 입안하여 시행하는 것이 가장 시급한 문제이다. 둘째, 부산북항에 위치한 터미널들의 최대약점은 터미널마다 부두운영사가 서로 달라서 화주들에게 원스톱서비스를 제공하지 못하고 있다는 점이다. 즉, 년간 물동양의 44%가 환적화물임을 감안해 보았을 때, 북항의 컨테이너 터미널들은 향후 신항과의 화물수주경쟁에서 성공하기 위해서는 반드시 클러스터링을 하는 정책을 도입해야만 한다.