• 인터넷정보학회논문지
• /
• 제8권2호
• /
• pp.105-115
• /
• 2007

최근 들어 유비퀴터스 컴퓨팅에 대한 많은 연구들이 활발히 시작되고 있는데, 특히 모바일을 활용한 실시간 추천 모델에 대한 요구는 점차 커지고 있다. 본 연구에서는 기존 대용량 데이터베이스에서 실시간 추천을 위하여 Up-To-Moment 연관규칙 탐색 알고리즘이 있는데, 보다 더 정교하게 과거의 거래 세부정보까지 고려할 수 있도록 UP-To-Moment 데이터 셋의 과거 데이터 셋 부분을 (k-1)개로 분할-조합규칙을 적용하는 연관규칙 선호모델을 제안하였다. 제안된 모델은 전자상점 뿐만 아니라 유비퀴터스 컴퓨팅에 적용 가능한 레스토랑 음식 추천 데이터에 대하여, 전통적인 Up-To-Moment 연관규칙 탐색모델 $EM_{past'}$ 데이터 셋 크기값을 가중 조합한 $EM^w_{past'}$ 그리고 시간에 따른 지수평활법 분할-조합규칙을 적용한 $EM^{ES}_{past}$을 비교하여 보았다. 특히 $EM^{ES}_{past}$의 지수평활 상수 a 값의 변화에 따른 세 알고리즘의 연관규칙 계산에 대한 민감도도 비교함으로써, 실제 데이터 적용 시에 보수적 또는 진보적 실시간 추천의 선택이 가능하도록 하였다. 세 알고리즘의 비교 시뮬레이션 결과를 보면, 데이터 셋 크기 값을 가중 조합한 $EM^w_{past}$이 가장 효율이 떨어지는 것으로 나타났으며, 누적된 과거 데이터 셋의 크기가 클수록 $EM^{ES}_{past}$의 정확성이 높은 추천을 하는 것으로 나타났다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권11호
• /
• pp.521-526
• /
• 2016

온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.

• 정보과학회 논문지
• /
• 제43권9호
• /
• pp.963-973
• /
• 2016

대용량 미디어 온톨로지를 이용하여 의미 있는 지능형 서비스를 제공하기 위해 기존의 Axiom 추론뿐만 아니라 다양한 추론을 활용하는 지식 확장이 요구되고 있다. 특히 시공간 정보는 인공지능 응용분야에서 중요하게 활용될 수 있고, 시공간 정보의 표현과 추론에 대한 중요도는 지속적으로 증가하고 있다. 따라서 본 논문에서는 공간 정보를 추론에 활용하기 위해서 공공 주소체계에 대한 LOD를 대용량 미디어 온톨로지에 추가하고, 이러한 대용량 데이터 처리를 위해 인메모리 기반의 분산 처리 프레임워크를 활용하는 공간 추론을 포함하는 RDFS 추론 시스템을 제안한다. 또한 추론을 통해 확장된 데이터를 포함하는 대용량 온톨로지 데이터를 대상으로 하는 분산 병렬 시공간 SPARQL 질의 처리 방법에 대해서 설명한다. 제안하는 시스템의 성능을 측정하기 온톨로지 추론과 질의 처리 벤치 마킹을 위한 LUBM과 BSBM 데이터셋을 대상으로 실험을 진행했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.72-74
• /
• 2019

Hadoop은 대용량 데이터의 분산 처리 응용을 지원하는 프레임워크이다. 이는 마스터 노드와 데이터 노드간에 Map-Reduce 과정을 거쳐 분산 처리를 지원한다. 이에 본 연구에서는 3D 프린팅을 위해 생성한 3D 모델을 프린터가 인식할 수 있는 G-code로 변환하는 작업을 Hadoop에서 수행하였다. 3D 모델은 대개 2차원 개체(페이셋)를 이용하여 표면을 표현하는데, 이 개체를 높이(Z 축)에 따라 슬라이싱한 후각 레이어별로 G-code를 생성하여야 한다. 우선 5대의 컴퓨터에 Hadoop 클러스터를 설치한 후, 대상 3D 모델에 다양한 속성값을 변경하면서 변환작업을 진행하여 Hadoop 프로그래밍의 장점을 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.521-522
• /
• 2016

분산된 테이터에 대한 질의 처리에서는 중간 데이터를 전송하는 단계에서 많은 디스크 I/O 및 네트워크 트래픽을 야기할 수 있다. 따라서, 질의에 필요하지 않은 데이터를 미리 필터링하면 불필요한 I/O 및 네트워크 전송을 줄일 수 있어 질의 처리 성능을 높일 수 있다. 이 논문에서는 질의 컬럼셋과 수평 파티션 방법을 통합하여 질의 처리에 불필요한 데이터를 초기 단계에 미리 필터링하여 질의 처리 성능을 높이는 방법을 제안한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.337-342
• /
• 2020

음절 기반 모델은 음절 하나가 모델의 입력이 되며, 형태소 분석을 기반으로 하는 모델에서 발생하는 에러 전파(error propagation)와 미등록어 문제를 회피할 수 있다. 개체명 인식은 주어진 문장에서 고유한 의미를 갖는 단어를 찾아 개체 범주로 분류하는 자연어처리 태스크이며, 슬롯 필링(slot filling)은 문장 안에서 의미 정보를 추출하는 자연어이해 태스크이다. 본 논문에서는 자동차 도메인 슬롯 필링 데이터셋을 구축하며, 음절 단위로 한국어 개체명 인식과 슬롯 필링을 수행하고, 성능 향상을 위하여 한국어 대용량 코퍼스를 음절 단위로 사전학습한 ELECTRA 모델 기반 학습방법을 제안한다. 실험 결과, 국립국어원 문어체 개체명 데이터셋에서 F1 88.93%, ETRI 데이터셋에서는 F1 94.85%, 자동차 도메인 슬롯 필링에서는 F1 94.74%로 우수한 성능을 보였다. 이에 따라, 본 논문에서 제안한 방법이 의미있음을 알 수 있다.

• 정보과학회 논문지
• /
• 제43권10호
• /
• pp.1115-1123
• /
• 2016

가정기반진리관리 시스템(ATMS)은 추론 시스템의 추론 과정을 저장하고 비단조추론을 지원할 수 있는 도구이다. 또한 의존기반 backtracking을 지원하므로 매우 넓은 공간 탐색 문제를 해결 할 수 있는 강력한 도구이다. 모든 추론 과정을 기록하고, 특정한 컨텍스트에서 지능형시스템의 Belief를 매우 빠르게 확인하고 비단조 추론 문제에 대한 해결책을 효율적으로 제공할 수 있게 한다. 그러나 최근 데이터의 양이 방대해지면서 기존의 단일 머신을 사용하는 경우 문제 해결 프로그램의 대용량의 추론과정을 저장하는 것이 불가능하게 되었다. 대용량 데이터에 대한 문제 해결 과정을 기록하는 것은 많은 연산과 메모리 오버헤드를 야기한다. 이러한 단점을 극복하기 위해 본 논문에서는 Apache Spark 환경에서 functional 및 객체지향 방식 기반의 점진적 컨텍스트 추론을 유지할 수 있는 방법을 제안한다. 이는 가정(Assumption)과 유도과정을 분산 환경에 저장하며, 실체화된 대용량 데이터셋의 변화를 효율적으로 수정가능하게 한다. 또한 ATMS의 Label, Environment를 분산 처리하여 대규모의 추론 과정을 효과적으로 관리할 수 있는 방안을 제시하고 있다. 제안하는 시스템의 성능을 측정하기 위해 5개의 노드로 구성된 클러스터에서 LUBM 데이터셋에 대한 OWL/RDFS 추론을 수행하고, 데이터의 추가, 설명, 제거에 대한 실험을 수행하였다. LUBM2000에 대하여 추론을 수행한 결과 80GB데이터가 추론되었고, ATMS에 적용하여 추가, 설명, 제거에 대하여 수초 내에 처리하는 성능을 보였다.

• 한국콘텐츠학회논문지
• /
• 제9권11호
• /
• pp.455-464
• /
• 2009

현재의 논문 중심적 학술정보 탐색의 한계에서 벗어나 저자 중심적 검색을 제공하기 위해서는 저자명이 갖는 동명이인의 문제가 해결되어야 한다. 그 해법으로 제시된 저자식별은 논문에 출현한 저자명 개체에 실세계 연구자에 대응하는 식별자를 부여하는 작업이다. 최근의 선도적 저자식별 연구들은 90%를 상회하는 식별 성능을 보고하고 있으나 실질적인 학술정보서비스에서 저자식별 기능이 탑재된 예는 거의 없다. 본 논문에서는 학술정보서비스에 보다 직접적으로 기여할 수 있는 광범위한 저자식별 연구를 위해 한국과학기술정보연구원에서 새롭게 구축한 대용량 저자식별 평가셋에 대해 기술한다. 평가셋은 DBLP 데이터에 출현한 고빈도 저자명들에 대해 웹 검색을 통한 수작업 식별 과정을 거쳐 만들어졌다. 현재 881개 저자명에 대해 수집된 41,673개의 저자명개체레코드로 구성되어 있으며 총 6,921명의 실세계 저자 식별자가 존재한다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.185-197
• /
• 2022

최근 객체 인식에 높은 성능을 가진 딥러닝 네트워크가 나오고 있다. 딥러닝을 이용한 객체 인식의 경우 성능 향상을 위해 학습 데이터 셋 구축이 중요하다. 데이터 셋을 구축하기 위해서는 이미지를 수집하고 라벨링 해야 한다. 이 과정은 많은 시간과 인력이 필요하다. 때문에 오픈 데이터 셋을 사용한다. 그러나 방대한 오픈 데이터 셋을 가지고 있지 않는 객체도 존재한다. 그 중 하나가 번호판 검출과 인식에 필요한 데이터이다. 이에 본 논문에서는 이미지를 최소화 하여 대용량 데이터 셋을 만들 수 있는 인조 번호판 생성기 시스템을 제안한다. 또한 인조 번호판 배치구조에 따른 검출률을 분석했다. 분석결과 가장 좋은 배치구조는 FVC_III, B이며 가장 적합한 네트워크는 D2Det이었다. 인조 데이터셋 성능은 실제 데이터셋의 성능보다 2~3%가 낮았지만, 인조 데이터를 구축하는 시간이 실제 데이터셋을 구축하는 시간보다 약 11배 빨라 시간적으로 효율적인 데이터 셋 구축 시스템임을 증명하였다.

• 한국컴퓨터정보학회논문지
• /
• 제14권6호
• /
• pp.135-142
• /
• 2009

테이터 마이닝은 대용량의 데이터 셋을 분석하기 위하여 새로운 이론, 기법, 분석 툴을 제공하는 전산 지능분야의 새로운 영역중 하나이다. 데이터 마이닝의 주요 기법으로는 연관규칙 탐사, 분류, 클러스터링 등이 있다. 그러나 이들 기법을 기존 연구 방법들처럼 개별적으로 사용하는 것보다는 통합화하여 규칙들을 자동적으로 발견해내는 방법론이 필요하다. 이런 데이터 규칙 추출 방법론은 대량의 데이터들을 분석하여 성공적인 의사결정을 내리는데 도움을 줄 수 있기에 많은 분야에 이용될 수 있다. 본 논문에서는 계층적 클러스터링 알고리듬과 러프셋 이론을 이용하여 대량의 데이터로부터 의미 있는 규칙들을 발견해 내는 자동적인 규칙 추출 방법론을 제안한다. 또한 UCI KDD 아카이브에 포함되어 있는 데이터 셋을 이용하여 제안하는 방법에 대하여 실험을 수행하였으며, 실제 생성된 규칙들을 예시하였다. 이들 자동 생성된 규칙들은 효율적인 의사결정에 도움을 준다.