• 제목/요약/키워드: 텍스트 전처리

검색결과 154건 처리시간 0.031초

유전 알고리즘 기반의 비정상 행위 탐지를 위한 특징선택 (Feature Selection for Anomaly Detection Based on Genetic Algorithm)

  • 서재현
    • 한국융합학회논문지
    • /
    • 제9권7호
    • /
    • pp.1-7
    • /
    • 2018
  • 데이터 전처리 기법 중 하나인 특징 선택은 대규모 데이터셋을 다루는 다양한 응용분야에서 주요 연구 분야 중 하나로 각광받고 있다. 특징 선택은 패턴 인식, 기계학습 및 데이터 마이닝에서 사용됐고, 최근에는 텍스트 분류, 이미지 검색, 침입 탐지 및 게놈 분석과 같은 다양한 분야에 널리 적용되고 있다. 제안 방법은 메타 휴리스틱 알고리즘 중의 하나인 유전 알고리즘을 기반으로 한다. 특징 부분 집합을 찾는 방법은 크게 필터(filter) 방법과 래퍼(wrapper) 방법이 있는데, 본 연구에서는 최적의 특징 부분 집합을 찾기 위해 실제 분류기를 사용한 평가를 하는 래퍼 방법을 사용한다. 실험에 사용한 훈련 데이터셋은 클래스 불균형이 심하여 희소클래스에 대한 분류 성능을 높이기 어렵다. SMOTE 기법을 적용한 훈련 데이터셋을 사용하여 특징 선택을 하고 다양한 기계학습 알고리즘을 사용하여 선택한 특징들의 성능을 평가한다.

기업의 해외 진출 전략 연구 동향 (A Study on Trend of Overseas Expansion Strategy Research)

  • 서동필;김범석
    • 한국융합학회논문지
    • /
    • 제11권1호
    • /
    • pp.279-284
    • /
    • 2020
  • 기술의 발전은 많은 변화를 가져오고 있다. 한국의 경제성장과 더불어 국내 기업들이 과거와는 다르게 해외로의 진출이 활발해지고 있다. 최근에는 한류에 힘입어 동남아 시장을 중심으로 대기업 외에도 많은 중소 및 중견기업들이 진출하고 있다. 본 연구에서는 기업의 해외 진출 전략 동향을 파악하고자, 외국의 학술 데이터베이스인 scopus 활용하였다. 해외진출 전략이라는 단어를 제목으로 검색을 하고 이를 통해 총 153개의 논문의 초록을 확보하였다. 확보된 초록 논문을 전처리를 통해 분석에 가능한 데이터로 만들고 KoNLP를 활용하여 분석을 수행하였다. 분석결과 중요한 키워드가 10개 도출이 되었다. 본 연구의 결과는 기업들이 해외 진출에 대한 연구 동향을 파악하는데 목적이 있으며, 이를 통해 연구자들에게 해외 진출 전략의 동향을 제공하는데 그 목적이 있다. 이 연구는 향후 해외진출 전략에 대한 연구를 위한 가이드라인을 제공할 것으로 기대된다.

안드로이드 OS 기반 한국어 TTS 서비스의 설계 및 구현 (Implementation of Korean TTS Service on Android OS)

  • 김태권;김봉완;최대림;이용주
    • 한국콘텐츠학회논문지
    • /
    • 제12권1호
    • /
    • pp.9-16
    • /
    • 2012
  • 국내에서 출시된 안드로이드 기반의 스마트폰은 한국어 TTS 엔진이 내장되어 있지 않고, 구글에서도 공식적인 한국어 TTS 기술 개발을 발표하지 않고 있는 상황이다. 따라서 안드로이드 스마트폰을 사용하는 어플리케이션 개발자 및 사용자들의 불편이 갈수록 심해져 가고 있다. 본 논문은 안드로이드 기반의 스마트폰에서 서비스할 수 있는 TTS시스템의 설계 및 구현에 대해 기술하였다. 신속 명료한 TTS를 위해 안드로이드 NDK를 이용하여 텍스트 전처리와 합성음 생성 라이브러리를 구현하였다. 또한, 자바의 스레드 기법과 스트림을 적용한 AudioTrack 클래스 객체를 사용하여 TTS 응답시간을 최소화 하였다. 구현된 한국어 TTS 서비스를 테스트하기 위해 수신된 문자메시지를 읽어주는 어플리케이션을 설계 및 개발하였다. 평가 결과, 임의의 문장에 대해 자연스러운 합성음을 생성하였으며, 실시간 청취가 가능하였다. 또한, 어플리케이션 개발자들은 구현된 한국어 TTS 서비스를 이용하여 음성을 통한 정보 전달을 손쉽게 적용할 수 있다. 본 논문에서 구현한 한국어 TTS 서비스는 기존 제한적 음성합성 방식의 어플리케이션의 단점을 개선하였으며, 음성을 통한 정보전달 어플리케이션 개발자 및 사용자들에게 사용성과 편의성을 제공할 수 있다.

중소기업융합학회 수록 논문의 연구동향에 대한 계량서지학적 분석 (Bibliometric Analysis on the Research Trends in Journal of Convergence for Information Technology)

  • 김신희
    • 융합정보논문지
    • /
    • 제10권7호
    • /
    • pp.122-130
    • /
    • 2020
  • 본 연구는 중소기업융합학회에 수록된 논문을 대상으로 계량서지학적 분석을 실시함으로써 융합연구에 대한 동향 및 추세를 파악하는 것을 목적으로 한다. 2012~2019년까지 수록된 792편의 논문자료를 수집하였으며, 텍스트 마이닝을 통해 명사 및 복합명사를 추출하고 3차의 전처리 및 정제과정을 거쳐 중심성을 활용한 연결망 분석을 실시하였다. 핵심 연구결과에 따르면 첫째, 2016년 이후 연구의 양적·질적 측면이 향상되었으며, 영향, 융합, 매개효과, 만족, 효과연구가 중점을 이루었다. 둘째, 전반기(2012~2015년)에는 정보, 시스템, 보안 등의 주제를 토대로 공학 및 기술측면의 연구가 집중적으로 수행되어졌다. 셋째, 후반기(2016~2019년)에는 대학생, 부모, 청소년 등을 대상으로 직무, 자기효능감, 교육, 만족, 우울, 스트레스 등을 주제로 연구범위가 확장되어졌다. 본 연구결과는 기존의 연구동향을 파악하는 것과 더불어 신규 연구영역의 확장에 필요한 정보를 제공하는데 의의가 있다.

현대 한국어에서 아라비안 숫자의 읽기 규칙 연구 (A Study on the Arabic numeral reading rules in Modern Korean)

  • 정영임;김정세;김상훈;이영직;윤애선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.16-23
    • /
    • 2002
  • 본 논문에서는 아라비안 숫자를 포함한 텍스트를 음성으로 합성하기 위하여, 숫자 형태와 분류사 그리고 숫자가 나오는 문맥에 따라 숫자를 자동으로 문자화할 수 있는 전처리 규칙을 설정하는데 목적을 둔다. 먼저 선행연구를 통해 숫자를 포함한 수사 및 수사표현의 읽기 규칙의 적용 범위 및 한계점을 살펴보고, 음성 합성을 위한 아라비안 숫자의 문자화 규칙을 설정하고자 한다. 현대 한국어에서 아라비안 숫자를 읽는 방식은 크게 고유어 방식과 한자어 방식이 있으며 단(單)단위에서는 영어가 사용되기도 한다. 또한 한자어 방식에서도 단위를 붙여 읽는 경우와 모든 수를 단 단위로 읽는 경우가 있으므로, 아라비안 숫자의 문자화를 단순한 규칙을 설정하여 자동화하기에는 중의성이 높다. 본 연구에서는 (1) 숫자 전 전치어(pre-numeral), (2) 기호를 포함한 숫자열의 표현 형식과 크기, (3) 단위 표현, (4) 숫자 후치어(post-numeral), (5) 분류사(classifier) (6) 분류사 후치어(post-classifier), (7) 수사표현 앞뒤 문맥에 따라, 아라비안 숫자표현이 문자화되는 방식을 살펴보았다. 분석 대상 말뭉치는 C 신문의 2000년 1월부터 2000년 4월까지 전체 기사 1,400건에서 숫자가 포함된 숫자표현 약 63,000개론 구성하였다. 패턴화된 구조 및 중의성이 없는 구조를 12가지로 밝히고 중의성이 있는 구조의 유형을 밝혔으며 분류사 후치어와의 결합 관계, 좌우 문맥정보를 통해 중의성 해결의 단서를 제시하고자 하였다.

  • PDF

인터넷 웹페이지의 음성합성을 위한 엔진 및 플러그-인 설계 및 구현 (Design and Implementation of a Speech Synthesis Engine and a Plug-in for Internet Web Page)

  • 이희만;김지영
    • 한국정보처리학회논문지
    • /
    • 제7권2호
    • /
    • pp.461-469
    • /
    • 2000
  • 본 논문은 인터넷 웹페이지의 텍스트 정보를 추출하여 이를 음성으로 합성하기 위한 음성합성 엔진 및 넷스케이프 플러그인의 설계 및 구현에 관한 것이다. 인터넷 웹페이지를 음성으로 합성하는 방법은 audio/x-esp MIME 타입을 임베딩한 웹페이지가 발견되면서 이에 상응하는 플러그-인이 작되며 해당 플러그인은 URL로 지정된 HTML 문서를 네트워크에서 가져와 컴맨더 모브젝트에 보내교, 컴맨더 오브젝트는 HTML 문서를 파싱하여 합성엔진 제어용 TAG를 추출한다. 제어용 TAG에는 음성합성 데이터베이스 변경 및 합성음의 길이 또는 피치조절 파라미터 등의 정보를 갖고 있어 동적으로 합성음을 제어할 수 있다. 또한 컴맨더 오브젝트는 HTML 문서 내부의 특정 태그로 지정된 문장을 추출하여 전처리 과정을 수행한 후 합성엔진을 위한 컴맨드 스트림을 발생한다. 음성합성엔진은 컴맨드 스트림을 훼치(Fetch)하여 명령어를 해석하고 해당 명령어를 상응하는 멤버함수를 실행하여 음성을 합성한다. 컴맨더 오브젝트와 음성합성엔진은 각각 독립적인 객체로 설계하여 이식성과 유연성을 높인다.

  • PDF

Spark 프레임워크 기반 비정형 빅데이터 토픽 추출 시스템 설계 (A Design on Informal Big Data Topic Extraction System Based on Spark Framework)

  • 박기진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.521-526
    • /
    • 2016
  • 온라인상에서 다루어지는 비정형 텍스트 데이터는 대용량이면서 비구조적 형태의 특성을 가지고 있기 때문에, 기존 관계형 데이터 모델의 저장 방식과 분석 방법만으로는 한계가 있다. 더군다나, 동적으로 발생하는 대량의 소셜 데이터를 활용하여 이용자의 반응을 실시간으로 분석하기란 어려운 상황이다. 이에 본 논문에서는 대용량 비정형 데이터(문서)의 의미를 빠르고, 용이하게 파악하기 위하여 데이터 셋에 대한 사전학습 없이, 문서 내 단어 비중에 따라 자동으로 토픽(주제)이 추출되는 시스템을 설계 및 구현하였다. 제안된 시스템의 토픽 모델링에 사용될 입력 단어는 N-gram 알고리즘에 의하여 도출되어 복수 개의 단어도 묶음 처리할 수 있게 했으며, 또한, 대용량 비정형 데이터 저장 및 연산을 위하여 Hadoop과 분산 인메모리 처리 프레임워크인 Spark 기반 클러스터를 구성하여, 토픽 모델 연산을 수행하였다. 성능 실험에서는 TB급의 소셜 댓글 데이터를 읽어 들여, 전체 데이터에 대한 전처리 과정과 특정 항목의 토픽 추출 작업을 수행하였으며, 대용량 데이터를 클러스터의 디스크가 아닌 메모리에 바로 적재 후, 처리함으로써 토픽 추출 성능의 우수성을 확인할 수 있었다.

ArcGIS Model Builder를 이용한 기후변화시나리오 강수누락지역의 보간강수량 생성 (Generation of Interpolated Precipitation Data using ArcGIS Model Builder in Not Covered Area of Climate Change Scenario)

  • 장동우;박효선;정지성;조성윤
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.518-518
    • /
    • 2015
  • 이 연구에서는 ESRI사의 ArcGIS 프로그램을 이용하여, 한반도 남한지역 중 기후변화시나리오에 의한 강수량이 제공되지 않는 해안선지역에 대해 기후변화시나리오를 이용하여 장래 강수량을 생성할 수 있는 모형을 개발하였다. 기상청에서 제공하는 기후변화 시나리오에 의한 장래강수데이터의 경우 복잡한 해안선지역에 대해 장래 강수데이터를 제공하고 있지 않기 때문에 최근의 지형도를 적용하여 기상청에서 제공하지 않는 지역에 대해 보완격자를 생성하고, 공간보간 기법을 이용하여 이를 해결할 수 있다. 1km 격자단위의 강수데이터를 생성하기 위하여 GIS내에 여러 툴(tools)의 기능을 단계적으로 모형화하여 순서화된 작업을 자동적으로 수행할 수 있는 model builder를 사용하였다. 데이터 변환작업을 위한 전처리, 데이터 보간 추출 기능과 공간보간기법을 적용하여 기후변화 시나리오가 적용된 데이터누락지역에서의 장래 강수예측데이터를 생성할 수 있도록 하였다. 기상청에서 제공하는 RCP 8.5 시나리오를 이용하였고, 일부 해안선과 섬 지역에 대해 장래강수량을 생성할 수 있는 보간기법이 적용된 모형으로 한반도 남한지역 중 강수자료가 제공되지 않는 총 4,186개의 격자에 대해 적합한 공간보간기법을 선택하여, 일단위 및 월단위 강수자료를 생산할 수 있도록 하였다. 기상청에서 제공하는 강수데이터의 경우 'ASCII' 파일 형식으로 기후변화 데이터를 제공하기 때문에 사용자가 별도의 프로그램을 이용하여 강수예측자료를 얻어야 하는 문제가 있다. 강수예측자료를 텍스트파일 형태로 사용자가 원하는 좌표를 선택 한 후 데이터를 추출할 수 있도록 격자화하여 저장되도록 하였다.

  • PDF

오픈소스 코드를 이용한 통합 전산유체역학 환경 구축 (Development of Integrated Computational Fluid Dynamics(CFD) Environment using Opensource Code)

  • 강승훈;손성만;오세홍;박원만;최청열
    • 융합보안논문지
    • /
    • 제18권1호
    • /
    • pp.33-42
    • /
    • 2018
  • CFD 해석 기술은 열 또는 유체 유동과 관련한 산업 전분야에 걸친 제품의 설계, 개발 시에 컴퓨터를 응용하는 해석기술로서, 컴퓨터를 이용한 가상 시험 (시뮬레이션)을 통해 개발기간 단축, 비용절감 등을 이루고자 활용되고 있다. 그러나 CFD 해석을 위해서는 고가의 외산 상용 CFD 소프트웨어의 사용이 일반적이다. 이에 대한 대안으로 Opensource 기반의 CFD 소프트웨어가 있으나 텍스트 인터페이스 환경만을 지원하기 때문에 전문적인 지식을 가진 사용자만이 사용 가능하다. 이에 본 기술개발에서는 상용 CFD 해석 소프트웨어 수준의 신뢰도를 가지며, 국내외적으로 많은 사용자를 확보하고 있는 Opensource 기반의 CFD 소프트웨어인 OpenFOAM에 대하여 그래픽 기반 환경 설정을 지원하도록 구성하여 전문가뿐만 아니라 초보자도 쉽게 CFD 해석 환경의 구축이 가능하도록 하는 환경을 개발하였다. 또한 개발된 시스템은 CFD 해석을 위한 전처리(형상 및 격자생성) 환경과 후처리(결과 분석 및 가시화)를 위한 환경을 연계를 지원하여 하나의 플랫폼안에서 통합된 CFD 해석 프로세스가 가능하도록 지원한다.

  • PDF

소셜 빅데이터로 알아본 코로나19와 가족생활: 토픽모델 접근 (COVID-19 and Korean Family Life on Social Media: A Topic Model Approach)

  • 박선영;이재림
    • 한국콘텐츠학회논문지
    • /
    • 제21권3호
    • /
    • pp.282-300
    • /
    • 2021
  • 본 연구의 목적은 코로나19 확산으로 가족생활에서 급격한 변화가 일어난 1차 확산기에 블로그와 온라인 카페에 게시된 소셜 빅데이터를 분석하여 키워드를 파악하고, 게시글에 잠재된 주요 토픽을 발견하는 것이다. 강화된 사회적 거리두기가 처음 시행되었던 2020년 2월 23일부터 4월 19일까지 네이버와 다음의 블로그 및 카페에 게시된 글 중 '코로나'와 '가족' 또는 '코로나'와 '가정'이 함께 언급된 문서 총 351,734건을 분석하였다. 수집된 데이터는 전처리를 거쳐 텍스트 마이닝 기법으로 분석하였다. TF-IDF 가중치 값을 바탕으로 상위 100개 단어를 살펴보았으며, 잠재디리클레할당 방식의 토픽모델 분석을 통해 총 22개 토픽을 도출하고 토픽명을 부여하였다. 연구결과, 코로나19가 가족의 일상생활에 미친 전방위적 영향이 나타났으며, 특히 식생활, 주거생활, 여가생활, 종교생활, 자녀돌봄, 자녀교육, 가족관계, 가족의례 등에서 변화가 두드러졌다. 더불어, 가족 관련 국내 문헌에서는 잘 논의되지 않던 건강공동체로서의 가족을 시사하는 토픽도 등장하였다.