• 제목/요약/키워드: 비정형자료

검색결과 104건 처리시간 0.141초

노이즈 필터링과 충분차원축소를 이용한 비정형 경제 데이터 활용에 대한 연구 (Using noise filtering and sufficient dimension reduction method on unstructured economic data)

  • 유재근;박유진;서범석
    • 응용통계연구
    • /
    • 제37권2호
    • /
    • pp.119-138
    • /
    • 2024
  • 본 연구는 노이즈 필터링과 차원축소 등의 방법을 이용하여 텍스트 지표의 정상화에 대해 검토하고 실증 분석을 통해 동 지표의 활용가능성을 제고할 수 있는 후처리 과정을 탐색하고자 하였다. 실증분석에 대한 예측 목표 변수로 월별 선행지수 순환 변동치, BSI 전산업 매출실적, BSI 전산업 매출전망 그리고 분기별 실질 GDP SA전기비와 실질 GDP 원계열 전년동기비를 상정하고 계량경제학에서 널리 활용되는 Hodrick and Prescott 필터와 비모수 차원축소 방법론인 충분차원축소를 비정형 텍스트 데이터와 결합하여 분석하였다. 분석 결과 월별과 분기별 변수 모두에서 자료의 수가 많은 경우 텍스트 지표의 노이즈 필터링이 예측 정확도를 높이고, 차원 축소를 적용함에 따라 보다 높은 예측력을 확보할 수 있음을 확인하였다. 분석 결과가 시사하는 바는 텍스트 지표의 활용도 제고를 위해서는 노이즈 필터링과 차원 축소 등의 후처리 과정이 중요하며 이를 통해 경기 예측의 정도를 높일 수 있다는 것이다.

인간 타석의 미세구조적 특징 (Ultrastructural Charateristics of a Human Sialolith)

  • 김현진;이수근;서봉직
    • Journal of Oral Medicine and Pain
    • /
    • 제24권4호
    • /
    • pp.375-385
    • /
    • 1999
  • 타석에 관한 연구는 타석증을 보이는 환자에 대한 임상적 특징, 진단 및 치료에서부터 타석의 성분 및 구조 등에 이르기까지 다양한 범위에 걸쳐 이루어지고 있다. 타석의 미세구조에 관한 연구는 타석의 미세구조가 다양한 형태인 것으로 보고되고 있으며, 특히 최근 타석증의 치료에 새롭게 소개되고 있는 체외충격파쇄석술은 타석의 구조에 따라 그 효과가 영향을 받을 수 있을 것으로 사료된다. 이에 저자는 인간 타석의 미세구조에 관한 기본 자료가 필요할 것으로 사료되어 한국인 중년 여성으로부터 적출된 악하선 타석을 광학현미경 및 주사전자현미경을 이용하여 미세구조적 특징을 관찰한 결과, 다음과 같은 결론을 얻었다. 1. 타석은 중심부의 핵, 핵 주변의 층상구조 및 외피막으로 이루어져 있었다. 2. 핵은 비정형의 중심과 상대적으로 균질의 외곽부위로 구성되어 있었다. 3. 핵 주변은 대부분 동심원적인 층상구조를 보였지만 일부분에서는 균질의 구조를 보였다. 4. 타석 단면의 전체직경과 중심부 핵의 직경은 각각 $3,500{\mu}m$$1,500{\mu}m$였고, 층상구조를 이루는 각 층의 두께는 위치에 따라 약 $10{\sim}40{\mu}m$ 이내였다.

  • PDF

학교폭력과 자살사고를 예방하기 위한 감성분석 시스템의 설계 (Design of a Sentiment Analysis System to Prevent School Violence and Student's Suicide)

  • 김영택
    • 컴퓨터교육학회논문지
    • /
    • 제17권6호
    • /
    • pp.115-122
    • /
    • 2014
  • 현 청소년들의 학교내 생활환경에서 문제점으로 대두되는 폭력 및 자살사고 발생률 증가에 대한 예방차원의 빅 데이터 처리 분석 시스템을 목표로 연구하였고 설계의 경제성과 용이성, 적용의 신속성 등을 고려해서 많은 이용률을 가지고 있는 오픈 소스인, 하둡 시스템(Hadoop system)의 맵리듀스(MapReduce) 알고리즘과 분산 병렬 환경을 위한 HDFS(Hadoop Distibuted File System) 구성을 사용하여 실험하였다. 연구에서 사용된 분석기법은 기존의 통계적인 분석기법들이 가지는 난이도를 피하기 위해 상업적인 사회 망의 비정형 대화 자료를 이용해서 폭력성 어휘에 대한 단어 수(word count) 분석을 적용하여 폭행, 자살사고를 사전에 감지하여 예방하는 감성분석(sentiment analysis) 시스템을 텍스트 마이닝 관점에서 제안하여 실험하였다.

  • PDF

하둡 보안 기술과 취약점 분석 (Hadoop Security Technologies and Vulnerability Analysis)

  • 김아용;하의륜;김한길;박만섭;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 춘계학술대회
    • /
    • pp.681-683
    • /
    • 2013
  • 스마트폰이 보급되어 빅 데이터(Big Data) 시대를 맞이하였고, 페이스북(FaceBook)이나 트위터(Twitter)같은 SNS(Social Network Service)를 실생활에서 일상화되어 사용하고 있다. 여기서 발생하는 SNS의 비정형 데이터를 버리지 않고 분석 및 추출하고 활용하기 위해서 아파치 재단에서 개발된 하둡(Hadoop)을 활용하고 있다. 하둡은 대량의 자료를 처리할 수 있는 오픈 소스 프레임워크(Open Source Framework)이다. 하둡은 국내의 기업에서도 도입하고 있으며 현재 개발 및 상용하고 있다. 그러나 하둡은 기술 개발에 비해 보안 분야는 미흡하다는 지적을 받고 있다. 이에 본 논문에서는 하둡의 보안 기술과 취약점을 분석하고 보안을 향상시키는 방법을 제안한다.

  • PDF

연관성 모델에 기반한 오피년마이닝 시스템의 설계 및 구현 (Design and Implementation of Opinion Mining System based on Association Model)

  • 김근형
    • 한국정보통신학회논문지
    • /
    • 제15권1호
    • /
    • pp.133-140
    • /
    • 2011
  • 특정 제품이나 서비스에 대한 네티즌의 의견들은 고객들의 구매 행위에서의 참고대상일 뿐만 아니라 기업 입장에서도 마케팅이나 경영전략을 수립하기 위한 중요한 자료가 될 수 있기 때문에 온라인 고객리뷰를 분석하는 것은 매우 중요하다. 본 논문에서는 비정형(unformatted) 데이터형인 자연어(natural language) 형태로 웹상에 게시된 고객 의견들을 분석할 수 있는 새로운 오피년마이닝 기법을 제안한다. 기존 데이터마이닝 기법 중의 하나인 연관규칙탐사 기법을 수정하여 오피년마이닝 과정에 보다 효율적이고 효과적으로 적용하기 위한 방안을 고찰하고 이를 기반으로 실제 시스템을 설계하고 구현하였다.

코로나19 판데믹 이후 컨테이너선 운임 상승 요인분석: 텍스트 분석을 중심으로 (Analysis of Factors Affecting Surge in Container Shipping Rates in the Era of Covid19 Using Text Analysis)

  • 나진성
    • 한국산업정보학회논문지
    • /
    • 제27권1호
    • /
    • pp.111-123
    • /
    • 2022
  • 코로나19 판데믹 상황에서 컨테이너선 운임은 유례없는 큰 폭의 상승세를 보이고 있다. 컨테이너선 운임 상승 요인에 대해서 다양한 분석이 이루어지고 있으나, 비정형 데이터인 텍스트 자료를 활용한 분석은 전무한 상황이다. 따라서 본 연구에서는 관련 기사들을 대상으로 최근의 컨테이너선 운임 상승의 요인들을 텍스트 마이닝 기법중 하나인 네트워크 텍스트 분석과 LDA 토픽 모델링을 통해 파악하였다. 2020년 1월부터 2021년 7월까지 로이즈리스트에 게재된 기사들을 대상으로 텍스트 분석을 하였다. 분석 결과, 중국과 미국의 무역마찰, 글로벌 생산감소를 예측한 글로벌 선사들의 급격한 기항 횟수의 감소와 임시결항의 증가, 터미널 혼잡, 수에즈 운하 봉쇄와 같은 예기치 못한 사고들이 주요 원인으로 분석되었다.

빅데이터 기반 항공 수요예측 통합 플랫폼 설계 및 실증 (P-TAF: A Big Data-based Platform for Total Air Traffic Forecast)

  • 정주익;손석현;차희준
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.281-282
    • /
    • 2021
  • 본 논문에서는 항공 수요예측을 위한 빅데이터 기반 플랫폼의 설계 및 실증 결과를 제시한다. 항공 수요예측 통합 플랫폼은 항공산업 관련 데이터를 Open API, RSS Feed, 웹크롤러(Web Crawler) 등을 이용하여 수집 및 분석하여 자체 개발한 항공 수요예측 알고리즘을 기반으로 결과를 시각화하여 보여주도록 구현되어 있다. 또한, 제안하는 플랫폼의 사용자 인터페이스를 통해 변수 설정을 하여 단위별(Global, National 등), 기간별(단기, 중장기 등), 유형별(여객, 화물 등) 예측 통계 자료를 도출할 수 있다. 플랫폼의 성능 검증을 위해 정형화된 데이터를 비롯하여 소셜네트워크서비스(SNS), 검색엔진 등에서 수집한 비정형 데이터까지 활용하여 특정 키워드의 빈도와 특정 노선에 대한 항공 수요간 상관관계를 분석하였다. 개발한 통합 플랫폼의 지능형 항공 수요예측 알고리즘을 통해 전반적인 공항 운영 및 공항 운영 정책 수립에 기여할 것으로 예상한다.

  • PDF

인공지능 기반 사회 통계 생산 방법론 고도화 방안: 가계동향조사와 생활시간조사 사례 (Advancing Societal Statistics Processing Methodology through Artificial Intelligence: A Case Study on Household Trend Survey and Time Use Survey)

  • 오교중;최호진;김일구;한승우;김건수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.563-567
    • /
    • 2023
  • 본 연구는 한국 통계청이 수행하는 가계동향조사와 생활시간조사에서 자료처리 과정 및 방법을 혁신하려는 시도로, 기존의 통계 생산 방법론의 한계를 극복하고, 대규모 데이터의 효과적인 관리와 분석을 가능하게 하는 인공지능 기반의 통계 생산을 목표로 한다. 본 연구는 데이터 과학과 통계학의 교차점에서 진행되며, 인공지능 기술, 특히 자연어 처리와 딥러닝을 활용하여 비정형 텍스트 분류 방법의 성능을 검증하며, 인공지능 기반 통계분류 방법론의 확장성과 추가적인 조사 확대 적용의 가능성을 탐구한다. 이 연구의 결과는 통계 데이터의 품질 향상과 신뢰성 증가에 기여하며, 국민의 생활 패턴과 행동에 대한 더 깊고 정확한 이해를 제공한다.

  • PDF

우울과 스트레스에 관한 국내 연구 분석 : 치료와 대상자를 중심으로 (Analysis of Domestic Research on Depression and Stress : Focused on the Treatment and Subjects)

  • 조남희;나은영
    • 융합정보논문지
    • /
    • 제7권6호
    • /
    • pp.53-59
    • /
    • 2017
  • 본 연구는 우울 및 스트레스와 관련된 국내 연구를 파악하기 위해 시도되었다. 분석대상은 2016년 11월 30일을 기준으로 우울, 스트레스 키워드로 검색된 1,875편의 국회도서관 등재 학위논문으로 하였다. 분석방법은 텍스트마이닝 기법의 하나인 워드 클라우드로 비정형 자료를 시각화하였다. 또한, 치료와 대상자를 분류하기 위해서는 잠재디리클레 할당(LDA), R의 LDA패키지를 사용하였다. 분석 결과, 치료 관련 키워드를 가지고 있는 논문은 전체 논문 중 233건(12.4%)이었다. 치료방법의 적용은 미술치료, 음악치료, 원예치료, 인지행동치료, 임상미술치료, 인지치료, 심리치료, 우울증치료, 집단치료, 웃음치료 순으로 나타났다. 연구 대상자는 청소년, 노인, 환자, 어머니, 아동, 여성, 부모, 대학생 순으로 나타났다. 청소년을 대상으로 한 LDA 토픽분석 결과 자아지지, 치료프로그램, 관계효과, 변인연구의 4개의 토픽으로 분류되었다. 본 연구 결과는 우울과 스트레스 관련 향후 연구에서 연구 대상자와 주제의 다양화 및 새로운 치료방법의 적용과 개발을 탐색하는 기초자료로 활용될 수 있을 것으로 기대된다.

텍스트 마이닝 기법을 이용한 경찰청 업무 트렌드 분석 (Analysis of the National Police Agency business trends using text mining)

  • 선현석;임창원
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.301-317
    • /
    • 2019
  • 최근 통계적인 기법을 이용하여 대량으로 생산되고 있는 텍스트 데이터를 통해 다양한 인사이트 발굴을 하기 위한 연구가 활발히 진행되고 있다. 본 연구는 경찰청에서 생산하는 텍스트 데이터를 통해 연도별 경찰청의 업무 트렌드를 파악하고, 각 지방청별로 생산되는 문서에서 주요 키워드를 파악하여 지방청 간의 업무 특성을 비교하고자 하였다. 의미 있는 결론을 도출하기 위해 각 자료 특성에 맞는 전처리 과정을 시행하고 문서별 단어 빈도수를 계산하였다. 문서에 나타난 키워드의 단순 출현 빈도로는 해당 키워드가 문서에서 갖는 중요도를 설명하기 힘들기 때문에 단어-역문서 가중치를 이용하여 각 단어에 대한 빈도수를 새롭게 계산하였고 단어의 문서별 및 연도별 빈도 비교를 위해 L2 정규화 기법을 이용하였다. 이러한 분석은 향후 경찰청 업무 개선 정책에 새롭게 활용될 수 있는 기초 자료로 사용될 수 있으며, 경찰청 업무 효율성 향상 및 청내 업무 개선 수요 파악을 위한 방법으로 활용될 수 있다.