• 제목/요약/키워드: big data service

검색결과 1,023건 처리시간 0.029초

하둡 기반 빅 데이터 기법을 이용한 웹 서비스 데이터 처리 설계 및 구현 (Design and Implementation of an Efficient Web Services Data Processing Using Hadoop-Based Big Data Processing Technique)

  • 김현주
    • 한국산학기술학회논문지
    • /
    • 제16권1호
    • /
    • pp.726-734
    • /
    • 2015
  • 데이터를 구조화하여 사용하는 관계형 데이터베이스가 현재까지 데이터 관리에 가장 많이 사용되고 있다. 그러나 관계형 데이터베이스는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 나타난다. 또 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게 된다. 본 논문에서는 관계형 데이터베이스의 데이터 증가로 느려지는 웹 정보서비스 개선을 위해 기존 관계형 데이터베이스의 데이터를 하둡 HDFS로 전송하고 이를 일원화하여 데이터를 재구성한 후 사용자에게 하둡 데이터 처리로 대량의 데이터를 빠르고 안전하게 추출하는 모델을 구현한다. 본 시스템 적용을 위해 웹 기반 민원시스템과 비정형 데이터 처리인 이미지 파일 저장에 본 제안시스템을 적용하였다. 적용결과 관계형 데이터베이스 시스템보다 제안시스템 데이터 처리가 0.4초 더 빠른 결과를 얻을 수 있었고 기존 관계형 데이터베이스와 같은 대량의 데이터를 처리를 빅 데이터 기법인 하둡 데이터 처리로도 웹 정보서비스를 지원이 가능하였다. 또한 하둡은 오픈소스로 제공되어 소프트웨어 구매 비용을 줄여주는 장점이 있으며 기존 관계형 데이터베이스의 데이터 증가로 효율적인 대용량 데이터 처리를 요구하는 조직에게 도움을 줄 수 있을 것이다.

토픽모델링 기반의 국내외 미래 자동차 연구동향 비교 분석: CASE 키워드 중심으로 (Analysis of domestic and foreign future automobile research trends based on topic modeling)

  • 정호정;김건욱;김나경;장원준;정원웅;박대영
    • 디지털융복합연구
    • /
    • 제20권5호
    • /
    • pp.463-476
    • /
    • 2022
  • 과거 산업화 이후 자동차 산업은 내연기관 중심의 지속적인 성장을 하였으나, 최근 4차 산업혁명으로 큰 변화를 맞이하고 있다. 대다수의 기업들이 전기 자동차, 자율주행으로의 전환을 준비하고 있으며, 현시점에서 국내와 국외의 미래 자동차 연구동향을 비교 분석할 필요가 있다. 이에 본 연구에서는 미래 자동차 트렌드를 대표하는 CASE(Connectivity, Autonomous, Sharing, Electrification)와 관련된 키워드가 포함된 국내 4,002건, 국외 68,372건 논문을 수집하여 LDA 알고리즘 기반의 토픽모델링을 수행하였으며, 국내외 미래 자동차 연구동향을 비교 분석하여 정책적 시사점을 제시하였다. 분석 결과 국내의 경우 교통 인프라, 도시 내 교통효율, 교통정책 등과 같은 거시적인 측면에서의 연구가 주를 이루는 것으로 나타났으며, 국외는 객체인식, 사물인터넷, 전기자동차 소음 등의 차량기술과 관련된 연구가 활성화되고 있음을 확인할 수 있었다. 이를 통해 국내 공유자동차 부문에 있어 MaaS(Mobility-as-a-Service)와 관련한 정부의 기술지원이 필요하고 교통수단별 데이터 개방 필요성 등에 대하여 제시하였고, 이러한 분석결과는 미래 자동차 산업을 위한 기초자료로 활용될 수 있을 것으로 판단된다.

빅데이터를 활용한 언택트 시대의 1인 콘텐츠 유통 사례 분석 (A Case Study on the Distribution of Cultural Contents in the Untact Era Using Big Data)

  • 왕덕원;김정현;손혜지;전민준;최훈
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.301-302
    • /
    • 2021
  • 코로나19 사태 이후, '사회적 거리두기'가 시행되면서 기존의 '대중문화'나 예능 프로그램들이 양방향 커뮤니케이션을 하지 못하게 되며 쇠퇴하게 되었다. 이후 생겨난 '언택트 콘텐츠'는 BTS의 '방방콘'과 같은 언택트 공연이나 글로벌한 OTT(온라인 동영상 서비스)인 넷플릭스의 급성장 등으로 성장 가능성을 보여주고 있다. 또한 글로벌하고 언택트한 콘텐츠들은 대부분 온라인과 디지털에서 이루어지며 이는 엄청난 양의 빅데이터를 쏟아내게 된다는 것을 의미한다. 따라서 언택트 콘텐츠의 유통과정에서 쏟아지는 빅데이터를 분석하는 것은 소비자의 니즈를 파악하는 것에 많은 도움이 되며, 이에 따른 성장 기대치 또한 높을 것이다. 그래서 우리는 해당 연구주제와 관련해 기존 연구에서 진행되었던 연구 사례들을 찾아보고, 이를 통해 빅데이터가 언택트 시대의 콘텐츠 유통에 어떤 영향을 미칠 수 있을 것인지에 대해 분석하고자 한다.

  • PDF

빅데이터를 활용한 요양보호사의 서비스질 인식에 관한 연구 (A Study on the Perception of Quality of Care Services by Care Workers using Big Data)

  • 조한아
    • 대한치위생과학회지
    • /
    • 제6권1호
    • /
    • pp.13-25
    • /
    • 2023
  • 연구배경: 본 연구는 비정형 빅데이터를 활용하여 노인장기요양보험의 직접적 서비스 인력인 요양보호사의 서비스질 관리를 확인하고자 수행되었다. 연구방법: 요양보호사의 서비스질과 관련된 소셜 비정형 데이터를 텍스톰을 사용하여 수집·분석하였다. 데이터를 크롤링하여 수집된 상위 50개 키워드들 간의 빈도분석, TF-IDF, 중심성 분석, 의미연결망분석과 CONCOR 분석을 실시하였다. 연구결과: 빈도분석 결과 상위권에 속한 키워드는 '요양서비스' '요양보호사', '서비스질', '요양보호', '장기요양기관', '향상', '어르신', '처우', '개선', '필요' 였으며, 연결중심성과 위세중심성 분석결과도 거의 동일한 순위로 확인되었다. CONCOR 분석결과 4개의 그룹으로, 요양서비스질 개선, 요양서비스 운영, 요양서비스 제도, 요양보호사의 심리적인 부분에 대한 인식이 높은 것으로 나타났다. 결론: 본 연구는 요양보호사의 서비스질과 관련한 인식을 의미있는 그룹으로 제시하였으며 이는 요양보호사 서비스질 향상을 위한 다각적인 방향성 수립에 기여할 것으로 판단된다.

무점포 창업자 지원을 위한 비대면 기반의 지능형 빅데이터 융합 서비스 설계 (Design of Intelligent Big data Convergence Service to Support Non-store Founders based on Non-face-to-face)

  • 구현모;홍지연;강철수
    • 미래기술융합논문지
    • /
    • 제2권2호
    • /
    • pp.1-8
    • /
    • 2023
  • 최근 장기적인 경기 침체로 인해 창업비용의 부담이 적은 무점포 창업에 예비창업자들이 집중되면서 무점포 및 통신판매업자가 증가하고 있다. 특히, 자금이 부족한 청년 실업자나 가정주부 외에도 '투잡'을 희망하는 직장인들이 많이 뛰어들고 있는 추세이다. 따라서, 본 논문에서는 특정 네트워크, 사업자 및 서비스 종류에 종속되는 공급자 중심의 서비스 플랫폼에서 탈피하여 공유와 참여를 통해 도·소매 무점포 창업자의 사업 지원과 수익 창출에 기여하는 판촉물 산업의 B2B 서비스를 제공할 수 있는 사업 통합 지원 시스템을 설계하고자 한다. 제안한 시스템은 안정적인 운영관리 서비스가 제공될 수 있는 오케스트레이션 및 서비스 관리 기술, 엔터프라이즈 비즈니스 파트너 관리 기술을 적용한 업무 통합 운영 지원 시스템이 될 것으로 판단된다.

Association Between Persistent Treatment of Alzheimer's Dementia and Osteoporosis Using a Common Data Model

  • Seonhwa Hwang;Yong Gwon Soung;Seong Uk Kang;Donghan Yu;Haeran Baek;Jae-Won Jang
    • 대한치매학회지
    • /
    • 제22권4호
    • /
    • pp.121-129
    • /
    • 2023
  • Background and Purpose: As it becomes an aging society, interest in senile diseases is increasing. Alzheimer's dementia (AD) and osteoporosis are representative senile diseases. Various studies have reported that AD and osteoporosis share many risk factors that affect each other's incidence. This aimed to determine if active medication treatment of AD could affect the development of osteoporosis. Methods: The Health Insurance Review and Assessment Service provided data consisting of diagnosis, demographics, prescription drug, procedures, medical materials, and healthcare resources. In this study, data of all AD patients in South Korea who were registered under the national health insurance system were obtained. The cohort underwent conversion to an Observational Medical Outcomes Partnership-Common Data Model version 5 format. Results: This study included 11,355 individuals in the good persistent group and an equal number of 11,355 individuals in the poor persistent group from the National Health Claims database for AD drug treatment. In primary analysis, the risk of osteoporosis was significantly higher in the poor persistence group than in the good persistence group (hazard ratio, 1.20 [95% confidence interval, 1.09-1.32]; p<0.001). Conclusions: We found that the good persistence group treated with anti-dementia drugs for AD was associated with a significant lower risk of osteoporosis in this nationwide study. Further studies are needed to clarify the pathophysiological link in patients with two chronic diseases.

온라인 상에 공개된 부분 익명화된 빅데이터의 프라이버시 침해 가능성 분석 (Analysis of Privacy Violation Possibility of Partially Anonymized Big Data)

  • 정강수;박석;최대선
    • 정보보호학회논문지
    • /
    • 제28권3호
    • /
    • pp.665-679
    • /
    • 2018
  • 정보통신의 발전, 특히 무선인터넷 기술과 스마트폰의 보급에 따라 디지털 데이터가 증가하면서, 온라인 빅데이터 개인정보 문제 즉, 개인 민감정보의 온라인 노출과 이로 인한 프라이버시 침해에 대한 우려 역시 높아지고 있다. 본 논문은 포털 서비스를 중심으로 국내 인터넷 환경에 공개된 온라인 빅데이터의 개인정보 침해 현황에 대한 분석을 수행하고 프라이버시 침해 가능성을 평가하기 위한 척도를 제시하였다. 이를 위하여 본 연구팀은 포털 사이트에서 제공하는 서비스 컨텐츠 중 약 5천만건의 사용자 게시글을 수집하여 개인정보에 해당하는 정보를 추출하고, 추출된 개인 정보를 기반으로 각 사용자의 ID가 부분 익명화 되었음에도 개인을 특정할 수 있는 신상 정보가 노출될 수 있음을 확인하였다. 또한 부분 익명화된 ID를 사용하여 서비스간 개인 정보의 연결 가능성과 개인 신상 정보 노출 수준을 반영한 위험도 측정 척도를 제안하였다.

Global Manager - A Service Broker In An Integrated Cloud Computing, Edge Computing & IoT Environment

  • Selvaraj, Kailash;Mukherjee, Saswati
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권6호
    • /
    • pp.1913-1934
    • /
    • 2022
  • The emergence of technologies like Big data analytics, Industrial Internet of Things, Internet of Things, and applicability of these technologies in various domains leads to increased demand in the underlying execution environment. The demand may be for compute, storage, and network resources. These demands cannot be effectively catered by the conventional cloud environment, which requires an integrated environment. The task of finding an appropriate service provider is tedious for a service consumer as the number of service providers drastically increases and the services provided are heterogeneous in the specification. A service broker is essential to find the service provider for varying service consumer requests. Also, the service broker should be smart enough to make the service providers best fit for consumer requests, ensuring that both service consumer and provider are mutually beneficial. A service broker in an integrated environment named Global Manager is proposed in the paper, which can find an appropriate service provider for every varying service consumer request. The proposed Global Manager is capable of identification of parameters for service negotiation with the service providers thereby making the providers the best fit to the maximum possible extent for every consumer request. The paper describes the architecture of the proposed Global Manager, workflow through the proposed algorithms followed by the pilot implementation with sample datasets retrieved from literature and synthetic data. The experimental results are presented with a few of the future work to be carried out to make the Manager more sustainable and serviceable.

IoT 환경에서 실시간 빅 데이터 수신을 위한 센서 게이트웨이에 관한 연구 (Study on the Sensor Gateway for Receive the Real-Time Big Data in the IoT Environment)

  • 신승혁
    • 한국항행학회논문지
    • /
    • 제19권5호
    • /
    • pp.417-422
    • /
    • 2015
  • IoT 환경의 서비스 규모는 센서의 수량에 의하여 결정된다. 센서의 수량이 증가함은 IoT 환경에서 발생하는 데이터의 양도 증가함을 의미한다. 네트워크 환경에서 데이터 폭주 시 네트워크 혼잡제어를 위한 연구와 동적 버퍼운영으로 네트워크를 안정적으로 운영하기 위한 연구들이 있다. 또한 비연결형 네트워크 환경에서 스트림 데이터 처리에 대한 연구들이 있다. 본 연구에서는 IoT환경의 빅데이터를 처리하기 위한 센서 게이트웨이를 제안한다. 이를 위하여 센서 미들웨어를 설계하기 위한 RESTful 을 확인하고, 스트림 데이터를 효율적으로 처리하기 위한 이중버퍼 알고리즘을 적용한다. 마지막으로 제안하는 시스템을 평가하기 위하여 TCP 상의 HTTP 프로토콜을 기반으로 하는 MJpeg 스트림을 이용하여 빅 데이터 트래픽을 발생 시키며, 오픈소스 미디어 플레이어인 VLC를 이용하여 영상 수신 처리율을 이용하여 성능을 비교한다.

국가기록원 질의로그 빅데이터 기반 이용자 정보요구 유형 분석 (User Information Needs Analysis based on Query Log Big Data of the National Archives of Korea)

  • 백지연;오효정
    • 정보관리학회지
    • /
    • 제36권4호
    • /
    • pp.183-205
    • /
    • 2019
  • 이용자의 정보요구를 파악하기 위한 다양한 방법 중 로그 분석 방법은 이용자의 실제 검색 행위를 사실적으로 반영하고, 대다수 이용자의 전반적인 이용행태를 분석할 수 있다. 이에 본 연구에서는 국가기록원 웹 포털서비스를 통해 입수된 대량의 질의로그 빅데이터를 기반으로 이용자의 정보요구를 파악하기 위해 1) 질의에 내포된 정보요구 유형별과 2) 검색결과로 제공한 기록 유형별 분석을 진행하였다. 분석에 활용한 질의로그는 국가기록원이 웹을 통해 검색서비스를 제공한 2007년부터 2018년 12월까지, 총 141개월 동안 수집된 월별 상위 100개 질의어 1,571,547개를 대상으로 하였다. 나아가 분석결과를 토대로 이용자 검색 만족도를 향상시킬 수 있는 개선방안을 제안하였다. 본 연구의 결과는 국가기록원 검색 서비스 개선 및 고도화를 위한 구체적이고 실질적 방안을 제시했다는 점에서 의의가 있다.