• 제목/요약/키워드: Big data collection

검색결과 347건 처리시간 0.023초

Deep Web and MapReduce

  • Tao, Yufei
    • Journal of Computing Science and Engineering
    • /
    • 제7권3호
    • /
    • pp.147-158
    • /
    • 2013
  • This invited paper introduces results on Web science and technology obtained during work with the Korea Advanced Institute of Science and Technology. In the first part, we discuss algorithms for exploring the deep Web, which refers to the collection of Web pages that cannot be reached by conventional Web crawlers. In the second part, we discuss sorting algorithms on the MapReduce system, which has become a dominant paradigm for massive parallel computing.

거주민 공간복지 향상을 위한 공공 개방 민원 데이터 분석 모델 - 강동구 공간복지 분석 사례를 중심으로 - (A Public Open Civil Complaint Data Analysis Model to Improve Spatial Welfare for Residents - A Case Study of Community Welfare Analysis in Gangdong District -)

  • 신동윤
    • 한국BIM학회 논문집
    • /
    • 제13권3호
    • /
    • pp.39-47
    • /
    • 2023
  • This study aims to introduce a model for enhancing community well-being through the utilization of public open data. To objectively assess abstract notions of residential satisfaction, text data from complaints is analyzed. By leveraging accessible public data, costs related to data collection are minimized. Initially, relevant text data containing civic complaints is collected and refined by removing extraneous information. This processed data is then combined with meaningful datasets and subjected to topic modeling, a text mining technique. The insights derived are visualized using Geographic Information System (GIS) and Application Programming Interface (API) data. The efficacy of this analytical model was demonstrated in the Godeok/Gangil area. The proposed methodology allows for comprehensive analysis across time, space, and categories. This flexible approach involves incorporating specific public open data as needed, all within the overarching framework.

항공안전데이터 구조 분석 및 표준 분류체계에 관한 연구 (A Study on the Analysis of Aviation Safety Data Structure and Standard Classification)

  • 김준환;임재진;이장룡
    • 한국항공운항학회지
    • /
    • 제28권4호
    • /
    • pp.89-101
    • /
    • 2020
  • In order to enhance the safety of the international aviation industry, the International Civil Aviation Organization has recommended establishing an operational foundation for systematic and integrated collection, storage, analysis and sharing of aviation safety data. Accordingly, the Korea aviation industry also needs to comprehensively manage the safety data which generated and collected by various stakeholders related to aviation safety, and through this, it is necessary to previously identify and remove hazards that may cause accident. For more effective data management and utilization, a standard structure should be established to enable integrated management and sharing of safety data. Therefore, this study aims to propose the framework about how to manage and integrate the aviation safety data for big data-based aviation safety management and shared platform.

소셜 빅데이터분석을 통한 외국인근로자에 관한 국민 인식 분석과 정책적 함의 (Analysis of Public Perception and Policy Implications of Foreign Workers through Social Big Data analysis)

  • 하재빈;이도은
    • 디지털융복합연구
    • /
    • 제19권11호
    • /
    • pp.1-10
    • /
    • 2021
  • 본 연구에서는 빅데이터 기법 중에 하나인 텍스트마이닝을 활용하여 소셜플랫폼에서 외국인근로자에 대한 인식을 알아보고 시사점을 도출하고자 하였다. 연구를 위해서 2020년 1월 1일부터 12월 31일까지를 기준으로 '외국인근로자' 검색 키워드를 수집하여 빈도분석, TF-IDF 분석, 연결중심성 분석으로 상위 키워드 100개를 도출하고 비교분석을 수행하였다. 또한 Ucinet6.0과 Netdraw를 이용해 의미연결망을 분석하였으며, CONCOR 분석을 통해 외국인정책 이슈, 지역사회 이슈, 사업주 관점 이슈, 고용 이슈, 근로환경 이슈, 법적 이슈, 출입국 이슈, 인권 이슈로 8개 클로스터로 군집화하였다. 이러한 분석 결과를 바탕으로 외국인근로자 국민적 인식, 주요 이슈를 파악하였으며, 향후 외국인근로자에 대한 정책 및 관련 연구에 필요한 기초자료를 제공하고자 한다.

Development of big data based Skin Care Information System SCIS for skin condition diagnosis and management

  • Kim, Hyung-Hoon;Cho, Jeong-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.137-147
    • /
    • 2022
  • 피부상태의 진단과 관리는 뷰티산업종사자와 화장품산업종사자에게 그 역할을 수행함에 있어서 매우 기초적이며 중요한 기능이다. 정확한 피부상태 진단과 관리를 위해서는 고객의 피부상태와 요구사항을 잘 파악하는 것이 필요하다. 본 논문에서는 피부상태 진단 및 관리를 위해 소셜미디어의 빅데이터를 사용하여 피부상태 진단 및 관리를 지원하는 빅데이터기반 피부관리정보시스템 SCIS를 개발하였다. 개발된 시스템을 사용하여 텍스트 정보 중심의 피부상태 진단과 관리를 위한 핵심 정보를 분석하고 추출할 수 있다. 본 논문에서 개발된 피부관리정보시스템 SCIS는 빅데이터 수집단계, 텍스트전처리단계, 이미지전처리단계, 텍스트단어분석단계로 구성되어 있다. SCIS는 피부진단 및 관리에 필요한 빅데이터를 수집하고, 텍스트 정보를 대상으로 핵심단어의 단순빈도분석, 상대빈도분석, 동시출현분석, 상관성분석을 통해 핵심단어 및 주제를 추출하였다. 또한 추출된 핵심단어 및 정보를 분석하고 산포도, NetworkX, t-SNE 및 클러스터링 등의 다양한 시각화 처리를 함으로써 피부상태 진단 및 관리에 있어 이를 효율적으로 사용할 수 있도록 하였다.

Generative Adversarial Networks를 이용한 Face Morphing 기법 연구 (Face Morphing Using Generative Adversarial Networks)

  • 한윤;김형중
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권3호
    • /
    • pp.435-443
    • /
    • 2018
  • 최근 컴퓨팅 파워의 폭발적인 발전으로 컴퓨팅의 한계 라는 장벽이 사라지면서 딥러닝 이라는 이름 하에 순환 신경망(RNN), 합성곱 신경망(CNN) 등 다양한 모델들이 제안되어 컴퓨터 비젼(Computer Vision)의 수많은 난제들을 풀어나가고 있다. 2014년 발표된 대립쌍 모델(Generative Adversarial Network)은 비지도 학습에서도 컴퓨터 비젼의 문제들을 충분히 풀어나갈 수 있음을 보였고, 학습된 생성기를 활용하여 생성의 영역까지도 연구가 가능하게 하였다. GAN은 여러 가지 모델들과 결합하여 다양한 형태로 발전되고 있다. 기계학습에는 데이터 수집의 어려움이 있다. 너무 방대하면 노이즈를 제거를 통한 효과적인 데이터셋의 정제가 어렵고, 너무 작으면 작은 차이도 큰 노이즈가 되어 학습이 쉽지 않다. 본 논문에서는 GAN 모델에 영상 프레임 내의 얼굴 영역 추출을 위한 deep CNN 모델을 전처리 필터로 적용하여 두 사람의 제한된 수집데이터로 안정적으로 학습하여 다양한 표정의 합성 이미지를 만들어 낼 수 있는 방법을 제시하였다.

빅데이터 분석을 통한 메타버스에 대한 인식 변화 분석 - 코로나19 발생 전후 비교를 중심으로 - (An Analysis of Changes in Perception of Metaverse through Big Data - Comparing Before and After COVID-19 -)

  • 강유림;김문영
    • 한국의류산업학회지
    • /
    • 제24권5호
    • /
    • pp.593-604
    • /
    • 2022
  • The purpose of this study is to analyze the flow of change in perception of metaverse before and after COVID-19 through big data analysis. This research method used Textom to collect all data, including metaverse for two years before COVID-19 (2018.1.1~2019.11.30) and after COVID-19 outbreak (2020.1.11~2021.12.31), and the collection channels were selected by Naver and Google. The collected data were text mining, and word frequency, TF-IDF, word cloud, network analysis, and emotional analysis were conducted. As a result of the analysis, first, hotels, weddings, and glades were commonly extracted as social issues related to metaverse before and after COVID-19, and keywords such as robots and launches were derived, so the frequency of keywords related to hotels and weddings was high. Second, the association of the pre-COVID-19 metaverse keywords was platform-oriented, content-oriented, economic-oriented, and online promotion-oriented, and post-COVID-19 clusters were event-oriented, ontact sales-oriented, stock-oriented, and new businesses. Third, positive keywords such as likes, interest, and joy before COVID-19 were high, and positive keywords such as likes, joy, and interest after COVID-19. In conclusion, through this study, it was found that metaverse has firmly established itself as a new platform business model that can be used in various fields such as tourism, travel, festivals, and education using smart technology and metaverse.

Research Progress and Development of Technology in Tourism Research: A Bibliometric Analysis

  • Zhong, Lina;Zhu, Mengyao;Sun, Sunny;Law, Rob
    • Journal of Smart Tourism
    • /
    • 제1권2호
    • /
    • pp.3-12
    • /
    • 2021
  • The interaction between technology and tourism has been a dynamic research area recently. This study aims to review the progress and development of technology in tourism research via a bibliometric analysis. We derive the source data from the Web of Science (WoS) core collection and use CiteSpace for bibliometric analysis, including countries, institutions, authors, categories, references, and keywords. The analysis results are as follows: i) The number of published articles on the role of technology in tourism has increased in recent years. ii) Technology-related articles in tourism are abundant in Tourism Management, Journal of Travel Research, and Annals of Tourism Research. iii) The countries with the most contributions are China, the US, and the UK. The most active institutions are the Hong Kong Polytechnic University, University of Central Florida, Bournemouth University, University of Queensland, and Kyung Hee University. iv) The reference analysis results identify eight extensively researched topics from the most cited papers, and the keyword burst analysis results present an emerging trend. This study identifies the effect and development of technology in tourism research. Our findings provide implications for researchers about the current research focus of technology and the future research trend of technology in the tourism field.

한국미혼모에 대한 관점 변화와 정부정책의 방향: 1995년~2020년 소셜미디어 빅데이터 분석 (A Study on the Changes in Perspectives on Unwed Mothers in S.Korea and the Direction of Government Polices: 1995~2020 Social Media Big Data Analysis)

  • 서동희;전복선
    • 한국융합학회논문지
    • /
    • 제12권12호
    • /
    • pp.305-313
    • /
    • 2021
  • 본 연구는 1995년부터 2020년까지 기간의 '미혼모', '싱글맘', '비혼모' 키워드를 중심으로 시기별 빅데이터를 수집, 분석하여, 미혼모에 대한 관점 변화에 따른 적절한 정부의 지원정책 방향성을 제시하고자 한다. 자료수집을 위해 빅데이터 수집 플랫폼인 텍스톰을 활용하여 포털검색 사이트 네이버, 다음에서 데이터 수집 후, 데이터를 정제하는 과정을 거쳤다. 최종 정제된 데이터는 텍스톰에서 제공하는 단어빈도분석, TF-IDF 분석, N-gram 분석, UCINET6 프로그램을 통한 Network 분석과 CONCOR 분석을 진행하였다. 연구결과, 단어빈도분석, TF-IDF 분석에서는 유사한 단어들이 출현하였으나 연도별로 차이를 보였고, N-gram 분석에서는 단어 출현의 유사점은 있었으나 빈도수와 연쇄적으로 출현되는 단어들의 형태에 많은 차이가 있었으며 CONCOR 분석결과, 연도별로 다른 군집을 이루는 것을 볼 수 있었다. 본 연구는 미혼모의 관점 변화를 빅데이터의 분석을 통해 확인하고, 독립적인 여성들의 다양한 선택권을 위한 미혼모 정책, 그리고 그에 맞는 차별 없는 임신, 출산, 양육이 새로운 가족의 형태 내로 포용 되는 정책의 필요성을 제언한다.

빅데이터 시대의 개인정보 과잉이 사용자 저항에 미치는 영향 (Personal Information Overload and User Resistance in the Big Data Age)

  • 이환수;임동원;조항정
    • 지능정보연구
    • /
    • 제19권1호
    • /
    • pp.125-139
    • /
    • 2013
  • 최근 주목 받기 시작한 빅데이터 기술은 대량의 개인 정보에 대한 접근, 수집, 저장을 용이하게 할 뿐만 아니라 개인의 원하지 않는 민감한 정보까지 분석할 수 있게 한다. 이러한 기술이나 서비스를 이용하는 사람들은 어느 정도의 프라이버시 염려를 가지고 있으며, 이것은 해당 기술의 사용을 저해하는 요인으로 작용할 수 있다. 대표적 예로 소셜 네트워크 서비스의 경우, 다양한 이점이 존재하는 서비스이지만, 사용자들은 자신이 올린 수많은 개인 정보로 인해 오히려 프라이버시 침해 위험에 노출될 수 있다. 온라인 상에서 자신이 생성하거나 공개한 정보일 경우에도 이러한 정보가 의도하지 않은 방향으로 활용되거나 제3자를 의해 악용되면서 프라이버시 문제를 일으킬 수 있다. 따라서 본 연구는 사용자들이 이러한 환경에서 인지할 수 있는 개인정보의 과잉이 프라이버시 위험과 염려에 어떠한 영향을 주는지를 살펴보고, 사용자 저항과 어떠한 관계가 있는지 분석한다. 데이터 분석을 위해 설문과 구조방정식 방법론을 활용했다. 연구결과는 소셜 네트워크 상의 개인정보 과잉 현상은 사용자들의 프라이버시 위험 인식에 영향을 주어 개인의 프라이버시 염려 수준을 증가 시키는 요인으로 작용할 수 있음을 보여준다.