• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권4호
• /
• pp.412-429
• /
• 2008

최근 들어 인터넷의 성장으로 인하여 문서의 양이 기하급수적으로 증가함에 따라, 대용량의 문서를 마르게 검색 할 수 있는 병렬 정보 검색 엔진에 대한 중요성이 더욱 대두되고 있다. 병렬 정보 검색 엔진을 구현하기 위하여서는 역 색인을 분할하고, 분할된 역 색인을 통하여 병렬적으로 검색하는 것이 필요하다. 역 색인을 분할하는 기존 방법으로는 1) 문서 식별자 분할 방법과 2) 식별자 분할 방법이 있다. 그러나 각 분할 방법은 다음과 같은 단점들을 가지고 있다. 문서 식별자 분할 방법은 문서의 추가가 용이하고 처리량(throughput)이 높은 반면에 top-k 질의 처리 성능이 좋지 않다. 그리고 식별자 분할 방법은 top-k 질의 처리 성능이 좋은 반면에 문서의 추가가 어렵고 처리량이 낮다. 본 논문에서는 이러한 단점들을 해결하기 위하여 혼합 분할 방법을 제안하고 이를 정보 검색 기능과 밀결합된 DBMS인 오디세우스에 실현한 병렬 정보 검색 엔진을 설계하고 구현한다. 먼저, 제안된 병렬 정보 검색 엔진인 오디세우스/parallel-OOSQL의 아키텍쳐를 설명한다. 그리고 체계적인 실험을 통하여 제안된 시스템의 유용성을 보인다. 실험 결과, 문서 식별자 분할 방법은 질의 처리 시간이 역 색인 분할의 블록의 개수에 근사적으로 역 비례함을 보였으며, 키워드 식별자 분할 방법은 top-k 질의 처리에 좋은 성능을 보였다. 본 논문에서 제안된 병렬 정보 검색 엔진은 세 가지 분할 방법을 모두 제공하기 때문에 응용 환경에 따라 분할 방법을 커스터마이즈함으로써 항상 좋은 성능을 낼 수 있다. 오디세우스/parallel-OOSQL 병렬 정보 검색 엔진은 각 슬레이브 노드 당 1억 건의 웹 문서를, 시스템 전체로는 수십억 건의 웹 문서를 인덱스하여 저장하고 질의를 처리할 수 있다.

• 지능정보연구
• /
• 제20권2호
• /
• pp.109-122
• /
• 2014

현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

• Asia pacific journal of information systems
• /
• 제21권2호
• /
• pp.89-116
• /
• 2011

In collaborative tagging systems such as Delicious.com and Flickr.com, users assign keywords or tags to their uploaded resources, such as bookmarks and pictures, for their future use or sharing purposes. The collection of resources and tags generated by a user is called a personomy, and the collection of all personomies constitutes the folksonomy. The most significant need of the folksonomy users Is to efficiently find useful resources or experts on specific topics. An excellent ranking algorithm would assign higher ranking to more useful resources or experts. What resources are considered useful In a folksonomic system? Does a standard superior to frequency or freshness exist? The resource recommended by more users with mere expertise should be worthy of attention. This ranking paradigm can be implemented through a graph-based ranking algorithm. Two well-known representatives of such a paradigm are Page Rank by Google and HITS(Hypertext Induced Topic Selection) by Kleinberg. Both Page Rank and HITS assign a higher evaluation score to pages linked to more higher-scored pages. HITS differs from PageRank in that it utilizes two kinds of scores: authority and hub scores. The ranking objects of these pages are limited to Web pages, whereas the ranking objects of a folksonomic system are somewhat heterogeneous(i.e., users, resources, and tags). Therefore, uniform application of the voting notion of PageRank and HITS based on the links to a folksonomy would be unreasonable, In a folksonomic system, each link corresponding to a property can have an opposite direction, depending on whether the property is an active or a passive voice. The current research stems from the Idea that a graph-based ranking algorithm could be applied to the folksonomic system using the concept of mutual Interactions between entitles, rather than the voting notion of PageRank or HITS. The concept of mutual interactions, proposed for ranking the Semantic Web resources, enables the calculation of importance scores of various resources unaffected by link directions. The weights of a property representing the mutual interaction between classes are assigned depending on the relative significance of the property to the resource importance of each class. This class-oriented approach is based on the fact that, in the Semantic Web, there are many heterogeneous classes; thus, applying a different appraisal standard for each class is more reasonable. This is similar to the evaluation method of humans, where different items are assigned specific weights, which are then summed up to determine the weighted average. We can check for missing properties more easily with this approach than with other predicate-oriented approaches. A user of a tagging system usually assigns more than one tags to the same resource, and there can be more than one tags with the same subjectivity and objectivity. In the case that many users assign similar tags to the same resource, grading the users differently depending on the assignment order becomes necessary. This idea comes from the studies in psychology wherein expertise involves the ability to select the most relevant information for achieving a goal. An expert should be someone who not only has a large collection of documents annotated with a particular tag, but also tends to add documents of high quality to his/her collections. Such documents are identified by the number, as well as the expertise, of users who have the same documents in their collections. In other words, there is a relationship of mutual reinforcement between the expertise of a user and the quality of a document. In addition, there is a need to rank entities related more closely to a certain entity. Considering the property of social media that ensures the popularity of a topic is temporary, recent data should have more weight than old data. We propose a comprehensive folksonomy ranking framework in which all these considerations are dealt with and that can be easily customized to each folksonomy site for ranking purposes. To examine the validity of our ranking algorithm and show the mechanism of adjusting property, time, and expertise weights, we first use a dataset designed for analyzing the effect of each ranking factor independently. We then show the ranking results of a real folksonomy site, with the ranking factors combined. Because the ground truth of a given dataset is not known when it comes to ranking, we inject simulated data whose ranking results can be predicted into the real dataset and compare the ranking results of our algorithm with that of a previous HITS-based algorithm. Our semantic ranking algorithm based on the concept of mutual interaction seems to be preferable to the HITS-based algorithm as a flexible folksonomy ranking framework. Some concrete points of difference are as follows. First, with the time concept applied to the property weights, our algorithm shows superior performance in lowering the scores of older data and raising the scores of newer data. Second, applying the time concept to the expertise weights, as well as to the property weights, our algorithm controls the conflicting influence of expertise weights and enhances overall consistency of time-valued ranking. The expertise weights of the previous study can act as an obstacle to the time-valued ranking because the number of followers increases as time goes on. Third, many new properties and classes can be included in our framework. The previous HITS-based algorithm, based on the voting notion, loses ground in the situation where the domain consists of more than two classes, or where other important properties, such as "sent through twitter" or "registered as a friend," are added to the domain. Forth, there is a big difference in the calculation time and memory use between the two kinds of algorithms. While the matrix multiplication of two matrices, has to be executed twice for the previous HITS-based algorithm, this is unnecessary with our algorithm. In our ranking framework, various folksonomy ranking policies can be expressed with the ranking factors combined and our approach can work, even if the folksonomy site is not implemented with Semantic Web languages. Above all, the time weight proposed in this paper will be applicable to various domains, including social media, where time value is considered important.

• 지능정보연구
• /
• 제22권1호
• /
• pp.1-18
• /
• 2016

최근 가용한 텍스트 데이터 자원이 증가함에 따라 방대한 텍스트 분석을 통해 새로운 가치를 창출하고자 하는 수요가 증가하고 있다. 특히 뉴스, 민원, 블로그, SNS 등을 통해 유통되는 글로부터 다양한 이슈를 발굴해내고 이들 이슈의 추이를 분석하는 이슈 트래킹에 대한 연구가 활발하게 이루어지고 있다. 전통적인 이슈 트래킹은 토픽 모델링을 통해 오랜 기간에 걸쳐 지속된 주요 이슈를 발굴한 후, 각 이슈를 구성하는 문서 수의 세부 기간별 분포를 분석하는 방식으로 이루어진다. 하지만 전통적 이슈 트래킹은 각 이슈를 구성하는 내용이 전체 기간에 걸쳐 변화 없이 유지된다는 가정 하에 수행되기 때문에, 다양한 세부 이슈가 서로 영향을 주며 생성, 병합, 분화, 소멸하는 이슈의 동적 변이과정을 나타내지 못한다. 또한 전체 기간에 걸쳐 지속적으로 출현한 키워드만이 이슈 키워드로 도출되기 때문에, 핵실험, 이산가족 등 세부 기간의 분석에서는 매우 상이한 맥락으로 파악되는 구체적인 이슈가 오랜 기간의 분석에서는 북한이라는 큰 이슈에 함몰되어 가려지는 현상이 발생할 수 있다. 본 연구에서는 이러한 한계를 극복하기 위해 각 세부 기간의 문서에 대한 독립적인 분석을 통해 세부 기간별 주요 이슈를 도출한 후, 각 이슈의 유사도에 기반하여 이슈 흐름도를 도출하고자 한다. 또한 각 문서의 카테고리 정보를 활용하여 카테고리간의 이슈 전이 패턴을 분석하고자 한다. 본 논문에서는 총 53,739건의 신문 기사에 제안 방법론을 적용한 실험을 수행하였으며, 이를 통해 전통적인 이슈 트래킹을 통해 발굴한 주요 이슈의 세부 기간별 구성 내용을 살펴볼 수 있을 뿐 아니라, 특정 이슈의 선행 이슈와 후행 이슈를 파악할 수 있음을 확인하였다. 또한 카테고리간 분석을 통해 단방향 전이와 양방향 전이의 흥미로운 패턴을 발견하였다.

• 현장농수산연구지
• /
• 제23권2호
• /
• pp.71-86
• /
• 2021

빅데이터 분석기술인 웹 크롤링 기술을 이용하여 네이버 뉴스 데이터 내에 담겨 있는 '한농대' 에 대한 이미지 단어를 추출하였다. 뉴스 기사에서 언급된 빈도에 따라 중요한 단어로 평가는 단어빈도 분석에서는 청년농업인을 육성하는 한농대의 특성을 잘 설명하는 '농업', '교육', '지원', '농업인', '청년', '대학', '사업', '농촌', '대표' 등의 단어가 자주 사용되는 것으로 나타났다. 또한 '디지털', '스마트', '드론', '졸업생', '창업', '새만금', '교육과정' 등 디지털 농업 전문 인재를 육성하기 위한 학교의 교육, 지원, 비전 등과 관련한 단어들이 추출되었다. 모든 기사 데이터의 단어 빈도(TF) 및 역 문서 빈도(IDF)를 이용한 TF-IDF 가중치의 전체 순위는 '농업인', '드론', '농림축산식품부', '전북', '청년농업인', '농업', '전주', '대학', '장치', '파종' 등의 단어가 한농대와 관련된 뉴스 기사에서 중요한 핵심어 역할을 하는 것으로 나타났다. 단어 빈도에서 '드론', '농림축산식품부', '전북', '청년농업인', '전주', '장치, '파종' 등은 순위가 매우 낮았으나 TF-IDF 가중치 순위에서는 한농대를 표현하는 핵심어로 나타났다. TF-IDF 평가에서 '교육', '지원', '청년', '사업', '농촌' 등의 키워드는 단어빈도가 높으면서 많은 문서에서 자주 등장하는 키워드로서 핵심어 역할은 크지 않은 것으로 나타났다. 단어 간 연계성을 파악하기 위한 의미연결망 분석에서 추출한 바이그램은 '청년'-'농업인', '디지털'-'농업', '영농'-'정착', '농업'-'농촌', '디지털'-'전환' 등의 순으로 빈도가 높게 나타났다. 중심성 지표로 키워드의 영향력을 평가한 결과 모든 지표에서 '농업'이 1위로 나타났으며, 2위에는 '농업인'(근접 중심성, 매개 중심성), '교육'(연결 중심성, 페이지랭크 중심성) 및 '미래'(고유벡터 중심성)으로 나타났다. 스피어먼 순위 상관계수에 의한 중심성 지표별 키워드의 순위의 유사성은 연결 중심성과 페이지랭크 중심성이 0.89 전후의 가장 높은 상관관계를 보였다. 이상으로 네이버 뉴스의 한농대 관련 기사에서 단어 빈도로 보면 '농업', '교육', '지원', '농업인', '청년', '대학', '사업', '농촌', '대표' 등이 중요한 단어로 평가되었으나, 문서빈도를 함께 고려한 평가에서는 '농업인', '드론', '농림축산식품부', '전북', '청년농업인', '농업', '전주', '대학', '장치', '파종' 등의 단어가 핵심어 역할을 하는 것으로 나타났다. 한편 단어나 문서의 빈도가 아니라 단어 간 네트워크 연계성을 고려한 중심성 분석에서는 연결 중심성과 페이지랭크 중심성에 의한 평가가 적합한 것으로 나타났으며, '농업', '교육', '미래', '농업인', '디지털', '지원', '활용' 등이 중심성이 강한 단어로 나타났다.

• Asian Pacific Journal of Cancer Prevention
• /
• 제15권9호
• /
• pp.3829-3849
• /
• 2014

Continued advances in the field of histo pathology (and cyto pathology) over the past two decades have resulted in dramatic changes in the manner in which these disciplines are now practiced. This is especially true in the setting of a large university hospital where the role of pathologists as clinicians (diagnosticians), undergraduate and postgraduate educators, and researchers has evolved considerably. The world around us has changed significantly during this period bringing about a considerable change in our lifestyles and the way we live. This is the world of the internet and the world-wide web, the world of Google and Wikipedia, of Youtube and Facebook where anyone can obtain any information one desires at the push of a button. The practice of histo (and cyto) pathology has also evolved in line with these changes. For those practicing this discipline in a poor, developing country these changes have been breathtaking. This is an attempt to document these changes as experienced by histo (and cyto) pathologists practicing in the biggest center for Histopathology in Pakistan, a developing country in South Asia with a large (180 million) and ever growing population. The Section of Histopathology, Department of Pathology and Microbiology at the Aga Khan University Hospital (AKUH) in Karachi, Pakistan's largest city has since its inception in the mid-1980s transformed the way histopathology is practiced in Pakistan by incorporating modern methods and rescuing histopathology in Pakistan from the primitive and outdated groove in which it was stuck for decades. It set histopathology in Pakistan firmly on the path of modernity and change which are essential for better patient management and care through accurate and complete diagnosis and more recently prognostic and predictive information as well.

• 한국통신학회논문지
• /
• 제40권12호
• /
• pp.2469-2475
• /
• 2015

다양한 웹 서비스들은 서비스의 제공을 위해서 구조화된 표준문서인 XML(eXtensible Markup Language)을 널리 사용하고 있으며, 모바일 환경에서의 전자문서 및 전자서명 그리고 메일시스템에서도 XML이 사용되고 있다. XML을 사용하기 위해서는 문서의 파싱이 요구되며, 이는 XML 처리에서 가장 계산 집중적 작업이다. 따라서, XML 파싱 성능을 높이기 위해 하드웨어 기반의 파서들이 제안되어 성능 향상에 초점을 맞추고 있지만 실제 파싱 기법들에 대한 연구는 거의 이루어지지 않았다. 본 논문에서는 파서의 종류와 상관없이 사용될 수 있는 고성능 XML 파싱 기법을 제안하고 FPGA를 이용하여 파서를 설계하여 검증하였다. 제안된 파싱 기법은 상태머신 대신에 엘리먼트 분석기들을 사용하며 다중바이트 단위 엘리먼트 매칭을 수행한다. 제안된 파싱 기법은 CPB 항목에서 약 2~4배의 소비 클록을 감소시켰으며 파싱 이전에 전처리작업을 요구하지 않는다. 다른 파서들과 비교하여 제안된 파서는 약 1.33~1.82배 속도를 향상시켰다. 따라서, 제안된 파싱 기법은 실시간 XML 파싱이 가능하며 일반적인 XML 파서들에서도 적용할 수 있는 적합한 구조를 갖는다.

• 대한세포병리학회지
• /
• 제12권1호
• /
• pp.1-15
• /
• 2001

The Bethesda System (TBS) was first developed in 1988 for the need to enhance the communication of the cytopathologic findings to the referring physician in unambiguous diagnostic terms. The terminology used in this reporting system should reflect current understanding of the pathogenesis of cervical/vaginal disease so the framework of the reporting system should be flexible enough to accommodate advances in medicine including virology, molecular biology, and pathology. Three years after the Introduction of TBS, the second Bethesda workshop was held to set or amend diagnostic criteria for each categories of TBS. TBS 1991 is now widely used. The third Bethesda workshop, The Bethesda System 2001 Workshop, was held in National Cancer institute Bethesda, Maryland from April 30 to May 2, 2001. Again, the goals of this workshop were to promote effective communication and to clarify in reporting cervical cytopathology results to clinicians and to provide with the information to make appropriate decisions about diagnosis and treatment. Nine forum groups were made and there were Web-based bulletin board discussions between October, 2000 and the first week of April, 2001. On the basis of bulletin board comments and discussions, the forum moderators recommended revised terminologies in the Workshop. Hot discussions were followed after the presentation by forum moderators during the workshop. Terminologies confusing clinicians and providing no additional informations regarding patient management were deleted in the workshop to clarify the cervicovaginal cytology results. Any informations related to the patient management were encouraged to add. So 'Satisfactory for evaluation but limited by...' of 'Specimen Adequacy' catergory was deleted. Terminology of 'Unsatisfactory' was further specified as 'Specimen rejected' and 'Specimen processed and examined, but unsatisfactory'. Terminologies of 'Benign Cellular Change' and 'Within Normal Limits' were combined and terminology was changed to 'Negative for intraepithelial lesion or malignancy'. In General categorization, category 'Other' was newly inserted and the presence of 'Endometrial cells' in women over 40 years old can be checked. Although the category 'Benign Cellular Change' was deleted, the organisms or reactive changes of this category can be listed in the descriptive diagnoses. Terminologies of ASCUS and AGUS were changed to atypical squamous cell and atypical glandular cell, respectively. Diagnostic term of 'Adenocarcinoma in situ', which is highly reproducible with reliable diagnostic criteria, was newly Inserted. The category of hormonal evaluation was deleted. Criteria for liquid-based specimen were discussed. Reporting by computer-assisted cytology was discussed and terminology for automated review was newly inserted. This is not the final edition of Bethesda 2001. The final document can be prepared before the ASCCP meeting in which Consensus Guidelines for the Management on Cytology Abnormalities and Cervical Precursors will develop in September 2001.

• 정보처리학회논문지D
• /
• 제9D권5호
• /
• pp.789-800
• /
• 2002

XML이 웹 문서의 표준이며, 문서교환용 언어로서 사용되고있다. 상업용 데이터는 대부분 관계형 데이터베이스에 저장되어 있고 이들 문서를 교환용 문서로 만들어서 문서교환에 이용하거나 관계형 데이터베이스에 저장된 XML데이터에 XQL로 질의하여 질의결과를 효율적으로 획득하는 것은 매우 중요하다. 따라서, 향후 많은 XML데이터의 보관 및 관리 그리고 XML데이터를 위한 질의어 처리는 필수적이다. 지금까지, XML데이터의 저장 및 검색과 관련한 연구 및 제품개발이 여러 업체에 의해 있어왔고, 지금도 연구 및 개발이 진행되고 있다. 하지만, 효율적인 XML데이터의 저장 및 검색을 위한 시스템은 아직까지 많지 않다. 따라서 본 논문에서는 효율적인 경로 질의를 위한 DFS-Numbering 방식을 사용하며, 효율적인 데이터 저장을 위해서 XML 데이터 저장을 위한 스키마를 설계하였다. 또한, 전통적인 관계형 데이터베이스 엔진을 이용한 효율적인 XQL 질의수행 방법을 설계 및 구현하였다. 즉, 사용자가 시스템에 XQL로 질의를 하면 XQL 처리기에 의해서 XQL이 SQL로 변환되고, SQL로 관계형 데이터베이스에 질의를 수행하면, 결과로 레코드를 반환한다. 이때 XML 생성기에 의해서 사용자에게 n문서를 반환한다.

• 대한원격탐사학회지
• /
• 제36권3호
• /
• pp.475-486
• /
• 2020

기후변화 시나리오는 기후변화 대응 연구의 기반이 되는 사항으로, 대용량 시공간 데이터로 구성되어 있다. 데이터의 관점에서는 1종의 시나리오가 약 83 기가바이트(Giga bytes) 이상의 대용량이며, 데이터 형식은 반정형으로 검색, 추출, 저장 및 분석 등 활용상 제약이 있다. 본 연구에서는 대용량, 다중시기 기후변화 시나리오의 활용을 편리하게 개선하기 위하여 공간정보 기반의 극단적 기후사상 분석 도구를 개발하였다. 또한, 개발된 도구를 RCP8.5 기후변화 시나리오에 적용하여 과거 발생한 집중호우 임계치가 미래 발생 가능한 시기와 공간에 대한 시범 분석을 수행하였다. 분석결과, 3일 누적 강우량 587.6 mm 이상인 날이 2080년대 약 76회 발생하는 것으로 분석되었으며, 집중호우는 국지적으로 발생하였다. 개발된 분석도구는 초기 설정부터 분석결과를 도출하는 전 과정이 단일 플랫폼에서 구현되도록 하였다. 더불어 상용 소프트웨어가 없어도 분석결과를 다양한 형식(웹 문서형식(HTML), 이미지(PNG), 기후변화 시나리오(ESR), 통계(XLS))으로 구현되도록 하였다. 따라서 본 분석도구 활용을 통해 기후변화에 대한 미래 전망이나 취약성 평가 등의 활용에 도움이 될 것으로 사료되며, 향후 제공될 기후변화 보고서에 따른 기후변화 시나리오 분석 도구 개발에도 사용될 것으로 기대된다.