• 제목/요약/키워드: 웹기반 분산설계

검색결과 273건 처리시간 0.022초

분산 저장된 과학기술정보 서비스를 위한 검색 데이터베이스 관리 도구의 설계 및 개발 (Development of the Management Tool for S&T information in distributed retrieval database)

  • 이석형;윤희준;여일연;최성필;윤화묵
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
    • /
    • pp.677-681
    • /
    • 2006
  • 본 논문에서는 과학기술정보의 관리에 필요한 여러 기능을 포함하는 GUI 기반의 검색 데이터베이스 관리 도구(K-Manager)를 제안한다. 일반적으로, 웹 기반의 과학기술정보 서비스를 위해서는 검색 데이터베이스의 구성이 필수적이나, 검색 데이터베이스의 관리 기능이 관계형 데이터베이스와 같은 기능을 모두 지원하지 않을 뿐 만 아니라 TOAD나 GOLDEN과 같은 데이터베이스 관리 도구를 지원하지 않기 때문에, 콘텐츠 관리자나 시스템 관리자가 손쉽게 정보를 처리하기가 어려운 실정이다. 이 도구에는 과학기술정보를 관리하는 콘텐츠 관리자가 필요한 기능과 검색 데이터베이스를 관리하는 시스템 관리자가 필요한 기능이 GUI 기반으로 통합 구성되어 있어 콘텐츠 관리자가 원하는 데이터베이스에 접근하여 각종 데이터 작업을 수행할 수 있고, 데이터베이스 관리자가 데이터베이스의 관리도 수행할 수 있다. 특히 K-Manager는 대용량 과학기술정보의 빠르고 정확한 검색 서비스와 안정적인 관리를 위해 구성된, 분산 검색 데이터베이스에 저장된 정보를 처리하는데 효과적이다. 본 관리 도구는 크게 콘텐츠 관리기와 데이터베이스 관리기로 그 기능을 분류할 수 있으며, 국내 최대 과학기술 포털사이트인 Yeskisti의 콘텐츠 및 데이터베이스 관리를 그 기본 모델로 하였다.

  • PDF

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

회의 소집을 위한 다중 에이전트 시스템의 구현 (Implementation of A Multiple-agent System for Conference Calling)

  • 유재홍;노승진;성미영
    • 지능정보연구
    • /
    • 제8권2호
    • /
    • pp.205-227
    • /
    • 2002
  • 이 연구는 웹 기반 협동작업 시스템에서 지능적인 에이전트들을 이용하여 원격 회의의 소집을 자동화함으로써 여러 참여자들에게 보다 편리한 형태의 협동작업 환경을 지원해 주는 시스템에 대한 것이다 회의 일정을 잡는 작업을 자동화하는 것은 각 개인의 공적인 일정 뿐만 아니라 개인의 사정과 선호도 등에 대한 세심한 배려를 요구한다. 그러므로, 회의 소집 자동화는 신뢰성과 병렬성을 높이기 위해서 각 개인의 일정을 병렬적으로 별도 관리하는 작업을 지원하는 분산 처리 작업이 요구된다. 이 논문에서는 회의 소집에 들이는 시간과 노력을 최소로 줄여주는 다중 에이전트 시스템의 설계와 구현에 대하여 자세하게 소개한다. 이 시스템은 서버-를라이언트 모델에 기반하며, 서버 측에서는 스케줄 에이전트, 협상 에이전트, 개인정보 관리 에이전트, 그룹 정보 관리 에이전트, 세션관리 에이전트와 조정 에이전트가 활동한다. 클라이언트 측에서는 인터페이스 에이전트, 미디어 에이전트와 협동 에이전트가 활동한다. 이들 에이전트들은 통신은 표준화된 지식 표현 언어를 이용하여 통신하므로 분산 협동 처리를 위한 에이전트들 간의 통신에 있어 가장 큰 문제점인 이형질성을 극복할 수 있도록 해준다. 본 시스템의 회의소집 지원 에이전트들은 전진연결 알고리즘으로 추론하고 역전파 네트워크 알고리즘으로 학습하여 가장 많은 사람이 참여할 수 있는 날짜를 제안해줌으로써 회의 소집자가 회의 소집에 들이는 노력을 최소로 줄일 수 있게 해 준다.

  • PDF

이질의 생물 정보원 통합을 위한 랩퍼 시스템에서의 XML 질의 처리 시스템 (An XML Query System in a Wrapper System for Integrating Heterogeneous Biological Databases)

  • 박은경;강동완;정채영;김현주;배종민
    • 정보처리학회논문지D
    • /
    • 제12D권4호
    • /
    • pp.553-568
    • /
    • 2005
  • 분산된 생물 정보원을 물리적으로 혹은 가상적으로 통합하기 위해서는 정보원들의 이질성을 해결해야 하며, 사용자의 다양한 요구를 수용할 수 있도록 범용성과 적응력이 뛰어나야 한다 본 논문에서는 데이터는 물론 응용 프로그램의 통합을 위한 미들웨어를 설계함에 있어서 랩퍼 시스템에서의 융통성 있는 범용 XML 질의 처리 엔진을 제시한다. 제시된 질의 처리 엔진은 사용자 정의 XML 뷰를 지원함으로서 융통성 있는 통합 질의 구성을 가능하게 한다. 질의 처리 과정은 뷰 합성, 지역 정보원에 대한 질의 변환, 그리고 결과 문서 생성과정을 동반하는데, 이를 위해 XML 뷰와 XML 질의어를 뷰 트리로 표현하는 XML 뷰 트리 기반의 질의 처리 모델을 제시한다. 그리고 제시된 질의 처리 모델의 범용성을 확인하기 위해 관계형 데이터베이스와 웹 정보원, 그리고 응용 프로그램에 대하여 정보원의 질의 결과 형이 관계형 튜플과 XML 문서인 경우에 대한 질의 처리 방법을 제시한다.

전문가용 가상 협동 시스템 설계 (The Virtual Collaborative System among Experts)

  • 홍철의;김미경
    • 한국정보통신학회논문지
    • /
    • 제11권12호
    • /
    • pp.2241-2248
    • /
    • 2007
  • 본 논문에서는 웹 기반 분산 시스템을 이용하여 전문가들 사이의 가상 협동 시스템을 구현하였다. 토의 이전에 모든 참가자들에게 필요한 정보를 전달하기 위하여 제안된 시스템은 발표 자료에 멀티미디어 자료를 쉽고 효과적으로 첨가할 수 Synchronous Multimedia Integration Language(SMIL)를 사용하여 발표 자료를 쉽게 제작할 수 있다. 참가자들은 제 안된 이미지에 대하여 문자를 이용하여 토의 할 수 있다. 디지털 이미지에서 관심 있는 영역을 나타내기 위하여 참가자들의 의견에 관계된 점 또는 선분 및 다양한 종류의 표식과 같은 공간 요소를 동적으로 지정 또는 삭제 할 수 있다. 토의 동안 디지털 이미지에 관계된 공간 요소는 물론 전문가의 의견을 저장하기 위하여 XML 파일이 사용되며 후에 정보를 접근할 수 있다. 참가자들은 임의의 폐곡선을 이용하여 이미지에 관심 있는 영역을 선택하고 그에 대한 저장된 정보를 접근할 수 있다.

벼 재배용 사물인터넷 기반 물꼬 구현 (Implementation of IoT-Based Irrigation Valve for Rice Cultivation)

  • 이병한;성덕경;진영민;황연현;김영광
    • 사물인터넷융복합논문지
    • /
    • 제9권6호
    • /
    • pp.93-98
    • /
    • 2023
  • 벼농사에서 물 관리는 매우 중요한 작업이다. 벼의 생육 초기에는 잡초 발생을 억제하기 위하여 물을 깊이 대고, 모내기 후 뿌리가 활착하면 줄기 생성을 촉진하기 위해 물을 얕게 대며, 쌀알이 맺힐 수 없는 줄기가 생성되는 시기에는 물을 뗀다. 물 공급 상황은 논 위치, 농수로, 토양, 기상 등 다양한 요소에 영향을 받기 때문에 농민은 수시로 논을 방문하여 수위를 확인하고 물의 유출입을 통제한다. 경작하는 논이 원격지에 분산되어 있다면 이러한 노력은 더욱 증가한다. 자동 물 관리 시스템은 노동력을 절감하여 생산성 향상에 기여할 수 있는 방안으로 고려되고 있다. 그러나 2022년 국내 벼 생산으로 인한 순수익은 평균 32만원/10a 정도이다. 따라서 높은 단가의 고사양 장치를 적용하거나 공사를 추진하여 관련 인프라를 구축하는 것은 현실적으로 어렵다. 본 연구는 추가적인 기반공사 없이 국내 농업 인프라에 통합될 수 있는 물꼬 개발에 중점을 두었으며 세 가지 주요 분야에서 연구를 수행하여 사물인터넷 기반 물꼬를 구현하였다. 첫째, 기존의 농업용 관수 파이프에 빠르고 쉽게 설치할 수 있는 물꼬를 설계하였다. 둘째, 저전력 통신 기능을 갖춘 Cat M1 통신 모뎀과 아두이노 나노 보드를 연결하고 전원을 공급하는 전자회로를 제작하였다. 셋째, 클라우드 기반 플랫폼을 이용하여 서버와 데이터베이스 환경을 구축하고 사용자가 접근할 수 있는 웹 페이지를 제작하였다.

실시간 SNS 데이터를 위한 Storm 기반 동적 태그 클라우드 (Storm-Based Dynamic Tag Cloud for Real-Time SNS Data)

  • 손시운;김다솔;이수정;길명선;문양세
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권6호
    • /
    • pp.309-314
    • /
    • 2017
  • 일반적으로 SNS (social network service) 데이터는 정형, 비정형 데이터가 섞여 빠르게 생성되는 빅데이터의 특성을 갖기 때문에 실시간 수집/저장/분석에 많은 어려움이 있다. 본 논문에서는 이러한 SNS 데이터의 분석에 활용할 수 있는 Apache Storm 기반 실시간 동적 데이터 시각화 기술을 제안한다. Storm은 대표적인 빅데이터 기술 중 하나로, 실시간으로 수집되는 데이터를 분산 환경에서 처리 및 분석하는 소프트웨어 플랫폼이다. 본 논문은 Storm을 사용하여 빠르게 발생하는 트위터(Twitter) 데이터를 수집 및 집계하고, 태그 클라우드를 통해 그 결과를 동적으로 표현하고자 한다. 이를 위해, 사용자가 요구하는 키워드를 입력받고 해당 키워드를 통한 시각화 결과를 실시간으로 확인할 수 있는 웹 인터페이스를 설계 및 구현한다. 또한, 각각의 태그 클라우드 결과를 비교하여 올바로 시각화되었는지 확인한다. 본 연구를 통해, 사용자는 관심있는 주제가 SNS에서 어떻게 변화하고 있는지 직관적으로 판단할 수 있게 되며, 시각화 결과는 주제별 트렌드 분석, 고객 니즈 파악 등 다른 서비스에도 활용이 가능하다.

T-MERGE 연산자에 기반한 분산 토픽맵의 자동 통합 (Automatic Merging of Distributed Topic Maps based on T-MERGE Operator)

  • 김정민;신효필;김형주
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권9호
    • /
    • pp.787-801
    • /
    • 2006
  • 온톨로지 통합은 두 소스 온톨로지들을 통합하여 하나의 새로운 온톨로지를 생성하는 과정으로서 시맨틱 웹, 데이타 통합, 지식관리시스템 등 여러 온톨로지 응용 시스템에서 중요하게 다루는 연구주제이다. 그러나 과거의 연구들은 대부분 두 소스 온톨로지들 사이에 의미적으로 대응되는 공통 요소를 효과적으로 찾기 위한 온톨로지 매칭 기법에 집중되어 있으며 매핑 요소들을 통합하는 과정에서 발생하는 문제를 정의하고 해결하는 방법에 대해서는 간과하고 있다. 본 논문에서는 매칭 프로세스에 의해 주어진 매핑 결과에 기반하여 두 소스 온톨로지들을 통합해 나가는 상세한 통합 프로세스를 정의하고 매핑 요소들 사이에 존재하는 통합 충돌의 유형에 대한 분류 체계 및 충돌을 탐지하고 해결하기 위한 기법을 제안한다. 또한 충돌의 탐지 및 해결을 포함하여 통합 과정을 캡슐화하는 T-MERGE 연산자와 통합 과정의 기록과 오류 복구를 위한 MergeLog를 설계 및 구현한다. 제안하는 통합 모듈의 성능을 보이기 위해 동, 서양 철학 온톨로지들과 야후 및 네이버 백과사전의 일부를 온톨로지로 구현하여 실험 데이타로 활용하였으며 그 결과 전문가의 수작업에 의한 온톨로지 통합과 동일한 결과를 적은 시간과 노력으로 얻을 수 있음을 보인다.

블록체인 네트워크 기반의 도메인 네임 시스템 설계 및 구현 (Design and Implementation of Blockchain Network Based on Domain Name System)

  • 허재욱;김정호;전문석
    • 한국산학기술학회논문지
    • /
    • 제20권5호
    • /
    • pp.36-46
    • /
    • 2019
  • 인터넷에 연결된 호스트의 개수가 대폭 증가해 1984년 도메인 네임 시스템(Domain Name System, 이하 DNS)이 도입되었다. DNS는 웹 사이트를 검색할 때, 일련의 숫자로 이루어진 복잡한 IP 주소를 외우지 않고 편리성이 높은 문자 형태의 주소를 사용할 수 있게 함으로써 현재 인터넷을 이용하는 모든 사용자에게 중요한 핵심 요소로 사용되고 있다. 그러나 이러한 DNS의 중요성에 비해 권한 할당 문제, 공인 등록 관련 분쟁, DNS 캐시 포이즈닝(DNS Cache Poisoning), DNS 스푸핑(DNS Spoofing), 중간자 공격(Man-in-the-Middle Attack), DNS 증폭 공격(DNS Amplification Attack)과 같은 각종 보안 취약점, 초연결 네트워크 시대의 더 많은 도메인 네임의 필요성 등 많은 문제점이 존재한다. 본 연구에서는 기존의 DNS가 가지는 이러한 문제점을 효과적으로 개선하고자 분산원장기술인 블록체인을 이용해 DNS를 구현하는 법을 제안하고, 이더리움 기반의 플랫폼을 이용해 구현하였다. 추가적으로 기존의 도메인 네임 등록 및 도메인 네임 서버의 정성적 성능 비교 평가를 하고, 제안하는 시스템이 기존 DNS의 보안 문제점을 개선할 수 있는지 보안 평가를 하였다. 결론적으로 블록체인을 이용해 더 안전하고 효율적으로 DNS 서비스를 제공할 수 있다는 것을 보였다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.