• International journal of advanced smart convergence
• /
• 제8권1호
• /
• pp.24-34
• /
• 2019

In this research, a practical deep learning framework to differentiate the lesions and nodules in breast acquired with ultrasound imaging has been proposed. 7408 ultrasound breast images of 5151 patient cases were collected. All cases were biopsy proven and lesions were semi-automatically segmented. To compensate for the shift caused in the segmentation, the boundaries of each lesion were drawn using Fully Convolutional Networks(FCN) segmentation method based on the radiologist's specified point. The data set consists of 4254 benign and 3154 malignant lesions. In 7408 ultrasound breast images, the number of training images is 6579, and the number of test images is 829. The margin between the boundary of each lesion and the boundary of the image itself varied for training image augmentation. The training images were augmented by varying the margin between the boundary of each lesion and the boundary of the image itself. The images were processed through histogram equalization, image cropping, and margin augmentation. The networks trained on the data with augmentation and the data without augmentation all had AUC over 0.95. The network exhibited about 90% accuracy, 0.86 sensitivity and 0.95 specificity. Although the proposed framework still requires to point to the location of the target ROI with the help of radiologists, the result of the suggested framework showed promising results. It supports human radiologist to give successful performance and helps to create a fluent diagnostic workflow that meets the fundamental purpose of CADx.

• 지능정보연구
• /
• 제24권3호
• /
• pp.1-19
• /
• 2018

최근 딥러닝은 오디오, 텍스트 및 이미지 데이터와 같은 비 체계적인 데이터를 대상으로 다양한 추정, 분류 및 예측 문제에 사용 및 적용되고 있다. 특히, 의류산업에 적용될 경우 딥러닝 기법을 활용한 의류 인식, 의류 검색, 자동 제품 추천 등의 심층 학습을 기반으로 한 응용이 가능하다. 이 때의 핵심모형은 합성곱 신경망을 사용한 이미지 분류이다. 합성곱 신경망은 입력이 전달되고 출력에 도달하는 과정에서 가중치와 같은 매개 변수를 학습하는 뉴런으로 구성되고, 영상 분류에 가장 적합한 방법론으로 사용된다. 기존의 의류 이미지 분류 작업에서 대부분의 분류 모형은 의류 이미지 자체 또는 전문모델 착용 의류와 같이 통제된 상황에서 촬영되는 온라인 제품 이미지를 사용하여 학습을 수행한다. 하지만 본 연구에서는 통제되지 않은 상황에서 촬영되고 사람들의 움직임과 다양한 포즈가 포함된 스트릿 패션 이미지 또는 런웨이 이미지를 분류하려는 상황을 고려하여 분류 모형을 훈련시키는 효과적인 방법을 제안한다. 이동성을 포착하는 런웨이 의류 이미지로 모형을 학습시킴으로써 분류 모형의 다양한 쿼리 이미지에 대한 적응력을 높일 수 있다. 모형 학습 시 먼저 ImageNet 데이터셋을 사용하여 pre-training 과정을 거치고 본 연구를 위해 수집된 32 개 주요 패션 브랜드의 2426개 런웨이 이미지로 구성된 데이터셋을 사용하여 fine-tuning을 수행한다. 학습 과정의 일반화를 고려해 10번의 실험을 수행하고 제안된 모형은 최종 테스트에서 67.2 %의 정확도를 기록했다. 본 연구 모형은 쿼리 이미지가 런웨이 이미지, 제품 이미지 또는 스트릿 패션 이미지가 될 수 있는 다양한 분류 환경에 적용될 수 있다. 구체적으로는 패션 위크에서 모바일 어플리케이션 서비스를 통해 브랜드 검색을 용이하게 하는 서비스를 제공하거나, 패션 잡지사의 편집 작업에 사용되어 브랜드나 스타일을 분류하고 라벨을 붙일 수 있으며, 온라인 쇼핑몰에서 아이템 정보를 제공하거나 유사한 아이템을 추천하는 등의 다양한 목적에 적용될 수 있다.

• 한국산학기술학회논문지
• /
• 제21권8호
• /
• pp.1-8
• /
• 2020

건물 내부 공기 순환을 위한 공조 덕트는 장기간 사용 시 오염물질이 내부에 쌓여 인력 또는 로봇이 투입되어 청소가 주기적으로 수행된다. 청소는 작업시간과 인건비 문제를 해결하기 위해 최근 원격 조정으로 로봇을 작동시키는 방법이 사용되고 있다. 하지만 완전 자동화가 아니라 인력 의존적이며 청소 시간 단축에도 한계가 있다. 본 연구는 공조 덕트 청소 로봇 자율 주행을 위해 교차점 검출 알고리듬 개발에 대한 것이다. 자율 주행은 청소 로봇에 장착된 카메라 영상에서 교차점 검출 알고리듬을 통해 추출된 점과 중심점 사이의 거리 및 각도를 계산하여 로봇을 제어하도록 구성된다. 교차점 검출을 위한 데이터는 3D CAD 프로그램을 이용한 공조 덕트 내부 이미지를 Python을 이용해 교차점 좌표 및 두 경계선 각도를 추출하여 생성했다. 검출 알고리듬은 딥러닝 중 CNN 모델이 학습에 사용됐으며 학습 모델은 입력이미지에서 교차점 정보를 추출하며 학습 모델 정확도는 면적과 거리를 이용해 판단했다. 알고리듬 검증을 위해 청소 로봇을 제작했으며 로봇은 몸체, Raspberry Pi, 카메라 및 초음파 센서를 포함한 제어부, 모터와 바퀴를 포함한 구동부로 구성된다. 알고리듬을 탑재한 로봇 청소기 주행 영상을 통해 알고리듬을 검증했다. 향후 공조 덕트뿐만 아니라 에스컬레이터 등 다양한 환경에서 적용 가능할 것으로 기대된다.

• 한국정보전자통신기술학회논문지
• /
• 제14권2호
• /
• pp.128-133
• /
• 2021

현재 자율주행차량 시장은 3레벨 자율주행차량을 상용화하고 있으나, 안정성의 문제로 완전 자율주행 중에도 사고가 발생할 가능성이 있다. 실제로 자율주행차량은 81건의 사고를 기록하고 있다. 3레벨과 다르게 4레벨 이후의 자율주행차량은 긴급상황을 스스로 판단하고 대처해야 하기 때문이다. 따라서 본 논문에서는 CNN을 통하여 차량 외부의 정보를 수집하여 저장하고, 저장된 정보와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 차량 내·외부 데이터 및 딥러닝 기반 차량 위기 감지 시스템을 제안한다. 차량 위기 감지 시스템은 CNN기반 신경망 모델을 사용하여 주변 차량과 보행자 데이터를 수집하는 차량 외부 상황 수집 모듈과 차량 외부 상황 수집 모듈의 출력과 차량 내부 센서 데이터를 이용하여 차량이 처한 위기 상황을 수치화하는 차량 위기 상황 판단 모듈로 구성된다. 실험 결과, VESCM의 평균 연산 시간은 55ms 였고, R-CNN은 74ms, CNN은 101ms였다. 특히, R-CNN은 보행자수가 적을 때 VESCM과 비슷한 연산 시간을 보이지만, 보행자 수가 많아 질수록 VESCM보다 많은 연산 시간을 소요했다. 평균적으로 VESCM는 R-CNN보다 25.68%, CNN보다 45.54% 더 빠른 연산 시간을 가졌고, 세 모델의 정확도는 모두 80% 이하로 감소하지 않으며 높은 정확도를 보였다.

• 인터넷정보학회논문지
• /
• 제21권6호
• /
• pp.23-31
• /
• 2020

본 연구는 철도표면상에 발생하는 노후 현상 중 하나인 결함 검출을 위해 학습데이터를 생성함으로써 결함 검출 모델에서 더 높은 점수를 얻기 위해 진행되었다. 철도표면에서 결함은 선로결속장치 및 선로와 차량의 마찰 등 다양한 원인에 의해 발생하고 선로 파손 등의 사고를 유발할 수 있기 때문에 결함에 대한 철도 유지관리가 필요 하다. 그래서 철도 유지관리의 자동화 및 비용절감을 위해 철도 표면 영상에 영상처리 또는 기계학습을 활용한 결함 검출 및 검사에 대한 다양한 연구가 진행되고 있다. 일반적으로 영상 처리 분석기법 및 기계학습 기술의 성능은 데이터의 수량과 품질에 의존한다. 그렇기 때문에 일부 연구는 일반적이고 다양한 철도표면영상의 데이터베이스를 확보하기위해 등간격으로 선로표면을 촬영하는 장치 또는 탑재된 차량이 필요로 하였다. 본연구는 이러한 기계적인 영상획득 장치의 운용비용을 감소시키고 보완하기 위해 대표적인 영상생성관련 딥러닝 모델인 생성적 적대적 네트워크의 기본 구성에서 여러 관련연구에서 제시된 방법을 응용, 결함이 있는 철도 표면 재생성모델을 구성하여, 전용 데이터베이스가 구축되지 않은 철도 표면 영상에 대해서도 결함 검출을 진행할 수 있도록 하였다. 구성한 모델은 상이한 철도 표면 텍스처들을 반영한 철도 표면 생성을 학습하고 여러 임의의 결함의 위치에 대한 Ground-Truth들을 만족하는 다양한 결함을 재 생성하도록 설계하였다. 재생성된 철도 표면의 영상들을 결함 검출 딥러닝 모델에 학습데이터로 사용한다. 재생성모델의 유효성을 검증하기 위해 철도표면데이터를 3가지의 하위집합으로 군집화 하여 하나의 집합세트를 원본 영상으로 정의하고, 다른 두개의 나머지 하위집합들의 몇가지의 선로표면영상을 텍스처 영상으로 사용하여 새로운 철도 표면 영상을 생성한다. 그리고 결함 검출 모델에서 학습데이터로 생성된 새로운 철도 표면 영상을 사용하였을 때와, 생성된 철도 표면 영상이 없는 원본 영상을 사용하였을 때를 나누어 검증한다. 앞서 분류했던 하위집합들 중에서 원본영상으로 사용된 집합세트를 제외한 두 개의 하위집합들은 각각의 환경에서 학습된 결함 검출 모델에서 검증하여 출력인 픽셀단위 분류지도 영상을 얻는다. 이 픽셀단위 분류지도영상들과 실제 결함의 위치에 대한 원본결함 지도(Ground-Truth)들의 IoU(Intersection over Union) 및 F1-score로 평가하여 성능을 계산하였다. 결과적으로 두개의 하위집합의 텍스처 영상을 이용한 재생성된 학습데이터를 학습한 결함 검출모델의 점수는 원본 영상만을 학습하였을 때의 점수보다 약 IoU 및 F1-score가 10~15% 증가하였다. 이는 전용 학습 데이터가 구축되지 않은 철도표면 영상에 대해서도 기존 데이터를 이용하여 결함 검출이 상당히 가능함을 증명하는 것이다.