• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.445-454
• /
• 2023

최근에는 협동 로봇의 데이터를 활용한 다양한 결함진단 연구가 수행되고 있다. 협동 로봇의 결함진단을 수행하는 기존 연구들은 기존 연구의 학습 데이터는 미리 정의된 기기의 동작을 가정하고 수집한 정적 데이터를 사용한다. 따라서 결함진단 모델은 학습한 데이터 패턴에 대한 의존성이 높아지는 한계가 있다. 또한 단일 모터를 사용한 실험으로 다관절이 동작하는 협동 로봇의 특성을 반영한 진단이 이루어지지 못했다는 한계가 있다. 본 논문에서는 앞서 언급한 두 가지 한계점을 해결할 수 있는 LSTM 진단 모델을 제안한다. 제안하는 방법은 단일 축 및 다중 축 작업 환경에서의 진동 및 전류 데이터의 상관분석을 사용하여 정상 대표 패턴을 선정하고, 정상 대표 패턴과의 차이를 통해 잔차 패턴을 생성한다. 생성된 잔차 패턴을 입력으로 축별 기어 마모 진단을 수행할 수 있는 LSTM 모델을 생성한다. 해당 결함진단 모델은 동작별 대표 패턴을 통해 모델의 학습 데이터 패턴에 대한 의존성을 낮출 수 있을 뿐 아니라 다중 축 동작 수행 시 발생하는 결함을 진단할 수 있다. 마지막으로, 내부 및 외부 데이터의 특성을 모두 반영하여 결함진단 성능을 개선한 결과 98.57%의 높은 진단 성능을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.455-460
• /
• 2023

텍스트 증강은 자연어처리 모델의 성능 향상을 목적으로 원본 텍스트의 변환, 생성을 통하여 새로운 증강 텍스트를 생성하는 방법론이다. 기존 연구된 기법들은 표현적 다양성 부족, 의미 왜곡 , 한정적인 양의 증강 텍스트와 같은 한계점이 존재한다. 거대언어모델과 few-shot learning을 활용한 텍스트 증강은 이러한 한계점의 극복이 가능하지만, 잘못된 생성으로 인한 노이즈 발생의 위험성이 존재한다. 본 논문에서는 여러 후보 텍스트를 생성하고 적합한 텍스트를 증강 텍스트로 선정하는 TAGS를 제안한다. TAGS는 기존 텍스트 few shot learning을 통해 다양한 표현을 생성하면서 대조 학습과 유사도 비교를 통해 원본 텍스트가 적더라도 적합한 데이터를 효과적으로 선정한다. 이를 텍스트 증강이 필수적인 업무용 챗봇 데이터에 적용하여 60배 이상의 양적 향상을 달성하였다. 또한 증강 텍스트의 질적 향상을 확인하기 위해 실제 생성된 텍스트를 분석하여 원본 텍스트에 비해 의미론적, 표현적으로 다양한 텍스트를 생성함을 확인하였으며, 증강 텍스트로 실제 분류 모델을 학습하고 실험하여 실질적으로 자연어처리 모델 성능 향상에 도움이 되는 것을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권10호
• /
• pp.461-470
• /
• 2023

딥러닝을 활용한 스피치 애니메이션 생성은 영어를 중심으로 활발하게 연구되어왔지만, 한국어에 관해서는 사례가 없었다. 이에, 본 논문은 최초로 지도 학습 딥러닝을 한국어 스피치 애니메이션 생성에 활용해 본다. 이 과정에서, 딥러닝이 스피치 애니메이션 연구를 그 지배적 기술인 음성 인식 연구로 귀결시킬 수 있는 중요한 효과를 발견하게 되어, 이 효과를 한국어 스피치 애니메이션 생성에 최대한 활용하는 방법을 고찰한다. 이 효과는 연구의 최우선 목표를 명확하게 하여, 근래에 들어 활발하지 않은 한국어 스피치 애니메이션 연구를 효과적이고 효율적으로 재활성화하는데 기여할 수 있다. 본 논문은 다음 과정들을 수행한다: (i) 블렌드쉐입 애니메이션 기술을 선택하며, (ii) 딥러닝 모델을 음성 인식 모듈과 표정 코딩 모듈의 주종 관계 파이프라인으로 구현하고, (iii) 한국어 스피치 모션 캡처 dataset을 제작하며, (iv) 두 대조용 딥러닝 모델들을 준비하고 (한 모델은 영어 음성 인식 모듈을 채택하고, 다른 모델은 한국어 음성 인식 모듈을 채택하며, 두 모델이 동일한 기본 구조의 표정 코딩 모듈을 채택한다), (v) 두 모델의 표정 코딩 모듈을 음성 인식 모듈에 종속되게 학습시킨다. 유저 스터디 결과는, 한국어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (4.2/5.0 점 획득)이, 영어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (2.7/5.0 점 획득)에 비해 결정적으로 더 자연스러운 한국어 스피치 애니메이션을 생성함을 보여 주었다. 이 결과는 한국어 스피치 애니메이션의 품질이 한국어 음성 인식의 정확성으로 귀결됨을 보여 줌으로써 상기의 효과를 확인해준다.

• 융합신호처리학회논문지
• /
• 제24권1호
• /
• pp.57-68
• /
• 2023

약 4차 산업 혁명 시대의 기술 발전에 따라 다양한 분야에서 HMD를 활용하는 기술이 응용되고 있다. HMD는 AR/VR 등의 가상현실 분야에서 특히 유용하게 활용되고 있으며 원격지에 위치한 사용자가 현장의 생생한 감동을 전달받는 데 매우 효과적이다. 이러한 특성에 따라 협업과 관련한 분야에서도 HMD를 활용하는 빈도가 커지고 있다. 그러나 HMD를 협업에 적용 시 원격지에 위치한 전문가와 현장에 위치한 작업자 사이의 의사소통이 원활하지 못하여 사용성 측면의 다양한 문제점을 야기하기도 한다. 본 논문에서는 원격지 전문가와 현장의 작업자가 HMD를 활용하여 협업 시 발생하는 다양한 문제점을 해결하고, 보다 효율적인 협업의 진행이 가능한 새로운 형태의 HMD 구조 및 기능을 설계/제안하며 SUS 평가 기법을 활용하여 사용성을 검증한다. SUS 평가 결과 본 논문에서 제안한 새로운 형태의 HMD 구조 및 기능은 86.75점을 나타내었으며, 이는 기존 HMD 구조가 가지는 협업 시 제약사항, 사용성의 불편함 등을 크게 해소한 것으로 판단된다. 향후 본 논문에서 제안하는 HMD 구조 및 설계가 실질적으로 적용될 시 HMD를 활용한 응용 기술은 급격하게 확장될 것으로 기대된다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권6호
• /
• pp.255-266
• /
• 2022

콘크리트의 주재료인 골재 중 굵은 골재의 품질관리는 현재 샘플링을 통한 통계적 공정관리(SPC) 방법으로 하고 있다. 본 논문은 굵은 골재에 대한 품질관리를 현재의 체거름 방식을 대신 카메라를 통해 획득한 영상을 기반으로 굵은 골재를 검사하게 바꾸어 제조 혁신을 위한 스마트팩토리를 구축하였다. 먼저, 얻은 영상을 전처리 하였고, 딥러닝으로 학습된 HED(Holistically-nested Edge Detection)필터는 각각의 물체를 Segmentation하였다. 이 Segmentation한 결과를 영상 처리하여 각각의 골재를 분석 후 이 결과를 바탕으로 조립률, 입형률을 파악한다. 영상을 통해 얻은 골재들의 조립률, 입형률을 계산하여 골재의 품질을 검사하였고 알고리즘의 정확도는 실제로 체 가름 방식을 통해 골재의 품질을 비교한 것과 90% 이상의 정확도를 보이는 결과가 나왔다. 또한 기존의 방법으로는 골재의 입형률을 검사할 수 없었지만 본문의 내용을 통해 골재의 입형률도 측정할 수 있게 되었다. 입형률의 경우 도형을 사용하여 검증하였는데 이는 ±4.5%의 차이를 보였다. 골재의 길이 측정의 경우 실제 골재의 길이를 비교하였는데 ±6%의 차이를 보였다. 실제 3차원의 데이터를 2차원의 영상에서 분석하다보니 실제 데이터와 차이가 생겼는데 이는 추후 연구가 필요하다.

• 문화기술의 융합
• /
• 제9권6호
• /
• pp.967-971
• /
• 2023

최근에는 다양한 플랫폼 서비스가 인공지능을 활용하여 제공되고 있으며, 그 중 하나로 ChatGPT는 대량의 데이터를 자연어 처리하여 자가 학습 후 답변을 생성하는 역할을 수행하고 있다. ChatGPT는 IT 분야에서 소프트웨어 프로그래밍 분야를 포함하여 다양한 작업을 수행할 수 있는데, 특히 프로그램을 대표하는 C언어를 통해 간단한 프로그램을 생성하고 에러를 수정하는데 도움을 줄 수 있다. 이러한 능력을 토대로 C언어를 기반으로 만들어진 하드웨어 언어인 베릴로그 HDL도 ChatGPT에서 원활한 생성이 예상되지만, 베릴로그 HDL의 합성은 명령문들을 논리회로 구조 형태로 생성하는 것이기에 결과물들의 정상적인 실행 여부를 확인해야 한다. 본 논문에서는 용이한 실험을 위해 규모가 적은 논리회로들을 선택하여 ChatGPT에서 생성된 디지털회로와 인간이 만든 회로들의 결과를 확인하려 한다. 실험 환경은 Xilinx ISE 14.7로 모듈들을 모델링하였으며 xc3s1000 FPGA칩을 사용하여 구현하였다. 구현된 결과물을 FPGA의 사용 면적과 처리 시간을 각각 비교 분석함으로써 ChatGPT의 생성물과 베릴로그 HDL의 생성물의 성능을 비교하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.505-518
• /
• 2023

3차원 포인트 클라우드 의미적 분할은 각 포인트별로 해당 포인트가 속한 물체나 영역의 분류 레이블을 예측함으로써, 포인트 클라우드를 서로 다른 물체들이나 영역들로 나누는 컴퓨터 비전 작업이다. 기존의 3차원 의미적 분할 모델들은 RGB 영상들에서 추출하는 2차원 시각적 특징과 포인트 클라우드에서 추출하는 3차원 기하학적 특징의 특성을 충분히 고려한 특징 융합을 수행하지 못한다는 한계가 있다. 따라서, 본 논문에서는 2차원-3차원 멀티-모달 특징을 이용하는 새로운 3차원 의미적 분할 모델 MMCA-Net을 제안한다. 제안 모델은 중기 융합 전략과 멀티-모달 교차 주의집중 기반의 융합 연산을 적용함으로써, 이질적인 2차원 시각적 특징과 3차원 기하학적 특징을 효과적으로 융합한다. 또한 3차원 기하학적 인코더로 PTv2를 채용함으로써, 포인트들이 비-정규적으로 분포한 입력 포인트 클라우드로부터 맥락정보가 풍부한 3차원 기하학적 특징을 추출해낸다. 본 논문에서는 제안 모델의 성능을 분석하기 위해 벤치마크 데이터 집합인 ScanNetv2을 이용한 다양한 정량 및 정성 실험들을 진행하였다. 성능 척도 mIoU 측면에서 제안 모델은 3차원 기하학적 특징만을 이용하는 PTv2 모델에 비해 9.2%의 성능 향상을, 2차원-3차원 멀티-모달 특징을 사용하는 MVPNet 모델에 비해 12.12%의 성능 향상을 보였다. 이를 통해 본 논문에서 제안한 모델의 효과와 유용성을 입증하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• 서비스연구
• /
• 제14권1호
• /
• pp.1-12
• /
• 2024

푸드테크 산업 중 서비스 로봇 시장이 커짐에 따라 외식산업의 소비자 행동의도에 영향을 끼치는 로봇 서비스의 품질이 중요하다. 식당 서빙로봇은 직원의 업무를 줄여주기도 하지만, 서비스 실패에 따른 대응이 되지 않기 때문에 고객의 불만족은 물론 직원의 업무를 늘리기도 한다. 주문과 서빙 기능 외에 서비스 품질을 높이기 위해서 직원처럼 서비스 실패 후 복구 노력, 과정의 공정성, 공감, 대응성, 확신성에 대한 기능도 요구된다. 이에 우리는 식당 서빙 서비스 실패 유형을 내적, 외적요인으로 가정하고, 서비스에 실패했을 때 직업 윤리적인 태도로 대응할 수 있도록 직업윤리적 공감모듈이 있는 서빙로봇을 개발했다. 이때 서빙로봇의 표정과 액션은 평상 서비스 모드에 실패복구 노력과 공감을 반영한 실패 모드를 추가하여 개발하였으며, 두 유형의 서비스 실패에 따른 서빙로봇의 직업 윤리적 공감 대응 여부가 로봇평가에 유의미한지를 실험하였다. 실험참가자들은 로봇 실수보다 다른 고객의 실수에 따른 서비스 실패에 더 불편해했으며, 서빙로봇의 직업윤리적 공감과 대응은 적절했다고 응답하였다. 또한 직업윤리적 공감 모듈의 장착여부에 따라 로봇 호감도는 차이가 없지만 안전성은 유의미한 차이를 보였다. 생성형 인공지능을 활용하여 직업윤리적 공감 대응 모듈을 탑재한다면, 국내 서빙로봇산업과 시장은 더욱 성장할 수 있을 것이다.

• Journal of Cardiovascular Imaging
• /
• 제31권3호
• /
• pp.125-132
• /
• 2023

BACKGROUND: There is limited data on the residual echocardiographic findings including strain analysis among post-coronavirus disease (COVID) patients. The aim of our study is to prospectively phenotype post-COVID patients. METHODS: All patients discharged following acute COVID infection were systematically followed in the post-COVID-19 Recovery Clinic at Vancouver General Hospital and St. Paul's Hospital. At 4-18 weeks post diagnosis, patients underwent comprehensive echocardiographic assessment. Left ventricular ejection fraction (LVEF) was assessed by 3D, 2D Biplane Simpson's, or visual estimate. LV global longitudinal strain (GLS) was measured using a vendor-independent 2D speckle-tracking software (TomTec). RESULTS: A total of 127 patients (53% female, mean age 58 years) were included in our analyses. At baseline, cardiac conditions were present in 58% of the patients (15% coronary artery disease, 4% heart failure, 44% hypertension, 10% atrial fibrillation) while the remainder were free of cardiac conditions. COVID-19 serious complications were present in 79% of the patients (76% pneumonia, 37% intensive care unit admission, 21% intubation, 1% myocarditis). Normal LVEF was seen in 96% of the cohort and 97% had normal right ventricular systolic function. A high proportion (53%) had abnormal LV GLS defined as < 18%. Average LV GLS of septal and inferior segments were lower compared to that of other segments. Among patients without pre-existing cardiac conditions, LVEF was abnormal in only 1.9%, but LV GLS was abnormal in 46% of the patients. CONCLUSIONS: Most post-COVID patients had normal LVEF at 4-18 weeks post diagnosis, but over half had abnormal LV GLS.