• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1223-1232
• /
• 2019

The injection is the input method of the image feature vector from the encoder to the decoder. Since the image feature vector contains object details such as color and texture, it is essential to generate image captions. However, the bidirectional decoder model using the existing injection method only inputs the image feature vector in the first step, so image feature vectors of the backward sequence are vanishing. This problem makes it difficult to describe the context in detail. Therefore, in this paper, we propose the parallel injection method to improve the description performance of image captions. The proposed Injection method fuses all embeddings and image vectors to preserve the context. Also, We optimize our image caption model with Bidirectional Gated Recurrent Unit (Bi-GRU) to reduce the amount of computation of the decoder. To validate the proposed model, experiments were conducted with a certified image caption dataset, demonstrating excellence in comparison with the latest models using BLEU and METEOR scores. The proposed model improved the BLEU score up to 20.2 points and the METEOR score up to 3.65 points compared to the existing caption model.

• 치위생과학회지
• /
• 제10권4호
• /
• pp.273-278
• /
• 2010

This study surveyed people with hearing impairments and speech defect living in an area of Gyeonggi-do using a self-administered questionnaire and interviewed them with a deaf interpreter's help during the period from January 21 to February 14, 2009 in order to investigate their oral health management attitude according to their general characteristics. The difference between males and females was statistically significant. The results of this study were as follows. 1. As to the number of times of tooth brushing according to gender, 62.5% of males and 34.2% of females brushed their teeth 2 times, and 25.0% and 35.4% 3 times. 2. As to experiences in scaling according to Academic qualification, those with high academic qualification had scaling more regularly 3. As to tooth brushing methods according to cohabitant, the rolling method was most common regardless of cohabitant. As to the number of times of tooth brushing according to residence type, 41.9% of those living with their parents brushed their teeth 3 times, and 69.2% of those living alone and 47.5% of married ones 2 times. 4. With regard to how to access oral hygiene management education, 81.1% of elementary school graduates used multimedia materials and sign language explanation and captions, 48.6% of middle school graduates used multimedia materials and sign language explanation and 14.3% multimedia materials and captions, 50.0% of high school graduates used multimedia materials and sign language explanation and 17.3% multimedia materials and captions. The parish for the buccal cavity hygiene managements of the hearing impairments speech defect and Development of an educational program are needed.

• 방송공학회논문지
• /
• 제5권1호
• /
• pp.113-122
• /
• 2000

이미 방송된 비디오 영상으로부터 자막 영역을 제거하고 원 영상으로 복원할 필요가 종종 발생한다. 복원될 영상의 량이 적을 경우 수 작업에 의한 복원이 가능하나, 비디오 영상과 같이 복원할 영상이 많아질 경우에는 수 작업에 복원은 어렵다고 볼 수 있다. 따라서 자동으로 자막 영역을 원 영상으로 복원할 수 있는 방법이 필요하게 된다. 기존의 영상 복원에 관한 연구는 주로 블러링(blurring)된 영상을 주파수 필터를 사용하여 선명하게 복원하거나, 영상 통신을 위한 비디오 코딩 방법에 대한 연구가 많이 이루어졌다. 본 논문에서는 블록 정합 알고리즘(Block Matching Algorithm)을 이용하여 자막 영역을 복원하는 방법을 제안하고자한다. 자막 복원을 위한 사전 정보로 자막 영역 정보와 장면 전환 정보를 추출한다. 추출된 자막 정보로부터 자막의 시작 프레임, 끝 프레임, 자막 문자의 구성 요소 정보를 얻을 수 있다. 자막 정보(자막의 시작 프레임, 끝 프레임)와 장면 전환 정보를 이용하여 복원의 방향성 및 복원의 종점을 결정한다. 복원의 방향성에 따라 각 프레임마다 문자의 구성 요소에 대한 블록 정합을 수행하여 원 영상을 복원한다. 실험결과 비교적 움직임이 적은 영상에서는 복원이 잘 됨을 볼 수 있었으며, 복잡한 배경을 갖고 있는 영상의 경우도 복원됨을 볼 수 있었다.

• 한국컴퓨터산업학회논문지
• /
• 제3권7호
• /
• pp.901-914
• /
• 2002

본 논문에서는 비디오에서 입력된 영상으로부터 내용기반 검색을 위해 자동으로 자막을 추출하여 특징 추출을 기반의 단층 연결 신경망 인식기(FE-MCBP)에 의해 자막 문자를 인식하여 영상 자막의 내용을 검출하는 방법을 제시하였다. 비디오에서 자막 추출은 먼저, 비디오에서 일정한 시간 간격으로 획득한 프레임 중에서 히스토그램 분석을 통하여 키 프레임을 찾는 과정을 수행하며, 그 다음에 각각의 키 프레임에 대하여 칼라 세그먼테이션 후 라인 검사 방법 통하여 자막 영역을 추출하도록 하였다. 마지막으로 추출된 자막영역에서 개별문자를 분리하였다. 본 연구에서는 칼라 히스토그램을 분석 후 지역 최대값을 이용하여 세그먼테이션 후 라인 검사를 수행함으로써 처리 속도와 자막영역 검출의 정확도를 개선하였다. 비디오에서 자막 추출은 비디오 정보를 멀티미디어 데이터베이스화하는 초기 단계로 추출된 자막은 바로 문자 인식기의 입력이 된다. 또한 인식된 자막정보는 데이터베이스로 구축되며 내용기반 검색 기법에 의해 검색되도록 하였다.

• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.73-78
• /
• 2006

기존의 문자 영역 추출 방법은 전체 영상으로부터 컬러 영역 분할이나 프레임 차 방법을 이용하였다. 이들 방법은 휴리스틱에 많이 의존하므로 추출하려는 문자의 사전 정보를 가지고 있어야한다는 점과 구현에 많은 어려움이 존재한다. 본 논문에서는 휴리스틱한 부분을 줄이고 알고리즘을 단순화한 방법을 제안하고자 한다 문자의 지형학적 특징점을 추출하고 이 점들을 MST(Minimum Spanning Tree)를 형성하여 문자의 후보 영역을 추출한다. 문자 영역을 후보 영역의 검증을 통하여 추출한다. 실험 결과 문자의 후보 영역 추출율은 100%이었으며 최종 문자 영역 추출율은 98.2%이었다. 또한 복잡한 영상에서 존재하는 문자 영역도 잘 추출됨을 볼 수 있다.

• 한국멀티미디어학회논문지
• /
• 제24권1호
• /
• pp.21-29
• /
• 2021

With the recent increase in the number of households raising pets, various engineering studies have been underway for pets. The final purpose of this study is to automatically generate situation-sensitive captions that can express implicit intentions based on the behavior and sound of cats by embedding the already mature behavioral detection technology of pets as basic element technology in the video capturing research. As a pilot project to this end, this paper proposes a high-level capturing system using optical-flow, RGB, and sound information of cat videos. That is, the proposed system uses video datasets collected in an actual breeding environment to extract feature vectors from the video and sound, then through hierarchical LSTM encoder and decoder, to identify the cat's behavior and its implicit intentions, and to perform learning to create context-sensitive captions. The performance of the proposed system was verified experimentally by utilizing video data collected in the environment where actual cats are raised.

• 한국방사성폐기물학회:학술대회논문집
• /
• 한국방사성폐기물학회 2004년도 학술논문집
• /
• pp.336-336
• /
• 2004

EDTA contained in decontamination wastes can cause complexation of radioactive captions resulting from its various treatment process such as chemical precipitation, and ion exchange etc. It might also import for elevated teachability and higher mobility of cationic contaminants from conditioned wastes such as waste immobilized in cement or other matrices. Therefore, various cheated or unchlelated EDTAS must be treated to environmentally safe materials.(omitted)

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.82-84
• /
• 2017

본 논문에서는 한국어 이미지 캡션을 학습하기 위한 데이터를 작성하고 딥러닝을 통해 예측하는 모델을 제안한다. 한국어 데이터 생성을 위해 MS COCO 영어 캡션을 번역하여 한국어로 변환하고 수정하였다. 이미지 캡션 생성을 위한 모델은 CNN을 이용하여 이미지를 512차원의 자질로 인코딩한다. 인코딩된 자질을 LSTM의 입력으로 사용하여 캡션을 생성하였다. 생성된 한국어 MS COCO 데이터에 대해 어절 단위, 형태소 단위, 의미형태소 단위 실험을 진행하였고 그 중 가장 높은 성능을 보인 형태소 단위 모델을 영어 모델과 비교하여 영어 모델과 비슷한 성능을 얻음을 증명하였다.

• 대한전기학회논문지:시스템및제어부문D
• /
• 제53권8호
• /
• pp.606-610
• /
• 2004

A noble caption text detection and recognition algorithm using the temporal nature of video is proposed in this paper. A text registration technique is used to locate the temporal and spatial positions of captions in video from the accumulated frame difference information. Experimental results show that the proposed method is effective and robust. Also, a high processing speed is achieved since no time consuming operation is included.

• 한국안전학회지
• /
• 제35권1호
• /
• pp.45-52
• /
• 2020

Construction industry has a relatively higher industrial accident rate than other domestic industries. Thus, to reduce the accident rate, researches on the methodology of worker's safety education combined with new technologies like IT technology have increased. In the light of workers' safety information provision, this study develops a VR(Virtual Reality)-based construction site using the BIM(Building Information Modeling) data. The target structures and geographical features are included in the VR-based construction site where the construction machinery model and worker model are also created using a game engine. For highly effective provision of safety information, video clips with suitable captions corresponding to working processes were made with proper screen directing. They should be appropriately connected to correct worker's operations to improve the work commitment level, sense of reality and inducement of interest. From this scenario, the 3D VR-based construction site, which can be experienced through a VR equipment, was created and in the same platform, the safety information was provided by the video clip combined with the suitable captions. Although the real construction site involves various requirements depending on field situation and the expertness and experience of workers are not consistent, the developed safety information provision based on the VR construction site is expected to effectively reduce the incomplete factors leading to construction accidents by improving the worker's perception of workplace safety.