| START Conference Manager |
category: Poster Session: 6 December Session P5: Asian Languages Poster Session
Abstract: This work introduces a methodology to inject linguistic knowledge into an auxiliary classifier Cycle-consistent Generative Adversarial Network (CycleGAN), a machine learning method that retains domain knowledge. A related work used CycleGAN to generate a native version of a language learner's accented input speech in Korean. A linguistically-motivated auxiliary classifier is proposed in this work that enables generator-student interaction. This additional two-layer CNN learns to ensure the discriminability between the generated samples, and distinguishes three error types, “segmental,” “suprasegmental,” and “no correction” of the generated speech so that the learners will receive corrective feedback together with linguistic information. Resume: 본 논문에서 제안하는 방법은 보조 분류기로 증강된 순환적 일관성 손실 함수를 사용한 생성적 적대 신경망 (Cycle-consistent Generative Adversarial Network; CycleGAN) 모델이며, 언어학 도메인 지식을 신경망 학습에 활용한다. 이전의 CycleGAN은 학습자의 목소리를 원어민 발음으로 변환하여 들려준다. 그러나, 이러한 피드백 방법은 어떠한 유형의 오류가 있었는지에 대한 정보를 제공하지 못한다는 데에 한계가 있다. 본 연구는 생성 결과 간의 언어학적 차별성을 학습한 보조 분류기를 기존의 CycleGAN에 추가하였다. 먼저 “분절음,” “초분절음,” “오류 없음” 유형별 CycleGAN 학습이 이루어지고, 모든 출력 결과는 하나의 분류기에 다시 입력된다. 최종적으로 교정 피드백은 교정 피드백 음성을 생성함과 동시에 해당 피드백이 어떤 오류인지 함께 제공한다.
[Paper (PDF)]
START Conference Manager (V2.61.0 - Rev. 5964)