[STT/Kaldi] 발음사전(Lexicon), 언어모델(LM)이란?

STT 모델을 구성하기 위한 요소인 언어모델과 발음사전에 대해 알아보았다.

 

한국어는 영어와 음소 체계, 어절 구성 등이 달라 모델 적용법도 다르므로 조금 더 복잡한 경향이 있다.

 

 

발음사전(Lexicon)

단어(Word)를 음소(Phoneme)로 매핑하는 표(Table) 역할로, 단어 사전이자 발음 규칙을 정의한다.

Kaldi에서 음향모델은 음소 레벨까지 학습 및 출력하기 때문에 단어 변환에 밀접한 관계가 있다.

 

같은 단어라도 여러 발음이 존재할 수 있으므로, 한 단어에 여러 발음을 등록할 수도 있다. (= multi-pronunciation)

 

구성 요소

• 음소 집합 (phones.txt) : 발음에 사용할 전체 음소 리스트
  • 기본 단어 외에 <sil> (silence, 무음), <unk> (unknown, 알 수 없음) 등 특수 토큰이 필수이다.
  • 한국어는 음소(자음, 모음) 단위로도 가능하고, 음절(초성+중성+종성) 단위로도 가능하다. 일반적으로는 음절 단위로 구성하는 경우가 많다. (처리가 단순하기 때문)

# 음절 단위 예시

안녕하세요    안 녕 하 세 요
반갑습니다    반 갑 습 니 다
고맙습니다    고 맙 습 니 다
사랑해요      사 랑 해 요

# 음소 단위 예시

안녕하세요    ʔ a n n j ʌ ŋ h a s e j o
반갑습니다    p a n k a p s ɯ p n i d a

 

구축 방법

소규모인 경우 사람이 직접 작성하는 수작업으로도 구성이 가능하나, 아래와 같은 방법으로 자동 작성도 가능하다.

• G2P 모델 (Grapheme-to-Phoneme) 이용
  • ex) Phonetisaurus, Sequitur G2P 등
• 기존 공개 사전 활용
  • ex) CMU Pronouncing Dictionary 등 사용 후 가공

 

주의 사항

• 발음사전(Lexicon)에 없는 단어는 OOV(Out-Of-Vocabulary)가 발생(해당 단어를 찾지 못해 미인식)할 수 있다.
• Training, Text Corpus에 등장하는 모든 단어는 발음사전(Lexicon)에 반드시 존재해야 한다.
• 특수 단어(숫자, 기호 등)는 따로 발음을 추가해야 한다.

 

 

언어모델(LM)

확률을 기반으로 단어 시퀀스의 자연스러움을 판단하여, 동일 발음에서 문맥에 더 적합한 단어 시퀀스를 선택한다.

음향모델은 음소를 제공하고, Lexicon과 LM을 통해 단어와 문장을 조합한 최종 단어 시퀀스를 생성한다.

• ex) "I scream"과 "Ice cream"이라는 발음이 유사한 문장이 있다면, 문맥에 따라 정확하게 해석을 유도한다.

 

학습 방법

일반적으로 N-gram 기반의 확률 언어모델을 사용하며, 보통 ARPA 포맷(lm.arpa), FST로 변환하여 사용(G.fst)한다.

학습 데이터의 텍스트 코퍼스(문장 모음)로 학습된다.

• 대용량 텍스트 코퍼스 준비 → N-gram 모델 학습 (3, 4 많이 사용) → ARPA 포맷으로 저장 → Kaldi에서 arpa2fst 툴로 FST로 변환 후 사용

# 텍스트 코퍼스 예시

안녕하세요 반갑습니다
오늘 날씨가 좋네요
커피 한 잔 주세요
한국어 음성 인식을 학습하고 있습니다

 

한국어는 어절(띄어쓰기 기준) 기반 LM이 많은데, 형태소 기반 LM 사용 시 더 세밀한 문맥을 반영할 수 있다. (mecab-ko, khaiii 등으로 분석 후 형태소 단위 LM을 구성하는 것)

 

• N-gram : 문자열(Text) 내에서 연속된 N개의 항목(Token)의 시퀀스. (= 보통 단어, 음절, 음소 등)
  • 즉, N개의 연속된 토큰이 등장할 확률을 학습하여 문장 내에서 어떤 토큰이 올지 예측하는 방법이다.

# 아래 예시 문장이 들어왔을 때,
안녕하세요 반갑습니다

# 1-gram (unigram) 이라면 '단일 단어 확률'만
P(안녕하세요), P(반갑습니다)

# 2-gram (bigram) 이라면 '단어쌍 확률'을
P(반갑습니다 | 안녕하세요)

# 3-gram (trigram) 이라면 '3단어 시퀀스 확률'
# <s>는 문장 시작 기호임
P(반갑습니다 | 안녕하세요 <s>)

# 즉 '이전 N-1개의 단어가 주어졌을 때 현재 단어가 등장할 확률'
P(w_n | w_{n-1}, w_{n-2}, ..., w_{n-N+1})

 

한국어에서의 N-gram은 영어보다 조금 더 특별한 특징이 있는데,

• 단어 변화가 매우 다양(조사, 어미의 변화에 따라)하여 희소성이 증가하고
• 형태소 분석 기반 LM이 일반적으로 성능이 우수하다.
  • "합니다", "하였다", "하고 있습니다"를 동일한 기본형 "하다"로 통일할 수 있기 때문

# 어절 기반 N-gram
안녕하세요 반갑습니다

## 1-gram:
P(안녕하세요), P(반갑습니다)

## 2-gram:
P(반갑습니다 | 안녕하세요)


# 형태소 기반 N-gram
안녕/NNG 하/XSV 아요/EF 반갑/VA 습니다/EF

## 1-gram:
P(안녕), P(하), P(아요), P(반갑), P(습니다)

## 2-gram:
P(하 | 안녕), P(아요 | 하), P(반갑 | 아요), P(습니다 | 반갑)

 

중요성 (역할)

동일한 음성 결과에 대해 가장 가능성 높은 단어열을 선택하고, 음향모델의 오류를 보완(발음이 비슷한 단어를 구분한다거나)하는 등 문맥 이해를 통해 인식 정확도 향상에 도움이 되기 때문에 언어모델은 중요하다.

 

 

---

 

 

발음 사전은 음절 단위,

언어 모델은 N-gram(어절 단위)로 구성하는 게 가장 간편하고 구축이 용이한 방법이나

 

음소 기반의 발음 사전 + 형태소 기반의 언어 모델을 사용하는 게 품질 면에서 유리하다. (난이도는 높음)