(株)テクノアソシエーツ TOPページへ テクノアソシエーツサイトへ

TOPページへニュースへ連携提案へ注目技術&事業コラムへコラムへ

英語の発音矯正ソフトをコマンド認識・欠陥評価に応用
新技術を適用し,雑音環境下での認識率90%以上を目指す

[2008/11/27]


 (独)産業技術総合研究所の技術移転ベンチャー企業であるプロンテストは,同社が保有するパソコン用英語発音矯正ソフト(図1)を音声・音響認識(コマンド認識・信号解析処理)に応用する,と発表した。

 同ソフトは,ユーザーが音声で英語の言葉をパソコンに入力すると,口の中での舌先の位置や舌と口蓋との接し方,唇の丸め方などの状態を細かく分析し,英語の発音の正確さを評価する。さらに,その評価結果を元に,ユーザーに対して発音の矯正方法などをアドバイスする。例えば,「40点,舌先で上顎を弾いています」,「日本語のら行では,舌先が顎を弾くように発音しますが,英語のrは舌は上顎につかないのが特徴です」,「舌先を上顎につけないで発音してください。その時に唇を少しまるめると発音しやすくなります」,といった評価結果やアドバイス,練習方法などをユーザーにフィードバックする(図2)。

図1:英語発音矯正ソフト「発音力」
声帯の震えや舌の位置など,調音器官の状態をユーザーの発音一つひとつに対して分析・判定し,英語の発音を矯正することのできる発音指導ソフトウェア
図1:英語発音矯正ソフト「発音力」


図2:発音の判定例
評価結果だけでなく,発音を矯正するためのアドバイス,練習方法をユーザーにフィードバックする。
図2:発音の判定例


 このソフトは,産業技術総合研究所が開発した独自の音声解析・特徴抽出技術を活用している。通常の音声認識ソフトでは実現困難な,口の中での舌先の位置などまで分析できることが特徴だ。今回の発表の狙いは,英語発音矯正ソフトでの実用化実績を踏まえ,この技術を,より広い分野へ応用していくことにある。
 プロンテストは,特に,『雑音環境下でのコマンド認識』や,『熟練工が音で聞き分ける製品の欠陥評価』などへ応用していく考えだ。多くの分野で実用化されている音声認識技術だが,従来技術の課題として雑音のある環境下での認識率の低下が挙げられている。

 なぜ,英語発音矯正ソフトの技術が,「雑音環境下でのコマンド認識」や「製品の欠陥評価」に使えるのか。同ソフトの開発手法と音響分析手法をみると,その理由が理解できる(図3)。

図3:プロンテストの開発手法
音響分析技術と音声学的知見の融合により発音矯正が可能になった。
図3:プロンテストの開発手法


音響分析技術と音声学的知見の融合が可能にした発音矯正ソフト

 プロンテストは,同ソフトの開発に当たってまず,音声学の専門家が,サンプル・データを耳で聞き,「舌先が上顎についている」,「唇が丸まっていない」など,口の中の状態を評価した。こうした音声学による評価済みのデータを音響分析していった。
 具体的には,舌の位置などの評価項目ごとに,“正しい発音データ”と“間違った発音データ”を明確に分離できる特徴量を抽出する。これら複数の特徴量から二つのパラメータを選定し,2次元グラフを使って正しい発音と間違った発音の閾値を決定していく(図4)。このような音響分析の手法を使って,プロンテストは専門家の知識やノウハウをソフトに実装した。このような音響分析技術と音声学的知見の融合によって,初めて英語の発音矯正が可能になった。

図4:閾値の決定
それぞれの特徴量に基づき,判定器を細かく調整する。調整に際して,画面上での操作が可能な,使いやすく作業効率の良い開発支援ツールも用意。
図4:閾値の決定



 プロンテストは,音声波形データ分析に線形予測法(Linear Prediction)を,音声波形データの特徴記述量としてフォルマント軌跡及びその関連の派生パラメータを採用した(図5)。音声波形を周波数分析すると,エネルギーが集中した特徴的な帯域が観察される。これをフォルマント周波数と呼び,周波数の低い順に第一フォルマント,第二フォルマント,第三フォルマントなどと定義される。

 今回の英語発音矯正ソフトは,音声波形データの特徴量としてフォルマント周波数,フォルマント・パワー,これらの派生パラメータなどを利用している(図6)。まず音声認識を行うために,発音された音声のフォルマントを音声区間ごとに分割し,分割された音声区間ごとに音素を特定する特徴量,例えば,フォルマント・パワーとフォルマント周波数といった複数のパラメータを選定する。選定されたパラメータで構成される多次元空間にそれぞれの発音評価項目ごとに正しい発音のサンプルと誤った発音のサンプルをプロットし,その境界線から閾値を決定することにより判定器を設計する。ひとつの音素に対応する発音の判定には,複数の判定器が使われる。音声学の専門家の協力を得て,この判定器の判定結果と発音矯正指導メッセージを関連つけることによって,通常の音声認識ソフトでは実現困難であった英語の発音矯正が可能となった。

図5:フォルマントの例
マイクで取り込んだ音声波形を分析すると,その周波数成分が時間と共に変化する。この図は,/あいうえお/と発声した時の周波数分析の例。上の段は,取り込んだ音声波形の振幅(縦軸)と時間(横軸)を表す。下の段は,横軸が経過時間,縦軸が周波数(kHz)を表す。黒くなってエネルギーが集中しているところがフォルマント周波数と言われる物理量である。発声時間と共に変化しており,これが母音の音韻性の違いを表す。
図5:フォルマントの例


図6:音声認識に使う特徴量
特徴量として,フォルマント周波数,フォルマント・パワー,フォルマント周波数の変化量,フォルマント・パワーの変化量を利用している。
(調音状態の評価と音響分析に基づく英語発音矯正システムの開発P20)
図6:音声認識に使う特徴量



教室などの雑音環境下でも,判定精度は92〜95%と高い

 通常の音声認識ソフトでは,HMM(Hidden Markov Model)と呼ばれる統計的な手法が使われる(図7)。音声波形の特徴は,音声スペクトル空間上の短時間スペクトルが,時間の進行とともに移動しながら描く軌跡として捉えられる。短時間スペクトルの軌跡は,いくつかの異なる確率分布を持つ信号源が時間とともに切り替わりながら出力した信号であるとみなすことができる。HMMを使った音声認識では,この短時間スペクトルに確率分布を持つ信号源を対応させることにより音声の特徴をモデル化している。音声スペクトルの時間的変化が激しい区間では信号源を頻繁に切り替え,定常的な区間では同じ信号源に繰り返し留まる。このように,確率分布を持つ信号源を導入して音声波形を表現する手法がHMMの原理である。

図7:HMM(Hidden Markov Model)と呼ばれる統計的な音声認識
音声信号と確率分布を持つ信号源を対応つけて認識する。
(音響分析特徴に基づく雑音に頑健な音声認識)
図7:HMM(Hidden Markov Model)と呼ばれる統計的な音声認識


 実際の音声認識では,学習用音声データから信号源のモデルを統計的に作成し,実際の音声データをこの信号源に適用した際のモデルとの類似度(尤度)を計算し,認識結果を出力する。

 HMMを使った音声認識の課題として,雑音のある環境下での認識率の低下が挙げられる。雑音環境下では,本来の音声波形が持つ短時間スペクトルと比較して,認識対象となる短時間スペクトルが大きく異なる。このため認識率は極端に低下する。実際,静かな環境で認識率が95%と高いソフトでも,信号対雑音比10dBの環境下では認識率が50%以下に低下する場合もある。一方,プロンテストの音声認識技術は,音声波形のフォルマントやその他の多様な特徴量から固有の特徴を抽出し,それに基づき判定する。このため比較的雑音に強い。実際にプロンテストの発音矯正ソフトを雑音の多い教室で用いても,実用的な判定精度が得られている。

 このほか,必要とする学習用のデータ量にも違いがある。HMMを使った音声認識では,信号源のモデルを統計的に作成する。このため大量の学習用音声データが必要となる。これに対してプロンテストの音声解析・特徴抽出技術では,専門知識を持った専門家と協力して判定基準を作り込むため,HMMを使った音声認識と比較して,少ないデータ量で判定基準を作成できる。ただし,判定基準を一つひとつ作り込むため,プロンテストの音声認識技術はコマンド認識のような限られた語彙数の音声認識に向くが,HMMが得意とする大語彙の音声認識には向いていない。

 プロンテストは,同社が保有する音声解析・特徴抽出技術の特徴を生かし,英語の発音矯正以外にも,同音声・音響認識技術を展開したい考えだ。まず挙げられるのが,雑音の多い工場内で音声を使って機器を操作する,いわゆる『コマンド認識』である。このほか,カーナビやカー・家電製品の操作,ゲームなどへの展開も狙っている。『製品の欠陥評価』では,各企業における熟練工の知識・ノウハウを,この技術に実装したいとしている。



【テクニカルノート】
  プロンテストから『コマンド認識』の提案
雑音環境下でも高いコマンド認識精度を保つ音声・音響分析技術の応用に関する提案[2008年11月27日]
  プロンテストから『欠陥評価』の提案
熟練工が音で聞き分けられる製品の欠陥評価への音声・音響分析技術の応用に関する提案[2008年11月27日]




オープンイノベーション・フォーラム

オープンイノベーション静岡

トピックス
【座談会】レアアース泥の採泥・揚泥は戦略技術、焦らず段階を踏んで確実に商用化を目指す

【座談会】安定・潤沢な国産レアアースの利用に、日本の産業界は飛躍の未来を感じている

IoT、大手自動車メーカーが製造ラインに導入約60万円のシステムで不良品の発生を大幅低減

人気記事ランキング(2017年10月-12月)















オープンイノベーションコラム

オープンイノベーション・フォーラム




| 産業イノベーションHOME | 技術&事業インキュベーション・フォーラムHOME |
Copyright (c) 2005-2013 TechnoAssociates, Inc. All rights reserved.

INTERVIEW Index ブレークスルー技術Index 提案Index コラムIndex イベントIndex お問い合せ