大学院社会産業理工学研究部理工学域情報系 教授 北岡 教英
言葉?指差し?視線で対話して操作する自動運転車を開発
【研究グループ】
- 徳島大学大学院社会産業理工学研究部理工学域情報系 教授 北岡教英、講師 西村良太
- 名古屋大学未来社会創造機構 教授 武田一哉、特任准教授 石黒祥生
- 名古屋大学大学院情報学研究科 准教授 竹内栄二朗、特任助教 Alexander Carballo Segura
- アイシン精機走行安全制御技術部 大須賀晋氏
【経緯】
北岡が名古屋大学に在籍していた6年前から、アイシン精機のドライバモニタカメラシステム(DMS)を活用した対話型インタフェースの共同研究開発を開始、名古屋大学が保有する自動運手技術と徳島に移籍した北岡ら、およびアイシンのカメラ画像所為技術を融合することで、本成果を得るに至る。
【学術誌等への掲載状況】
?Kitaoka, Takuma Nakagawa, Ryota Nishimura, Yoshio Ishiguro, Shin'ichi Kojima, Shin Ohsuga, "A multimodal control system for autonomous vehicles using speech, gesture, and gaze recognition," DSP in vehicles 2018, 2018.
?中川拓磨,西村良太,入部百合絵,石黒祥生,大須賀晋,北岡教英, "自動運転車の操作におけるマルチモーダルインタラクション," 日本音響学会講演論文集, 2-8-10, pp. 57-60, Mar., 2018.
近年、自動運転技術が急速に発展し、実用化も視野に入ってきました。自動運転車は最初に行き先を決定すればそこまで自動で移動してくれます。しかし、タクシーに乗っているときには運転者とコミュニケーションを取って協調的に行きたいところまで行くし、移動中にコンビニに寄り道したい時などには依頼もできます。このようなコミュニケーション能力、すなわち乗った人が「どう操作するのか」が、これまでの自動運転車では考えられていませんでした。
人は人と、音声による対話を中心に、指差しや頷き?首振りなどのジェスチャー、視線を交えてインタラクションします。この自然なインタラクションを自動運転車に取り入れた「マルチモーダル対話型自動運転車」を世界で初めて開発しました。
音声?ジェスチャー?視線など複数の手段を用いたインタラクションを「マルチモーダルインタラクション」と言います。
例えば、自動運転車に乗ったら、車から、いつも行く場所に行くか尋ねてくれるとします(図1)。そこで首を振り、別の場所を言えば、今日は別の場所に自動で運転してくれるのです。
(図1)自動運転車に乗ったところのシーン
自動車では、様々な雑音がしたり、同乗者が話したりします。これらを誤って音声認識してしまうと誤動作します。そこでそれを防ぐために、カメラ映像から運転者が話しているかどうかを判断し、音声認識すべきかどうか決定します(図1右および図2)。これもマルチモーダルインタラクションの一つです。
(図2)運転者が発話していると映像から判断
さらには、車から見える建物を見ながら「あれは何?」と尋ねれば、それが何かを答えてもくれます(図3)。これは、画像から目を検出し、さらに眼球のモデルを用いて視線方向を推定しています(図4)。ドライバーの「あれは何?」の発話を認識すると、ドライバの一と視線方向を3Dマップにマッピングして建物を同定し、音声合成でその名称を答えてくれるのです。
(図3)建物を見ながら「あれは何?」と聞けば答えてくれる
(図4)顔画像とそれからの視線の推定
これらの技術を自動運転車と密接に結合して、今回のマルチモーダル対話型自動運転車の開発に至りました(図5)。
(図5)マルチモーダル対話型自動運転車の概要
自動運転車は東京オリンピックを機会に急速に研究開発が進んでいます。今後、地域を限った導入から始められて普及が進んでいくものと思われます。そうしたのち、自動運転車の付加価値として、こうした技術が取り入れられていくものと考えています。また、自動運転に限らず、様々な「人間-機械協奏系」における人と機械のインタラクションとして、広く浸透していくことが期待されています。
