客の表情から“おすすめメニュー”を提案!? サブウェイで実証実験…どう選ぶのか担当者に聞いた

AIが客の視線と表情から、おすすめのメニューを提案

サンドイッチチェーンのサブウェイで、AIが客の視線と表情を読み取って、おすすめのメニューを提案する実証実験が渋谷桜丘店で、8月2〜6日に行われた。

システムを開発したのはOKI（沖電気工業）で、注文端末のカメラから得た表情データと視線センサーから得た視線データから、独自のアルゴリズムで、客の興味・関心が高そうな「オススメ」メニューを提案して、注文をサポートするというもの。

感情AI技術の1つである「興味・関心推定技術」が用いられている。実証実験では、客の注文時の迷いを軽減する機能や店舗における接客業務の効率化などの有用性を検証するという。

© FNNプライムオンライン システム上部にWEBカメラ、下部に視線センサーを設置し、客の表情と視線を読み取る　（画像提供：OKI）

実際、画面にオススメのメニューはどのように表示されるのかというと…、実験では20種類のメニューが画面上に6種類ずつ表示。次々に変化していくことで、すべてのメニューを見ることができる。

© FNNプライムオンライン メニューは6種類ずつ表示される（画像提供：OKI）

その際、センサーが客の視線を読み取って、青いポイント、青い枠で追っていく。

© FNNプライムオンライン 客の視線は、上から二段目左のターキーブレストにあることが伺える（画像提供：OKI）

最後に、興味関心が高いと推定されたメニューの上位3種がおすすめとして表示される。

そして画面をタッチして商品を確定し、注文票を発券すれば注文は完了だ。また気に入った商品がない場合は、やり直すこともできる。

© FNNプライムオンライン おすすめのメニュー上位３種を表示（画像提供：OKI）

メニューがたくさんあると目移りしてしまうこともある。そんな時に、自分の関心を考慮しつつオススメを紹介してくれるのであれば、ありがたいことだろう。

とても興味深いシステムだが、AIが客の表情をどう読み取っているのかは気になる。また、このシステムは店側と客側に、具体的にはどんなメリットがあるのだろうか？

OKIの担当者に詳しく話を聞いてみた。

お笑いを見ている人の表情データでAIが学習

――なぜこのシステムを開発することにした？

OKIは、ニューノーマルに向けた新規分野に、研究開発と事業開発を融合したイノベーションで挑戦しています。コロナ感染症対策や労働生産性向上といった社会課題の解決に向けて、ニューノーマル時代でも安全で便利なサービスの提供を目指す中で、非対面・ 非接触であっても対人接客と変わらない良質な接客を実現するための技術を「スマートリコメンド」として提案しております。この度、この取り組みにサブウェイさんも興味を持ってくださり、サブウェイさんとの共創が実現しました。

――AIはどうやってオススメのメニューを判断する？

お客様から読みとった表情と視線の変化から、興味・関心を推定するというOKI独自の感情推定技術を使って、お客様に最適なメニューを推定します。

――人の表情は具体的にどう読み取る？

表情センサーは、その人の興味・関心がある時に、ポジティブだと捉えます。どうやってポジティブだと捉えているのかというと、お笑いの映像を見た人間の表情からポジティブだと言う部分をタグ付けして、これをAIに学習させます。こうすることで、興味・関心がある表情を捉え、さらに視線センサーを組み合わせることで、興味・関心があるメニューを把握することができるのです。

――例えばAIは、「この客にはエビが入っていたほうがよい」といったことはわかる？

サブウェイさんのメニューを表示して、その中で興味・関心のあるメニューを推定するものなので、具材を特定して判別しているわけではないです。

© FNNプライムオンライン 提案型注文システム（画像提供：OKI）

客はメニュー選択の迷いの解消、店はスタッフの生産性向上に

――このシステムは、客側にはどんなメリットがある？

サブウェイさんに初めて来店するお客様や、あまり慣れていないお客様にメニュー選択の迷いを解消することに加えて、注文のしかたがわからないことによる焦りや緊張の緩和が期待できます。また、よく利用する常連のお客様に対しても、その日の気分に合わせたAIのオススメメニューで、いつもとは違ったワクワク感を体感いただくことができます。

――サブウェイ側にはどんなメリットがある？

お客様へのメリットがあることがサブウェイさんのメリットでもあり、加えて、AI注文時の注文票によるスムーズな注文による店舗スタッフの生産性向上とストレス軽減などが期待できます。

サブウェイ様からは、注文端末で既にオーダーが済んでいらっしゃるので、スタッフはサンドイッチを作るだけの対応で済むため効率がよく、お客様からも特に不満等はなく、スムーズに導入されていると伺っています。

――実証実験で実際、注文時間は減っている？

今回の実証実験では、注文時間の調査は実施していませんが、混雑時にお客様が感じる待ち時間でのストレスは軽減されていると想定しています。

――優柔不断な人でも時間短縮になる？

オススメで選択肢を絞ってあげることで、決める時間は短くなると考えています。

客はAIに何をオススメされるのか？ワクワク感も

――実際に客が使用しているところを見て、どんなことを感じた？

AIが自分の表情をどのように読み取ってくれるのか、何をオススメしてくれるのか、といったワクワク感が感じられます。

――今後、飲食以外にも広がっていく予定？

OKIの感情推定技術を使用したスマートリコメンドとして、お客様のニーズに合わせてご提案していきたいと考えています。駅構内でのコンシェルジュサービスなど用途は広がっていくと期待しています。

――事業化はいつを目指している？

研究開発の一環での実証実験なので、事業化については決まっておりませんが、事業部門と連携して来年度以降に事業化できればと思っています。

なお実証実験では、実際に注文をしてもらった客にその使用感をアンケートし、サブウェイの注文スタイルに不慣れな人でも容易に、かつ安心して注文ができたかを検証していくとのことだ。

今後、自分が通う店舗に導入された際には、食べたいものとAIが選んだものが合っているのか答え合わせしてみるのも楽しいかもしれない。

AIが客の視線と表情から、おすすめのメニューを提案

サンドイッチチェーンのサブウェイで、AIが客の視線と表情を読み取って、おすすめのメニューを提案する実証実験が渋谷桜丘店で、8月2〜6日に行われた。

システムを開発したのはOKI（沖電気工業）で、注文端末のカメラから得た表情データと視線センサーから得た視線データから、独自のアルゴリズムで、客の興味・関心が高そうな「オススメ」メニューを提案して、注文をサポートするというもの。

感情AI技術の1つである「興味・関心推定技術」が用いられている。実証実験では、客の注文時の迷いを軽減する機能や店舗における接客業務の効率化などの有用性を検証するという。

© FNNプライムオンライン システム上部にWEBカメラ、下部に視線センサーを設置し、客の表情と視線を読み取る　（画像提供：OKI）

実際、画面にオススメのメニューはどのように表示されるのかというと…、実験では20種類のメニューが画面上に6種類ずつ表示。次々に変化していくことで、すべてのメニューを見ることができる。

© FNNプライムオンライン メニューは6種類ずつ表示される（画像提供：OKI）

その際、センサーが客の視線を読み取って、青いポイント、青い枠で追っていく。

© FNNプライムオンライン 客の視線は、上から二段目左のターキーブレストにあることが伺える（画像提供：OKI）

最後に、興味関心が高いと推定されたメニューの上位3種がおすすめとして表示される。

そして画面をタッチして商品を確定し、注文票を発券すれば注文は完了だ。また気に入った商品がない場合は、やり直すこともできる。

© FNNプライムオンライン おすすめのメニュー上位３種を表示（画像提供：OKI）

メニューがたくさんあると目移りしてしまうこともある。そんな時に、自分の関心を考慮しつつオススメを紹介してくれるのであれば、ありがたいことだろう。

とても興味深いシステムだが、AIが客の表情をどう読み取っているのかは気になる。また、このシステムは店側と客側に、具体的にはどんなメリットがあるのだろうか？

OKIの担当者に詳しく話を聞いてみた。

お笑いを見ている人の表情データでAIが学習

――なぜこのシステムを開発することにした？

OKIは、ニューノーマルに向けた新規分野に、研究開発と事業開発を融合したイノベーションで挑戦しています。コロナ感染症対策や労働生産性向上といった社会課題の解決に向けて、ニューノーマル時代でも安全で便利なサービスの提供を目指す中で、非対面・ 非接触であっても対人接客と変わらない良質な接客を実現するための技術を「スマートリコメンド」として提案しております。この度、この取り組みにサブウェイさんも興味を持ってくださり、サブウェイさんとの共創が実現しました。

――AIはどうやってオススメのメニューを判断する？

お客様から読みとった表情と視線の変化から、興味・関心を推定するというOKI独自の感情推定技術を使って、お客様に最適なメニューを推定します。

――人の表情は具体的にどう読み取る？

表情センサーは、その人の興味・関心がある時に、ポジティブだと捉えます。どうやってポジティブだと捉えているのかというと、お笑いの映像を見た人間の表情からポジティブだと言う部分をタグ付けして、これをAIに学習させます。こうすることで、興味・関心がある表情を捉え、さらに視線センサーを組み合わせることで、興味・関心があるメニューを把握することができるのです。

――例えばAIは、「この客にはエビが入っていたほうがよい」といったことはわかる？

サブウェイさんのメニューを表示して、その中で興味・関心のあるメニューを推定するものなので、具材を特定して判別しているわけではないです。

© FNNプライムオンライン 提案型注文システム（画像提供：OKI）

客はメニュー選択の迷いの解消、店はスタッフの生産性向上に

――このシステムは、客側にはどんなメリットがある？

サブウェイさんに初めて来店するお客様や、あまり慣れていないお客様にメニュー選択の迷いを解消することに加えて、注文のしかたがわからないことによる焦りや緊張の緩和が期待できます。また、よく利用する常連のお客様に対しても、その日の気分に合わせたAIのオススメメニューで、いつもとは違ったワクワク感を体感いただくことができます。

――サブウェイ側にはどんなメリットがある？

お客様へのメリットがあることがサブウェイさんのメリットでもあり、加えて、AI注文時の注文票によるスムーズな注文による店舗スタッフの生産性向上とストレス軽減などが期待できます。

サブウェイ様からは、注文端末で既にオーダーが済んでいらっしゃるので、スタッフはサンドイッチを作るだけの対応で済むため効率がよく、お客様からも特に不満等はなく、スムーズに導入されていると伺っています。

――実証実験で実際、注文時間は減っている？

今回の実証実験では、注文時間の調査は実施していませんが、混雑時にお客様が感じる待ち時間でのストレスは軽減されていると想定しています。

――優柔不断な人でも時間短縮になる？

オススメで選択肢を絞ってあげることで、決める時間は短くなると考えています。

客はAIに何をオススメされるのか？ワクワク感も

――実際に客が使用しているところを見て、どんなことを感じた？

AIが自分の表情をどのように読み取ってくれるのか、何をオススメしてくれるのか、といったワクワク感が感じられます。

――今後、飲食以外にも広がっていく予定？

OKIの感情推定技術を使用したスマートリコメンドとして、お客様のニーズに合わせてご提案していきたいと考えています。駅構内でのコンシェルジュサービスなど用途は広がっていくと期待しています。

――事業化はいつを目指している？

研究開発の一環での実証実験なので、事業化については決まっておりませんが、事業部門と連携して来年度以降に事業化できればと思っています。

なお実証実験では、実際に注文をしてもらった客にその使用感をアンケートし、サブウェイの注文スタイルに不慣れな人でも容易に、かつ安心して注文ができたかを検証していくとのことだ。

今後、自分が通う店舗に導入された際には、食べたいものとAIが選んだものが合っているのか答え合わせしてみるのも楽しいかもしれない。