BCI(Brain computer interface) Python SAO(ソードアートオンライン) 技術

脳波でキャラを動かすRPG─ナーヴギアに近づくBCI技術

seisei のアバター

seisei09150945

SAOのナーヴギアに憧れて生体医工学(脳波)の研究をしている博士学生です。 

脳波RPGを説明するためのアイキャッチ画像

「思考だけでキャラクターを動かす」

 

──そんな夢のような体験が,SFやアニメの世界を飛び出し,現実の技術として形になり始めています。

 

本記事では,著者が開発した脳波RPGについて,その内容と技術,そして今後の展望までを紹介します。

 

関連記事:「ナーヴギアは実現可能か?」BCI研究者が考える技術の現在地と未来像 – 脳波エンジニアが挑むSAO技術の開発日誌

 

脳波とは?BCIとは?

脳波RPGを説明する前に,前提となる知識である脳波とBCIについて軽く説明します。

 

まず,脳波(EEG)とは脳内の神経活動によって生じる微弱な電気信号です。

 

脳波(EEG)は,頭皮上に配置した電極で測定され,思考・感情・集中状態などを反映します。

 

BCI(Brain-Computer Interface)は,この脳波を解析し,外部機器を操作するための信号に変換する技術です。

 

まさに「脳と機械をつなぐ橋渡し」と言える存在です。

 

関連記事:BCIとは?BCI研究者が語る,脳波で操作するインターフェース(BCI)の可能性 – 脳波エンジニアが挑むSAO技術の開発日誌

 

 

脳波RPGってどんなゲーム?

著者は大学院で,脳波を使ってリハビリや機械操作を支援する技術の研究に取り組んできました。

 

その応用として,脳波だけでキャラクターを操作できるRPGゲームを開発しました。

 

 

このゲームのカギとなるのが「ERP(事象関連電位)」という脳波。

 

これは,たとえば注目しているものが突然光ったときに,脳が「今、光った!」と認識した瞬間に出る反応です。

 

つまり,“見た”という気づきが,脳の電気信号として現れるサインのようなものです。

 

 

この脳波を活かして,著者は視線と脳波だけでキャラクターを動かせるゲームシステムを構築しました。

 

ゲーム画面の端には,上下左右の4方向を示す矢印が表示されます。

 

※RPG作成には以下のサイトからフリー素材をお借りして作成
[1] RPGツクール2000 無料 素材 集とフリーゲームの作成日記, ”密林 FSM 改造マップチップ素材”, game-sinfonia.jugem.jp/?cid=50039
[2] ゆるドラシル, “ゆるドラシルのキャラクターでキミだけのオリジナルRPGを作ろう!”,
yurudora.com/tkool/
[3] “かわいいフリー素材集いらすとや”, https://irasutoya.com
[4]ぴぽや倉庫, ”背景画像”, https://pipoya.net/sozai/assets/background/background-image/
[5]DOVA-SYNDROME,”春のキッチン”,https://dova-s.jp/bgm/play2892.html

 

プレイヤーは移動したい方向の矢印を見つめ,矢印が光った瞬間に脳が反応。

 

その脳波を読み取って,キャラクターが移動したり,コマンドを入力したりするのです。

 

このような仕組みで,脳波によって手を使わずに“見るだけ”でゲームを操作できるということを実現しています。

 

以下の画像は実際に脳波RPGをプレイしている際の画像です。

 

 

被験者(プレイヤー)は脳波計を頭にセット後,モニターの前に座り,RPG画面を見ることでキャラクターを操作できます。

 

※事象関連電位(ERP)は視覚刺激以外の刺激でも出現する

 

実験してみたらどうだった?

脳波RPGがどのくらいの精度で動くのか

 

――それを確かめるために、著者は実際に実験を行いました。

 

被験者は著者。(システムの評価としては被験者数がとても少ないです。申し訳ありません)

 

ゲーム画面の矢印を見つめ、光った方向に意識を向けることでキャラクターを操作します。

 

実際の脳波RPGの実験動画を,以下のXのポストで共有しています。ご確認いただければ幸いです。
Xユーザーのseiseiさん: 「自作した脳波RPGのプレイ動画です。 脳波を用いることで画面を見るだけで操作できます。 簡単な解説も入れてるので見ていってね(笑) https://t.co/mETnkCVqQn」 / X

 

結果としては,次のようになりました。

 

平均で,80.8%の成功率でキャラクターを正しく動かせました

 

つまり、大半の場面で「見た!」という脳の反応を正しく読み取り、ゲーム内の動作に変換できたということです。

 

著者の率直な感想としては,

 

脳波のみを使用している割には,行いたい入力をすることが出来ている。ただし,まだまだ誤入力が多い

 

と感じました。

 

また,脳波RPGには以下のような精度以外の課題もあり,現在改良中です。

 

  • 脳波は個人差が大きく、反応が出やすい人・出にくい人がいる
  • リアルタイム性を高めるには、処理速度やノイズ対策が必要
  • 長時間のプレイでは集中力の維持が難しい

 

ただそれでも,「思考で操作するRPG」が現実に動いているという事実は,未来への大きな一歩だと信じています。

 

 

脳波RPGの技術紹介

脳波RPGの技術について,専門用語をなるべく使わずに、ざっくり説明します。

 

ゲームが動くまでの流れ:

 

  1. 脳波を測定:頭に電極をつけて,脳の電気信号をキャッチ
  2. 波形を整える:ノイズを除去し,必要な部分・脳波だけを抽出
  3. AIで判別:Pythonで作ったAI(CNNという仕組み)に「反応したかどうか」を判断させる
  4. ゲームに反映:判定結果をゲームに送って,キャラクターが動く!

 

このAIは,脳波の中から“見た!”のサインである“ERP”があるかを判別します。

 

それを元に,「上に動け」「右に進め」といった命令をゲームに伝えるのです。

 

 

 

どんな未来につながるの?

この技術は,ゲームだけにとどまりません。

 

医療・福祉・教育・創作など,さまざまな分野に広がる可能性を秘めています。

 

①医療・福祉

  • 麻痺患者さんが「動かしたい」と思うだけで,義手や車いすが動く
  • 体が動かない患者さんの娯楽

 

関連記事:BCI療法とは?重度麻痺に挑む脳波×リハビリ技術 – 脳波エンジニアが挑むSAO技術の開発日誌

 

②エンタメ・ゲーム

  • コントローラー不要の新しいゲーム体験
  • 感情や集中度に応じてUIが変化する“共感型ゲーム”

 

③教育・創作

  • 学習者の集中度を脳波で測定し,教材の難易度を自動調整
  • 体が動かない患者さんが脳波で描くアート作品

 

そして何より,「思考で操作する」ことが当たり前になる未来が,徐々に近づいているのです。

 

おわりに:思考で動かす世界へ

脳波RPGは,技術と創作が手を取り合って生まれた未来の遊び方です。

 

「見るだけで動く」という体験は,ゲームの枠を超えて,人と機械の新しい関係性を切り開いていくかもしれません。

 

小さいな一歩ですが,ナーヴギアのようなフルダイブ体験につながる一歩だと信じています。

 

その第一歩として,脳波RPGは確かな可能性を示してくれました。

 

あなたなら,脳波でどんなゲームを作ってみたいですか?

 

 

関連記事とサイト共有

  • この記事を書いた人
  • 最新記事

-BCI(Brain computer interface), Python, SAO(ソードアートオンライン), 技術