ウェアラブル技術によって変わる手術ビデオのAI分析

外科
スポンサーリンク

はじめに

インスタントリプレイやビデオレビューは、プロスポーツ選手のトレーニングプロセスの一部として長い歴史を持っています。
シームレスなビデオキャプチャや編集作業が大きな障壁となっています。2000年代初頭には、ほとんどの手術室にカメラが設置されましたが、この技術を使用して撮影されたビデオは、外科医の頭部に邪魔されること多いという問題がありました。そのため、手術の最も重要な部分を見逃してしまうことも珍しくありませんでした。
腹腔鏡やロボット手術の広がりにより、手術の流れの高品質かつ遮るもののない画像の有用性が改めて認識されました。そのため、現在では、低侵襲技術を使用して実施される手術のビデオのキャプチャと編集技術が大幅に向上しています。

AIの活用

手術映像の利用可能性の増加は、手術映像を解析するための人工知能(AI)の利用に関心を呼び起こしています。
2017年、ジョンズ・ホプキンスのコンピュータ・ビジョン・エンジニアは、自動タスク認識のためのAIの潜在的な利用を促進するための初の公開データセットを公開しました。このデータセットには、ダヴィンチロボットを使用した3つのタスク「縫合」「運針」「結紮」のビデオとモーションデータが含まれています。
AIを使用して手術映像を解析することへの関心が高まっているにもかかわらず、正確で意味のある映像のセグメンテーション(≒有意義なシーンを他と区別して取り出す技術)は依然として重要なハードルとなっています。外科医向けのウェアラブル技術を使用した初期の研究では、手術中の重要な意思決定ポイントをタグ付けする能力において有望な結果が示されています。ウェアラブル技術と、手術映像の同期という技術の組み合わせは、AIを使用した場合の映像セグメンテーションという厄介な問題に対する潜在的な解決策を提供します。
ここでは、手術におけるウェアラブル技術のアプローチの4つの例が紹介されています。

音声、脳波、モーショントラッキングセンサー技術

図1は、外科医がブタの腸を使って模擬的に腸の修復を行っている様子を示しています。修復中、外科医は脳波(EEG)センサー、モーション・トラッキング・センサー、および音声記録装置を装着しています。これらの技術のそれぞれからのデータは、手順のビデオ録画と同期されています。
予備的な結果は、各データが、人間の観察や手術映像のAI分析からは得られなかった手術ワークフローに関する背景情報を提供することを示しています。
音声データは、チーム間のコミュニケーション、ワークフローの発表(手順、解剖学など)、器具/機器のリクエストをキャプチャします。音声データを分析すると、手術中に外科医がどのように話すか、そして何が言われるかが、手順の結果と相関することが示されています。
脳波センサーを製造している会社は、もともと高齢者の認知機能障害を評価するためにこのセンサーを設計しました。外科試験研究中の脳波センサーからの初期の結果は、データがスペクトログラムとして提示されたときに明確な信号の区切りを示しています。青色の領域は低認知処理を表し、オレンジ色から赤色の領域は記憶や実行機能を含む高認知処理を表しています。これらの結果は、有効性の証拠として評価されています。

図1. 画像および米国外科学会の手術指標プロジェクトからのデータ。
A、模擬腸管修復中に複数のセンサー(額の脳波、襟元の音声、手の動き)を装着した外科医。
B、2つの異なる外科医の脳波スペクトログラム。執刀医は、ほとんど活発で青色が少ない。助手はほとんど青色。
C、手術手袋の下の、動きを追跡するワイヤーと運動図。運動図は、手の位置を示す。
D、ビデオと同期した右手と左手からのモーションデータ。

モーションデータは、動きの位置と速度だけでなく、「動き」と「動きの欠如」の両方をキャプチャする。モーションテクノロジーを使用したこれまでの研究では、主に動きのデータに焦点が当てられていたが、最近の研究では、動きの欠如や速度の低下は、術中の意思決定に関連する傾向がある手術中の「スローダウン」の瞬間を表している可能性があることが示されている。

アイトラッキング

アイトラッキング技術の歴史

アイトラッキング技術では、瞳孔の焦点がどこにあるかに基づいて、観察者の注視点を測定することができます。
目の動きを分析するためのカメラ技術の使用は、1950年にさかのぼり、パイロットの視線行動を研究するためにピクチャーカメラを使用したことが最初です。航空分野では、経験豊富なパイロットと初心者パイロットの視線行動の違いが明確に記述され、広範囲に研究されています。

ウェアラブルなアイトラッキングシステム

ウェアラブルなアイトラッキングシステム(例えば、軽量のメガネフレームに装着)を使用した研究では、タスク中の注意力の焦点を特定するために、個人の目の動きを定量的に観察することができるようになっています。
視線の追跡に加えて、ソフトウェアでは、固定頻度、滞留時間、瞳孔径(被験者の努力と集中力の指標)など、さまざまな眼の指標を測定することができます。
シミュレーション・イノベーション・ラボで使用されているアイトラッカーは、コンピュータに接続されたリモートアイトラッカー(Pupil Labs glasses; Pupil Labs, Berlin, Germany)です。Pupil Labsのメガネには3つのカメラが搭載されています。参加者の視界を記録するワールドカメラと、左右の目にそれぞれ1つのアイカメラです。

アイトラッキングと注意の焦点

アイトラッキングでは、注意の焦点は、固定率の増加と関心領域内での固定の割合が高いことによって表現されます。
滞留時間とは、ある領域に滞在している時間のことで、重要な領域ほど滞留時間が長くなることがわかっています 。
また、眼振のパターンは、タスクを実行するための意思決定を導く根本的な認知メカニズムを明らかにすることが実証されています 。
初心者は、視覚的に注目すべき点(重要度に関係なく目立つ点)に注目する時間の割合が多くなる傾向があります。それに対して、エキスパートは、認知的に注目すべき点(作業や構造物の特定に関連する点)に注目する傾向があります。
また、初心者は、より頻繁に、より多くの場所に視線を移しますが、エキスパートは、より少ない場所に焦点を当てる傾向があります。
出血を模擬したタスク(楕円溝内の出血性ハイドロゲル血管の解剖と欠損部の縫合、図2B)において、13名の熟練者(症例数500以上)と初心者(症例数25未満)の視線行動の違いを比較したところ、初心者の方が、器具、助手、吸引、縫合、および最も依存性の高い領域の血液の溜まりを見ることに時間を費やしていたことが明らかになりました(視覚的に目立つ点)。それに対して、熟練者は主に出血源である血管の欠損部にのみ焦点を当てていました(認知的に重要な点)。
また、より頻繁に、より多くの場所に視線を移す初心者とは対照的に、熟練者は、より少ない場所に焦点を当てていました。

図2.:アイトラッキング技術とデータ。
A、リモートコンピュータに取り付けられたアイトラッカー。B、出血を模したシミュレートされたハイドロゲルタスク。C, 各グループからの代表者の固定点(丸で示されている)と滞留時間(青丸の大径で示されている)を連結したScanpathの順序付けされたセットを利用した結果の分析。D, Scanpathsで順序づけられた固定点セットを利用した結果の解析。

ロボットシステムにおける視線ベースのメトリクスは、外科医の認知的要求を確実に測定し、学習曲線をモニターし、ビデオセグメンテーションを容易にする新しい方法論の開発のための革命的なツールとなるかもしれません。

メンタルイメージ

メンタルイメージで手術のパフォーマンスは向上するが熟練が必要

メンタルイメージとは、精神的なリハーサルや精神的な練習です。本物の感覚的な経験を生み出す物理的な刺激がない状態で、心の中に静止感覚的な経験を創造します。
これを手術に応用すると、実際のトレーニングや手術環境から離れた場所であっても、手術のタスクや手順を実行することを想像したり、潜在的な手術合併症に対処したりすることができます。
研究によると、メンタルイメージは、単一のモダリティとして使用された場合、手術のスキル、自信、知識、チームスキルを効果的に向上させることができます。文献によると、他のスキルと同様に、精神的なイメージ力も手術経験の増加に伴って向上することが示唆されています。その結果、訓練生に精神的なイメージ力のトレーニングを行うことで、精神的なイメージ力だけでなく、手術のパフォーマンスも向上することが期待されます。

メンタルイメージ力の測定

上記のように、メンタルイメージ力を正確に測定できることは、パフォーマンスに対するフィードバックを提供したり、個々のトレーニーの進歩をモニタリングしたりする上で重要です。
精神的イメージ力の測定には、従来から「視覚的イメージの鮮明さに関する質問票」、「スポーツイメージに関する質問票」、「腹腔鏡手術に特化したメンタルイメージに関する質問票」などの自己申告型の評価ツールが用いられてきました。
しかし、ここでは、精神的想像力の、より客観的な測定値を得るために、OpenBCI(Ultracortex "Mark IV" EEG Headset, OpenBCI, Brooklyn, NY)の16リードの脳波ヘッドセットが使用されました(図3A)。電極は、国際的な10-20システムに従って標準的な位置に配置されました(図3B)。脳波信号を捕捉するために、OpenViBE(v2.1.0、Inria Rennes、Inria、フランス)からのオープンソースソフトウェアが使用されました。
OpenViBEは、ユーザーが見て反応するコンピュータモニタ上に、左や右を指し示すランダムに連続する矢印を表示しました。
被験者は、OpenViBEの矢印が画面上で指していたどちらかの手でロボット的に針を保持し、組織を介して針を駆動していたかのように中央に針を回転させることを想像するように指示されました。
図3に示すように、経験豊富な外科医(Attendings)に対して、トレーニー(Residents、Students)の脳の異なる領域の活性化を示しました。
この発見は、トレーニングや外科医のメンタルイメージスキルの評価に意味がありますが、手術ビデオの分析にも適用することができます。
例えば、手術中の外科医の脳波活動をモニタリングすることで、より要求の高い手術のセグメントを特定することができます。その結果、大まかなセグメンテーションや、評価やトレーニングのために見直す必要のあるセグメントの特定が可能になるかもしれません。
さらに、同じ手術の類似したセグメントの間に、経験豊富な者と経験の浅い外科研修生の間の脳波活動を比較することで、より簡単にセグメント化を行うことができ、トレーニング目的で最大の違いが存在するセグメントに焦点を当てることができるかもしれません。
このプロセスで生成される大量のデータを考えると、AIは脳波評価とビデオのセグメンテーションプロセスを自動化するのに役立ちます。

図3. フルキャップ脳波技術とデータ。A、脳波キャップを装着した研究参加者、(B)参加者の頭皮上の脳波電極の位置、(C)同じロボットによる縫合作業のメンタルイメージ中の学生、レジデント、アテンダント間の脳波神経活動の違い。X軸は、(B)に示したセンサー位置に対応する。

機能的神経イメージング

機能性神経画像検査は、近赤外光での変化を測定する非侵襲的でポータブルな低コストの技術です。オキシヘモグロビンとデオキシヘモグロビンの濃度変化を特異的に測定することで、脳内の血流をモニターします。

神経血管結合(オキシヘモグロビンの増加とデオキシヘモグロビンの同時減少)は、血管応答と神経の活性化に関連しています。これは、本質的には機能的磁気共鳴イメージング(fMRI)と同等の血行動態変化を測定しています。

非医療分野からのエビデンスでは、運動タスクと認知タスクを同時に実行すると、前頭前野の活性化が低下し、運動パフォーマンスが低下することが示されています。このことは、認知と運動の両方のリソースを使用したマルチタスクは、脳を混乱させ、注意力の低下、タスクの失敗、パフォーマンスの低下をもたらす可能性があることを示唆しています。外科医の脳機能の変化を調査した初期の研究でも、同様の結果が得られています。

さらに、これまでの研究(図4)では、腹腔鏡手術のスキル(パターンカット)を訓練(Fundamentals of Laparoscopy Surgery skills)する対象者が、タスクに習熟していくにつれて、脳の特定領域の活性化が変化することが示されています。

図4: fNIRS FLSの研究とデータ。A、fNIRSの生理学図とFLS中のセットアップ。B、赤で示されているように、手術の専門家がより強い活性化を生成していることを示すヒートマップデータ。

まとめ

手術ビデオは、トレーニングや、質の確認や、即時リプレイを可能にするなどの、大きな可能性を秘めている。
最近では、人工知能 (AI) は、効率的なビデオレビュー、分析、セグメンテーションを可能にする方法として期待されている。
AI によるビデオ解析の精度と効率を向上させるためには、さらに多くの作業を行う必要がある。
客観的な手術の測定技術を提供する上で、ウェアラブル技術の有用性が示されてきている。これらの技術から得られたデータは、手術中の重要な認知動作や運動動作をピンポイントで特定することができるということが示された。
この結果は、効率的で正確なビデオ解析とセグメンテーションを促進するウェアラブル技術の有用性を裏付けている。

外科
スポンサーリンク
シェアしてみんなにも教えてあげましょう!
Yasuのフォロー・応援をお待ちしています!
目指せ、トップナイフ!〜消化器外科医のブログ〜

コメントで一緒に記事を盛り上げましょう!

タイトルとURLをコピーしました