RecallとTotalRecall

Recallは、ユーザーがPCで過去のアクティビティを検索できるように設計された AI 搭載ツールです。
そしてTotalRecallはそれに関連するPoCツールです。
それぞれどんなものなのでしょうか。

• Recall
  これはWindows CopilotランタイムをPCのローカルで利用することで、そのPCで見たことのあるものを見つけることのできる機構です。
  Copilotの活用事例という感じで実装されているアプリケーションです。
  Recallシステムコンポーネントは、利用者の画面のスナップショットを定期的に保存し、ローカルに保存します。
  Windowsに搭載された画面のセグメント化と画像認識を使用して、画面に表示されている内容を把握する機能となっています。
  Recallのアプリユーザーは、これらの保存されたスナップショットをセマンティック検索にかけ、関連付いた内容を検索できるようになりました。
  先日友人のAliceが言っていた韓国料理店の名前を思い出そうとしているようなときにRecallに尋ねるだけで、検索に一致するテキストとビジュアルの両方が取得され、結果が検索にどれだけ近いかによって自動的に並べ替えられたものを確認することができるようになります。夢のような機能です。
  この機能はPCのローカルで動くため、安全であると説明されています。
  このRecallが活動した結果PCに記録されるものは、PCの画面のスナップショット画像群と、そこからOCRで抽出した文字列がそのまま暗号化されることなく保持されているSQLiteデータベースです。
• TotalRecall
  これは映画のタイトルではありません。
  Recallに関連する概念実証コードの実装の名前です。
  このツールは、Recallによってラップトップ上でキャプチャされたスナップショットを自動的に抽出して表示できます。

デスクトップの表示内容に変化があったときに5秒毎にその画面が保存されるというのがRecallの動作です。
このデスクトップ画像にはあらゆるものが保存されることになりそうです。
暗号化されたメッセージングアプリでやり取りしている内容も画面には文字として表示されていますので、これを保存されると暗号化通信など関係ありません。
送信後送信した文字列が自動的に削除されるので安全といった機能が搭載されたアプリがあったとしても、その消える内容が表示されている瞬間を画像で保存されてしまえば関係ありません。
このRecall機能はその安全性が前提になければ非常に危険なツールとなりそうです。

2024年6月18日にRecall機能を含むCopilot＋ PCが発売される予定です。
エンタープライズ版では、Recall機能はデフォルトで有効になっています。
設定で無効化することはできるようです。

このPoCの内容はMicrosoftにも伝わっています。
リリースまでに内容が調整されてこのPoCの内容が単に過去の心配事として終わるのか、マルウェアにRecallの作成したデータを大規模に悪用されてしまうようなことになってしまうのか、はたまたもっと別の展開となるのか、このあたり、目の離せない状態になりそうです。

TotalRecall – a ‘privacy nightmare’?
https://github.com/xaitax/TotalRecall