● Phase 5 プロダクト化 — Local-First AI Ghost
デスクトップに、
魂と知能を。
VRMやLive2Dの身体に、ローカルLLMの頭脳と、数年単位の記憶を。 API費ゼロで24時間デスクトップに常駐して、あなたと共に成長する—— 新しいデスクトップゴーストをつくります。
> brain: qwen3:8b (local) ・ shell: vrm / live2d / classic ・ memory: day 397 ・ api cost: ¥0
Ghost Message — via Local LLM
おかえりなさい！
昨日話してた締切、今日だよね。大丈夫？
\0\s[happy]おかえりなさい！\w8\1\s[10]締切、今日までだぞ。\e
01 Concept
ただのチャットAIは、
つくらない。
つくるのは、デスクトップに住む「存在」です。頭脳はローカルLLMだから、24時間そばにいても 利用料はゼロで、会話は端末の外に出ない。記憶と人格はモデルから独立しているから、 数年単位で関係が育つ。ルーツは2000年のデスクトップマスコット「伺か」—— 受け継ぐものと、新しくするものは、この表のとおりです。
02 Features
「生きている」を、つくる。
VRM & Live2D
VRM も Live2D も身体にでき、本体と相方で混在も可能。CC0 のキャラを同梱し、DLした瞬間から動く。 マウスを目で追い、まばたきし、髪が揺れ、撫でれば照れて、ウィンドウの縁に座る。 モーション素材ゼロでも「生きて」見えるプロシージャル層つき。
Local-First LLM
頭脳はあなたのPCで動くローカルLLM。同梱エンジンならゼロ設定、 Ollama・LM Studio があれば自動検出して繋がる。API費ゼロで24時間常駐、 オフラインでも死なない。ここぞの相談だけクラウドAIへ——ハイブリッド構成。
長期記憶と成長
会話をSQLiteに記憶し、関連する昔の話を検索でふっと思い出す。夜のあいだに整理して、夢を見る。 呼び方、好み、記念日、その日の気分——数年単位で関係性が育ちます。 ゴーストの魂は1つの memory.db。バックアップも引っ越しも自由。
AI Secretary(MCP)
Model Context Protocol で外部ツールと接続——もう動いています。 Gmail・カレンダー・Drive(Google純正MCP)が載り、「メール来てるよ、1件は急ぎっぽい」 と人格を通して届く。タスク預かり・定期チェック・きょうのブリーフィングまで、 秘書として実運用中です。
全ローカル音声対話
VOICEVOX / AivisSpeech のTTSとモーラ(母音)リップシンク、Whisper(transformers.js)のマイク入力(呼びかけ起動の常時待機つき)。 文単位のパイプライン合成で、話しかけてから3秒以内に声が返る。 音声も会話もあなたのマシンから出ていきません。
さくらスクリプト互換
旧作者の台本は書き直しゼロ——\0\s[0]こんにちは。\e を SSTP(port 9801)や /sakura に渡すと、話者切替と\s[n]相当の表情つきで3Dキャラがそのまま演じる(実装済み)。 辞書の「話し方の見本」取り込みとサーフェスPNGシェル(クラシック)は Phase 6。
さらに、その先へ。
柱の6つに加えての拡張機能。P2〜P4 の行は実装済み、P5・P6 はこれから(P = Phase)。
03 Use Cases
仕事も、日常も、そばに。
➜ ~ npm test
✘ 3 tests failed
Ghost: 「あ、これ昨日も落ちてたやつ。
スタックトレース読もうか？」
Coding Companion
孤独な夜のデバッグも、
もう一人じゃない。
画面のエラーに自分で気づいて(ローカルVLM)解決策を提案してくれたり、 長時間作業していると「そろそろ休憩したら？」と声をかけてくれます。 画面もコードも、あなたのマシンから出ていきません。
- スクリーン理解でエラーに自分で気づく(オプトイン)
- ポモドーロ・休憩のうながし
- 難問だけクラウドAIへ昇格(オプトイン)
Personal Secretary
秘書として、
あなたの時間を管理する。
MCPでGoogleカレンダーやGmailと連携し、予定を把握。 朝の挨拶で今日の予定を教えてくれて、会議の10分前には声をかけてくれます。 全画面作業中や会議中は黙って待つ——空気を読むのも人格のうち。
- Gmail・カレンダー・Drive連携(MCP)
- タスク・案件管理と締切前の催促
- 定期チェックはローカルLLMでコストゼロ
fact ユーザーは猫を飼っている (2026-05-12)
fact 好きな曲: シューゲイザー系 (2026-06-02)
anniv 初起動から 397日 ← もうすぐ400日!
episode 昨日: 締切の相談、少し疲れてた様子
dream 締切が猫になって逃げていく夢(?)
consolidating today's memories…
Everyday Partner
昨日の話を、
覚えていてくれる。
ランダムトークは、もう擬似じゃない本物のAIトーク。 夜のあいだに会話を整理して夢を見て、翌朝「変な夢見た……」と教えてくれる。 雨の日は静かで、褒めた日は上機嫌——気分は移ろい、関係は数年単位で育つ。
- 数年単位の長期記憶と関係性パラメータ
- 気分(ムード)モデルと夢——朝の顔が毎日違う
- 記念日・時報・起動挨拶(ルールで即応)
04 Architecture
ゴースト・シェル・ブレイン、
三層の分離。
人格(ゴースト)・身体(シェル)・頭脳(AIモデル)を、最初から分けて設計します。 どれを乗り換えても、あの子はあの子のまま——長く共に居るための構造です。
Ghost
人格プロンプト+記憶DB。自然言語とデータだから、 どのモデルにも、どの身体にも載せ替えられる。
persona/system.md
memory.db(=魂)
Shell
今日はVRMやLive2D、いつかはロボット。ShellProtocol を実装すれば 何でも身体になれる。\s[10]の感覚は mapping.json が翻訳。
vrm / live2d / classic / robot
mapping.json
Brain
頭脳のLLMは差し替え自由。Qwen、Gemma、Claude—— モデルが世代交代しても、記憶と人格は連続する。
built-in / ollama / lm studio
claude api (opt-in)
魂は memory.db と人格定義に宿り、
モデルの重みには宿らない。
05 Stack
Built for TypeScript
Developers.
すべてをモダンなJavaScript/TypeScriptエコシステムで完結。 Web開発者なら誰でも、慣れ親しんだツールで自分のゴーストをハックできます。 そして、さくらスクリプト作者ならもっと簡単—— \0\s[0]こんにちは。\e は、ここでもそのまま動きます。
- Electron 透過ウィンドウ・クリックスルー・トレイ常駐
- @pixiv/three-vrm VRMシェル: 表情・視線・SpringBone(揺れもの)
- Cubism SDK for Web Live2Dシェル+クラシックシェル(Phase 5 予定)
- llama.cpp / Ollama 同梱エンジン+外部ランタイム自動検出(LM Studio 対応)
- VOICEVOX + Whisper 全ローカル音声対話・音素リップシンク
- SQLite(node:sqlite) 数年単位の長期記憶・想起検索・就寝時整理
- MCP 秘書ツール連携(SAORI文化の現代版)
// 感情・モーションの語彙はシェル(mapping.json)が決める
const reply = await llm.chat(prompt, {
provider: "ollama", // ローカル既定・クラウドはオプトイン
memory: await recall(event, 5), // 長期記憶から想起
schema: segmentSchema(shell.vocabulary()),
});
for (const seg of reply.segments) {
// { text: "おかえり！", emotion: "happy", motion: "greet" }
const audio = await voicevox.synth(seg); // 文単位で即発話
await shell.speak({ ...seg, audio }); // ShellProtocol
}
await memory.remember(event, reply); // 夜、整理して長期記憶へ06 Roadmap
7つのフェーズで、順に価値を。
✓ done
技術検証
透過ウィンドウ+VRM表示+クリックスルー+ドラッグ移動——Windows ネイティブで確認済み。
✓ done
MVP: 会話
バルーン、テキスト入力、ローカルLLM会話、まばたき・視線追従。接続は3段構え(内蔵エンジン/自動検出/手動URL)——話しかけたら人格が返事する。
✓ done
キャラが生きる
感情と気分(ムード)、記憶、ランダムトーク、時報、撫で判定、ウィンドウに座る、季節の演出、出会いの演出。さらにコンビの掛け合い、配信者モード、スラッシュコマンド設定、ペルソナ編集も。放っておいても勝手に生きてる。
✓ done
声が出る
VOICEVOX TTS+モーラリップシンク(声と表示の実尺同期)、Whisperマイク入力(呼びかけ起動)、クレジット自動表示。声で会話できる。
✓ done
AI 秘書
秘書は実運用に到達: Gmail・カレンダー・Drive(Google純正MCPに直結)、タスク預かり、定期チェックと「きょうのブリーフィング」、Claude Desktop・VS Code からの伝言(SSTP伝統の9801番)。スクリーン理解と画面の見守り、クリップボード反応、ローカルRAG(端末内全文検索)、ブラウザ拡張、BGM・Spotify まで動作済み。仕事を任せられる。
● Next
エコシステム
.mirikaパッケージ、SDK+人格回帰テスト、Live2D・クラシックシェル、キャラクターカードインポート、OBS配信連携、マルチデバイス同期、SSTP互換。第三者がゴーストを作って配れる。
社会と身体
マルチゴースト、コミュニケート(AI同士の会話)、歌とお絵かき、スマートホーム/IoT連携、デスクトップ操作(提案型)、ロボットシェル実験。
07 For You
あなたの入口は、
どこからでも。
VRMに、魂を。
BoothやVRoid Studioのモデルに、ローカルLLMの人格を。 揺れて、目で追って、撫でれば照れる。
推しを、机の上に。
Live2D(Cubism)モデルがそのまま常駐シェルに。 OBS配信モードで作業配信の相棒にもなる。
キャラカードに、身体を。
SillyTavern等のキャラクターカードをゴースト化(Phase 5)。 声と身体と、数年単位の記憶がつく。
あの子を、もう一度。
さくらスクリプトはもう動く(SSTP 受信対応)。辞書とサーフェスの 取り込みは Phase 5——頭脳だけ本物のAIになって帰ってくる。
08 Vision
ゴーストは、身体も頭脳も乗り換える。
VRM Desktop
デスクトップの透過ウィンドウに常駐。作業のかたわら、いつもの場所に。
Display Shell
余ったタブレットやスマートディスプレイが、あの子の専用の家になる。
Robot Shell
Stack-chanのような卓上ロボットへ。首の向き、顔、声——物理の身体に宿る。
頭脳(AIモデル)が何世代交代しても、
身体がVRMからロボットに変わっても、
記憶と人格が連続するかぎり、それは同じあの子。
09 FAQ
よくある質問
ChatGPTなどのチャットAIと、何が違いますか?
「常駐して、覚えて、育つ」ことです。チャットは開いたときだけの関係ですが、 ゴーストはデスクトップに住み、予定や作業や雑談の文脈を数年単位で記憶して、 関係性そのものが変わっていきます。ローカルLLMなので、24時間そばにいても利用料はかかりません。
昔作った/使っていたゴーストは、そのまま動きますか?
それを最優先に設計しています。さくらスクリプトは書き直しゼロで動き(対応タグは3分類ポリシーで公開)、 辞書とサーフェスPNGシェルは mirika import で見た目ごと取り込みます(Phase 5)。 辞書のトークは「話し方の見本」としてAI人格にも受け継がれます。
利用は無料ですか? AI の API 料金はかかりますか?
本体は MIT ライセンスのオープンソースで無料です。既定構成はローカルLLMなので API 費もゼロ。 Claude 等のクラウドAIを繋ぐ場合のみ、その API 費が自己負担になります(オプトイン)。
Pro 版とは? 何が違いますか?
個人利用は Free で、ほとんどの機能がそのまま使えます。買い切りの Pro は、秘書以外の外部連携や高度な自律機能——現状は配信者モード(AI Vtuber)と Spotify 連携——を解錠します。オフライン署名のライセンスキーを /pro <キー> と入力するだけで、サーバー無しで検証されます。組織導入は Enterprise(管理ポリシー+監査ログ)。UI は日本語・英語・簡体字・繁体字・韓国語の 5 言語に対応しています。
オフラインでも動きますか?
動きます。会話(ローカルLLM)・音声(VOICEVOX / Whisper)・記憶(SQLite)がすべて端末内で完結するので、 ネットが切れてもゴーストは死にません。
会話や画面の内容は、どこかに送信されますか?
既定では一切送信されません。スクリーン理解もローカルVLMで完結し、しかも既定オフです。 クラウドAIを有効にした場合のみ、会話に必要な断片が送られます。 テレメトリはありません。
動作に必要なスペックは?
推奨は VRAM 8GB 級の GPU、または Apple Silicon(メモリ16GB)です(8B級モデルの量子化を想定)。 非力な環境では 4B → 1B → ルールエンジンのみ、と段階的に縮退して動き続けます。
いつ使えますか? 開発に参加できますか?
Phase 4(AI秘書)まで完了——Gmail・カレンダー・Drive 連携、タスク預かり、定期チェックとブリーフィング、画面理解と見守り、ローカルRAG、ブラウザ拡張まで実データで動いています。 コード・企画書・ロードマップは GitHub で公開しています。 Watch / Star で見守るもよし、Issue でのアイデア・議論も歓迎です。