長い間、私は契約書をChatGPTに貼り付けたり、機密レポートをアップロードして概要を依頼したり、クライアントの提案書をクラウドAIツールに入力したりすることに何の躊躇もありませんでした。ところがある日、ふと立ち止まって利用規約（何年も何気なく流し読みしていたもの）を読み返してみると、これらのファイルは私のデバイスから、少なくとも一時的には誰かのサーバー上に保存されていたことに気づきました。興味深いことに、以前の同僚がその理由について以前取り上げていたことを思い出しました。 ChatGPTに機密情報を預けないでくださいこの煩わしさから、私はもっと良い方法を探すことにしました。
私が見つけたのはAnythingLLMという無料のオープンソースデスクトップアプリケーションで、自分のドキュメントから完全にカスタマイズされたAIアシスタントを作成でき、しかもすべてデバイス上で実行できます。これは、 毎日使っているオープンソースのAIアプリケーション実際の変化は次のようになります。
クイックリンク
AnythingLLM のインストールと設定には数分しかかかりません。
作業を開始する前に、データがどこに保存されるかを正確に知らせます。
セットアップファイルを入手したら、ダブルクリックするとウィザードが起動します。インストール中に、サポートコンポーネント（互換性のあるNVIDIA GPUをお持ちの場合はOllamaのCUDAライブラリ）が自動的にダウンロードされます。このプロセスは、一度理解すればきっと役に立ちます。 CUDA コアとは何ですか? また、CUDA コアはどのようにして一般的なコンピューティング能力を向上させるのですか? メディア処理用のFFProbeとオーディオ機能用のMeeting Assistantアセット。これらはすべてユーザーによる入力を必要としません。インストーラーをダブルクリックしてからメインコントロールパネルが表示されるまで、全体のプロセスは5分もかかりませんでした。
AnythingLLMを開くと、まず最初に表示されるのはデータの取り扱いとプライバシーに関する画面です。これは読む価値があります。フォームと会話はデバイス上でのみアクセス可能であり、ドキュメントのテキストは組み込みのAnythingLLM Embedderを使用して非公開で埋め込まれ、ベクターはLanceDBを介してローカルに保存されることが明確に記載されています。 ベクター データベースとは何ですか? また、ベクター データベースはどのようにして人工知能を強化するのですか?このコンポーネントを完全にオフラインにしておくことで、プライバシー保護の大きなメリットを実感していただけるでしょう。切り替えボタンはなく、オプトアウトのオプションは設定の奥深くに埋もれています。デフォルトでは、すべてローカルに保存されます。
プライバシーの概要の直後、AnythingLLMはLLM設定画面へと案内します。サポートされているプロバイダーは豊富で、クラウド側ではOpenAI、Anthropic、Azure OpenAI、Gemini、Groqなどがサポートされています。オンプレミス側では、Ollama、LM Studio、LocalAI、KoboldCPP、Dell Pro AI Studio、Microsoft Foundry Local、Docker Model Runnerなどがサポートされています。デフォルトの「AnythingLLM」オプションは、Ollamaを搭載したローカルモデルランナーと連携しており、MicrosoftのPhi-4（9.1GB）やAlibabaのQwen3 0.6B（600MBと小さい）などのモデルを、追加の設定なしでアプリケーション内から直接ダウンロードできます。
お使いのマシンに専用のグラフィック処理装置（GPU）が搭載されていなくても問題ありません。Groq APIに接続すれば、Llama 3 70Bのような高速推論モデルにほぼ無料でアクセスでき、APIキーさえあればすぐに使用できます。設定からいつでもプロバイダーを切り替えることができるので、セットアップ時に選択したオプションに縛られることはありません。私はテストのためにローカルプロバイダーで始めました。Phi-3 3.8Bは、ミッドレンジのラップトップでドキュメントのQ&Aを非常にスムーズに処理することに驚きました。その後、速度がより重要となる高負荷のタスクにはGroqに切り替えました。
セットアップが完了すると、AnythingLLM は個人の文書を集中的な AI アシスタントに変換します。
あなたのファイルはより明確に語ります
ダッシュボードには、開始するためのチェックリストと、「マイワークスペース」と呼ばれる仮想ワークスペースが既に含まれたサイドバーが表示されます。ワークスペースはAnythingLLMの組織化における中核となるコンセプトです。各ワークスペースは、ドキュメントと会話が共存する自己完結型の環境です。各ワークスペースは独立した部屋と考えてください。1つはクライアントとの契約用、もう1つは社内調査用、そして3つ目は個人的なメモ用です。必要に応じてドキュメントをワークスペース間で共有できますが、互いに干渉することはなく、AIの応答の焦点と精度が維持されます。
ワークスペースへのドキュメントの追加は、ドラッグ＆ドロップで簡単に行えます。AnythingLLMは、Word文書、プレーンテキストファイル、CSVファイル、スプレッドシート、音声ファイル、さらにはPDFファイルも扱えます。 NotebookLM はこれを使用して、あらゆる PDF ファイルを対話型の会話に変換します。アップロードパネルには「ウェブサイトを取得」フィールドもあります。ウェブページやオンラインリソースを取得したい場合は、URLを貼り付けるだけで自動的にコンテンツが取得されます。アップロードが完了すると、AnythingLLMは各ファイルを処理し、テキストを分割してベクターをローカルに保存します。典型的な10ページのPDFファイルであれば、わずか数秒で完了します。
エージェントと偏った警察の命令により、AnythingLLMは単なるスマート検索ボックスの域を超えている
ここからが本当に面白いところです。
AnythingLLMには、単純なドキュメントQ&Aを超えたエージェント機能が搭載されています。入力も行います。 @エージェント チャットでは、ツール呼び出しタスク（Web検索、詳細検索、アプリ間アクションなど）を実行できるAIエージェントを起動できます。カスタムエージェントスキルは、AnythingLLMコミュニティハブから利用可能で、ライブラリは常に拡張されています。スラッシュコマンド機能を使用すると、繰り返し実行されるタスク用のプロンプトテンプレートを作成して保存できます。例えば、会議メモを一貫した形式で要約したり、メールの返信を特定のトーンで表現したり、アップロードされたドキュメントから特定のフィールドを毎回抽出したりするといった作業が可能です。
さらに一歩進めたい場合は、ブラウザ拡張機能を使えば、どのウェブページからでもAnythingLLMインスタンスにアクセスできます。また、GPTLocalhost統合を使えば、アシスタントをMicrosoft Wordに直接組み込むことができます。共有アクセスが必要なチームは、Docker版を選択できます。Docker版では、マルチユーザーサポート、ロールベースの制御、ホワイトリスト機能が追加されます。デスクトップアプリケーションは個人使用には十分すぎるほどですが、チーム向けのセットアップパスが用意されているのも便利です。
あなたのためのAI革命へようこそ（人口：あなた）
AnythingLLMに切り替えたことで、AIをレンタルするサービスではなく、自分のツールとして捉えるようになりました。ドキュメントは自分のドライブに保存され、クエリはプライベートなまま、そして今では、インターネット上の情報だけでなく、自分のコンテキストを真に理解してくれるデジタルアシスタントを手に入れました。
