Nvidia は、コンピューター上で実行され、ChatGPT の使用中に見つかるものと同様の機能を提供する AI チャットボットである Chat with RXT を開始しました。必要なのは Nvidia RTX グラフィックス カードだけで、Nvidia の新しいチャットボットをすぐに使い始めることができます。
この記事では、Nvidia のチャットボットの機能とコンピューターでの使用方法について詳しく説明します。潜在的な用途を検討し、この革新的なテクノロジーを最大限に活用する方法を見ていきます。確認する Quora の Poe を使用してさまざまなチャットボットや LLM モデルにアクセスする方法.
クイックリンク
Nvidia の RTX とのチャットとは何ですか?
Nvidia Chat with RTX は、大規模言語モデル (LLM) をコンピューター上でローカルに実行できる人工知能 (AI) モデルです。そのため、インターネットに接続して ChatGPT のような AI チャットボットを使用する代わりに、いつでもオフラインで Chat with RTX を使用できます。
Chat with RTX は TensorRT-LLM、RTX アクセラレーション、量子 Mistral 7-B LLM を使用して、他のオンライン AI チャットボットと同等の高速パフォーマンスと高品質の応答を提供します。また、検索拡張生成 (RAG) も提供しており、チャットボットがファイルを読み取り、提供されたデータに基づいてパーソナライズされた回答を可能にします。これにより、チャットボットをカスタマイズして、より個人的なエクスペリエンスを提供できるようになります。
RTX 機能を使用したチャット:
- 地元： コンピューター上でローカルおよびオフラインで実行され、データとプライバシーを完全に制御できます。
- カスタマイズ可能: YouTube ビデオやドキュメントなどの独自のデータを使用してトレーニングし、パーソナライズされたチャット エクスペリエンスを作成できます。
- 多言語： 多くの言語をサポートしています。
- 使いやすい： シンプルで操作しやすいユーザー インターフェイス。
RTX でチャットすると何ができるのですか?
- 質問に答えてください: RTX とのチャットでは、ニュース、時事問題、科学、歴史など、さまざまなトピックに関する質問に答えることができます。
- 情報の要約: RTX とのチャットでは、YouTube ビデオ、ドキュメント、その他のデータ ソースからの情報を要約できます。
- クリエイティブなコンテンツを作成します。 RTX とチャットすると、詩、物語、テキストなどのクリエイティブなコンテンツを作成できます。
- 言語翻訳: RTX とのチャットでは、テキストをある言語から別の言語に翻訳できます。
Nvidia Chat を RTX で試してみたい場合は、コンピューターにダウンロード、インストール、構成する方法を次に示します。
Nvidia Chat を RTX にダウンロードしてインストールする方法
Nvidia により、LLM モデルをコンピューター上でローカルに実行することがはるかに簡単になりました。 Chat with RTX を実行するには、他のアプリの場合と同様に、アプリをダウンロードしてインストールするだけです。ただし、Chat with RTX には、適切にインストールして使用するために満たす必要のある最小仕様要件がいくつかあります。
- RTX 30 シリーズまたは 40 シリーズ グラフィックス カード。
- RAM 16 GB。
- 100GBの利用可能なストレージスペース。
- ウィンドウズ11。
コンピューターが最小システム要件を満たしている場合は、アプリケーションをインストールしてください。
- الخطوة1： Chat with RTX zip ファイルをダウンロードします。
- ダウンロード： RTX とチャットする (35GB無料ダウンロード)
- الخطوة2： 右クリックして 7Zip などのファイル アーカイブ ツールを選択するか、ファイルをダブルクリックして選択して zip ファイルを解凍します。 すべて抽出する.
- الخطوة3： 解凍したフォルダーを開き、setup.exe をダブルクリックします。画面上の指示に従い、カスタム インストール プロセス中にすべてのボックスをオンにします。 [次へ] をクリックすると、インストール ウィザードが LLM とすべての依存関係をダウンロードしてインストールします。
Chat with RTX のインストールは、大量のデータをダウンロードしてインストールするため、完了するまでに時間がかかります。インストールプロセスが終了したら、「閉じる」をクリックすると完了です。さあ、アプリを試してみましょう。
Nvidia の RTX でチャットを使用する方法
Chat with RTX は通常のオンライン チャットボットのように使用できますが、アクセスを許可したファイルに基づいて出力をカスタマイズできる RAG 機能を確認することを強くお勧めします。
ステップ 1: RAG フォルダーを作成する
RTX を使用して Chat で RAG の使用を開始するには、AI に分析させたいファイルを保存する新しいフォルダーを作成します。
作成後、任意のデータ ファイルをフォルダーに配置します。保存するデータには、ドキュメント、PDF、テキスト、ビデオなど、さまざまなトピックやファイル タイプが含まれます。ただし、パフォーマンスに影響を与えないように、このフォルダーに入れるファイルの数を制限することもできます。検索するデータが増えると、RTX とのチャットで特定のクエリに対する応答が返されるまでに時間がかかります (ただし、これはデバイスの内部ハードウェアにも依存します)。
データベースの準備ができたので、RTX でチャットを設定し、質問や問い合わせに答えるために使用を開始できます。
ステップ 2: 環境を準備する
RTX でチャットを開きます。インターフェイスは以下の画像のようになります。
[データセット] で、[フォルダー パス] オプションが選択されていることを確認します。次に、下部にある編集アイコンをクリックし、Chat with RTX に読み取らせたいすべてのファイルが含まれるフォルダーを選択します。他のオプションが利用可能な場合は、AI モデルを変更することもできます (執筆時点では、Mistral 7B のみが利用可能です)。
これで、RTX でチャットを使用する準備ができました。
ステップ 3: RTX とチャットして質問してください!
Chat with RTX を使用してさまざまな情報を問い合わせる方法はいくつかあります。 1つ目は、通常のAIチャットボットのように使用することです。 Chat with RTX にローカル LLM モデルを使用する利点について尋ねたところ、彼の答えに満足しました。それほど詳しくはありませんでしたが、十分正確でした。
ただし、Chat with RTX モデルは RAG 対応なので、AI パーソナル アシスタントとしても使用できます。
上記では、RTX とのチャットを使用してスケジュールを問い合わせました。データは、スケジュール、カレンダー、イベント、仕事などを含む PDF ファイルから取得されました。この場合、Chat with RTX はデータから正しいカレンダー データを取得しました。このような機能が適切に動作するには、データ ファイルとカレンダーの日付を最新の状態に保つ必要があり、他のアプリケーションと統合する必要があります。
RTX を使用したチャットで RAG を有利に使用できる方法はたくさんあります。たとえば、法的文書を読んで概要を提供したり、開発中のアプリに関連するコードを生成したり、忙しくて見れなかったビデオのハイライトを取得したりするために使用できます。確認する ローカル LLM モデルを使用する必要がありますか?長所、短所、ベストプラクティス.
ステップ 4: 追加ボーナス
ローカル データ フォルダーに加えて、RTX とのチャットを使用して YouTube ビデオを分析できます。これを行うには、データセット内でフォルダー パスを YouTube URL に変更します。
分析したい YouTube URL をコピーし、ドロップダウン メニューの下に貼り付けます。その後尋ねます！
YouTube ビデオを分析しながら RTX とチャットすることは非常に優れており、正確な情報が提供されるため、迅速な調査や分析などに役立ちます。確認する 大規模な言語モデルを使用したテキスト分析に Scikit-LLM を効果的に活用する方法.
Nvidia の Chat with RTX は良いですか?
ChatGPT は RAG 機能を提供します。一部のローカル AI チャットボットのシステム要件ははるかに低くなります。では、RTX でチャットする価値はあるのでしょうか?
答えは「はい」です！ RTX とのチャットは、競合にもかかわらず使用する価値があります。
Chat with RTX を使用する最大のセールス ポイントの 1 つは、ファイルをサードパーティ サーバーに送信せずに RAG を使用できることです。オンライン サービスを通じて GPT をカスタマイズすると、データが公開される可能性があります。ただし、Chat with RTX はローカルおよびオフラインで実行されるため、Chat with RTX で RAG を使用すると、機密データは安全であり、お使いのコンピューター上でのみアクセスできることが保証されます。
Mistral 7B を実行する他の自社製 AI チャットボットと同様に、RTX を使用したチャット パフォーマンスはより優れており、高速です。パフォーマンス向上の大部分はハイエンド GPU の使用によるものですが、Nvidia TensorRT-LLM と RTX アクセラレーションの使用により、チャットに最適化された LLM を実行する他の方法と比較して、RTX を使用したチャットでの Mistral 7B の実行が高速になりました。
現在使用している Chat with RTX のバージョンはベータ版であることに注意してください。 Chat with RTX の新しいバージョンでは、より最適化され、パフォーマンスが向上する可能性があります。
RTX 30 または 40 シリーズ グラフィックス カードがない場合はどうすればよいですか?
RTX とのチャットは、インターネット接続を必要とせずに LLM モデルをローカルで実行する簡単、高速、安全な方法です。 LLM をローカルで実行することに興味があるが、RTX 30 または 40 シリーズのグラフィック カードを持っていない場合は、LLM をローカルで実行するための他の方法を試すことができます。最も人気のあるものの 4 つは、GPT4ALL と Text Gen WebUI です。 LLM を使用してローカルでプラグアンドプレイを体験したい場合は、GPTXNUMXALL を試してください。ただし、もう少し技術的に興味がある場合は、LLM を使用してください。 テキスト生成 WebUI これにより、より優れた制御と柔軟性が得られます。今すぐ閲覧できます ChatGPT のコピーをローカルで実行し、GPT4All を使用して Windows 上で無料で実行します.
