LM Studioを使用した複数のローカルLLMのテスト

このワークフローは、以下の人々に適しています:
- データアナリスト: モデルのパフォーマンスを評価し、結果を分析する必要がある人。
- 開発者: 自分のアプリケーションにLLM（大規模言語モデル）を統合したい人。
- 研究者: 言語モデルの出力をテストし、比較したい人。
- ビジネスオーナー: 自社のプロセスを自動化し、効率を向上させたい人。

このワークフローは、以下の問題を解決します:
- モデルの選択とテスト: 複数のLLMを使用して、特定のプロンプトに対する応答をテストし、最適なモデルを選定することができます。
- 結果の分析: 生成された応答の可読性スコアや文の長さなどのメトリクスを計算し、パフォーマンスを評価します。
- データ管理: Google Sheetsに結果を保存することで、後で簡単にレビューできるようにします。

ワークフローのプロセスは以下の通りです:
1. メッセージ受信: ユーザーがチャットメッセージを送信すると、ワークフローがトリガーされます。
2. モデルの取得: LM Studioサーバーから利用可能なモデルのリストを取得します。
3. システムプロンプトの追加: 応答が5年生の読みやすさに適していることを保証するためのシステムプロンプトを設定します。
4. モデルの実行: 各モデルに対してプロンプトを送信し、応答を取得します。
5. 応答の分析: 応答を分析し、単語数、文の数、可読性スコアなどのメトリクスを計算します。
6. 結果の保存: 分析結果をGoogle Sheetsに保存し、後でレビューできるようにします。

ユーザーがこのワークフローをカスタマイズする方法:
- モデルの選択: 使用したいLLMモデルを選択し、Get ModelsノードのURLを変更してIPアドレスを設定します。
- プロンプトの調整: Add System Promptノードでプロンプトを変更し、特定のテスト基準に合わせることができます。
- Google Sheetsの設定: Save Results to Google Sheetsノードで、シート名やカラムマッピングを変更して、自分のデータに合わせます。
- 分析メトリクスの変更: Analyze LLM Response Metricsノードで、計算したいメトリクスを追加または変更できます。