Testen mehrerer lokaler LLM mit LM Studio

Für die Plattform "Testing Multiple Local LLM with LM Studio" ermöglicht dieser automatisierte Workflow die effiziente Analyse von Modellen durch Integration mit Sticky Note, LangChain und Google Sheets. Er erfasst und vergleicht die Reaktionszeiten, Lesbarkeit und andere Metriken von bis zu 21 Modellen, um fundierte Entscheidungen über deren Leistung zu treffen. Durch die einfache Anpassung der Eingaben und die Möglichkeit, Ergebnisse in Google Sheets zu speichern, wird die Nachverfolgbarkeit und Auswertung der Testergebnisse erheblich verbessert.

4.7.2025
21 Knoten
Komplex
rktiztdblvr6uzsgw3xdiseiujd7xgbamanuellkomplexsticky notelangchaingooglesheetssplitoutfortgeschrittenapiintegration
Kategorien:
Complex WorkflowManual TriggeredData Processing & Analysis
Integrationen:
Sticky NoteLangChainGoogleSheetsSplitOut

Zielgruppe

Zielgruppe


- Entwickler: Diejenigen, die lokale LLMs (Language Learning Models) testen und analysieren möchten.
- Datenanalysten: Benutzer, die Lesbarkeit und andere Metriken von Texten bewerten müssen.
- Forschungsteams: Teams, die mehrere Modelle vergleichen und deren Leistung dokumentieren möchten.
- Lehrer und Pädagogen: Personen, die die Lesbarkeit von Inhalten für Schüler auf verschiedenen Bildungsniveaus bewerten wollen.

Gelöstes Problem

Problemstellung


Dieses Workflow löst das Problem der Effizienz und Genauigkeit bei der Analyse von LLM-Antworten. Es ermöglicht Nutzern,:
- Lesbarkeitsbewertungen von Texten zu erhalten, die von verschiedenen Modellen generiert werden.
- Zeitstempel für gesendete und empfangene Nachrichten zu erfassen, um die Reaktionszeit zu analysieren.
- Metriken wie Wortanzahl, Satzanzahl und durchschnittliche Satzlängen zu berechnen, um die Qualität der Antworten zu bewerten.

Workflow-Schritte

Workflow-Prozess


1. Modellabruf: Der Workflow beginnt mit dem Abrufen von Modellen von einem lokalen LM Studio-Server über die HTTP-Anfrage.
2. Chat-Nachricht empfangen: Der Workflow wird manuell ausgelöst, wenn eine Chat-Nachricht empfangen wird.
3. Systemprompt hinzufügen: Ein Systemprompt wird hinzugefügt, um die Antworten der Modelle auf eine bestimmte Lesbarkeit zu fokussieren.
4. LLM-Antwortanalyse: Die empfangene Nachricht wird an das LLM zur Verarbeitung gesendet, und die Antwort wird analysiert.
5. Zeitstempel erfassen: Start- und Endzeiten werden erfasst, um die gesamte Bearbeitungszeit zu berechnen.
6. Metriken analysieren: Die Antwort wird auf verschiedene Metriken wie Lesbarkeit, Wortanzahl und Satzstruktur analysiert.
7. Speichern in Google Sheets: Die Ergebnisse werden in einem Google Sheet gespeichert, um eine einfache Nachverfolgbarkeit und Analyse zu ermöglichen.
8. Optional: Benutzer können den Google Sheets-Knoten entfernen, um die Ergebnisse manuell zu überprüfen.

Anpassungsleitfaden

Anpassungsanleitung


- Modell-URL anpassen: Ändern Sie die Basis-URL im Workflow, um auf den lokalen LM Studio-Server zu verweisen.
- Systemprompt anpassen: Bearbeiten Sie den Systemprompt, um spezifische Anforderungen oder Lesbarkeitsziele zu berücksichtigen.
- Google Sheets anpassen: Aktualisieren Sie die Spaltenüberschriften in Google Sheets, um zusätzliche Metriken zu erfassen oder die Struktur zu ändern.
- Zeitstempel anpassen: Passen Sie die Zeitstempel an, um zusätzliche Zeitdaten zu erfassen, falls erforderlich.