LM Studio를 활용한 이 워크플로우는 여러 로컬 LLM 모델을 테스트하여 응답의 가독성과 성능을 분석합니다. 사용자는 모델의 응답을 비교하고, Google Sheets에 결과를 기록하여 테스트 결과를 쉽게 관리할 수 있습니다. 이 자동화된 프로세스는 시간 소모를 줄이고, 다양한 모델의 성능을 효율적으로 평가할 수 있는 기회를 제공합니다.
- 데이터 분석가: LLM(대형 언어 모델) 응답을 분석하고, 읽기 점수 및 기타 메트릭을 평가하여 데이터 기반 인사이트를 얻고자 하는 분석가들.
- 개발자: LLM을 통합하여 특정 요구 사항에 맞게 응답을 조정하고자 하는 개발자들.
- 마케팅 전문가: 고객의 피드백을 분석하여 콘텐츠 품질을 향상시키고자 하는 마케팅 전문가들.
- 교육자: 학생들에게 적합한 콘텐츠를 제공하기 위해 텍스트의 가독성을 평가하고자 하는 교육자들.
- 모델 응답의 품질 평가: LLM의 응답을 분석하여 가독성 점수, 단어 수, 문장 수 등 다양한 메트릭을 제공합니다.
- 효율적인 데이터 수집: Google Sheets와 통합하여 테스트 결과를 체계적으로 저장하고 관리할 수 있습니다.
- 다양한 모델 비교: 여러 LLM 모델의 성능을 비교하여 최상의 모델을 선택할 수 있도록 합니다.
1. 모델 목록 가져오기: LM Studio 서버에서 현재 로드된 모델 목록을 가져옵니다.
2. 채팅 메시지 수신: 사용자가 채팅 메시지를 보내면 워크플로우가 시작됩니다.
3. 시스템 프롬프트 추가: 응답의 간결성과 가독성을 보장하기 위해 시스템 프롬프트를 추가합니다.
4. LLM 응답 분석: LLM에 입력된 프롬프트에 대해 응답을 생성하고 분석합니다.
5. 응답 메트릭 계산: 단어 수, 문장 수, 가독성 점수 등의 메트릭을 계산합니다.
6. 결과 저장: 분석된 결과를 Google Sheets에 저장하여 관리합니다.
- 모델 업데이트: LM Studio 서버의 IP 주소를 변경하여 다른 모델을 사용할 수 있습니다.
- 프롬프트 수정: 시스템 프롬프트를 수정하여 LLM의 응답 스타일을 조정할 수 있습니다.
- Google Sheets 설정: Google Sheets의 헤더를 변경하여 저장할 데이터를 조정할 수 있습니다.
- 추가 메트릭 계산: 코드 노드를 수정하여 추가적인 분석 메트릭을 계산하도록 설정할 수 있습니다.