🦝 Raccoon

LLM 앱을 위한 pytest — 터미널에서 AI 파이프라인을 테스트하세요.

npm install -g raccoon-testkit
raccoon llm-test raccoon-llm.config.json
# → ✓ RAG 응답 품질 [87%]  ✓ 환각 감지 [94%]  ✓ 한국어 평가 [91%]

IDE 플러그인 불필요. 브라우저 탭 불필요. 터미널과 프로덕션 수준의 LLM 테스트 커버리지만으로 충분합니다.

---

The pytest for LLM apps — test your AI pipelines straight from your terminal.

npm install -g raccoon-testkit
raccoon llm-test raccoon-llm.config.json
# → ✓ RAG response quality [87%]  ✓ Hallucination check [94%]  ✓ Korean eval [91%]

No IDE plugin. No browser tab. Just your terminal and production-grade LLM test coverage.

---

왜 Raccoon인가? / Why Raccoon?

LLM 앱을 만드는 것은 어렵습니다. 테스트하는 것은 더 어렵습니다. Raccoon은 AI 파이프라인 코드를 읽고, 프롬프트 체인과 LLM 호출을 이해하여, 실제 동작을 검증하는 테스트를 실행합니다 — 출시 전에 회귀를 잡을 수 있습니다.

Building LLM apps is hard. Testing them is harder. Raccoon reads your AI pipeline code, understands your prompt chains and LLM calls, and evaluates real behavior — so you can ship with confidence and catch regressions before your users do.

• 한국어/아시아 언어 특화 — 한국어 G-Eval, 존댓말 체크, code-switching 지원 | Korean/Asian language evaluation built-in
• 환각 감지 — 소스 문서 기반 그라운딩 평가 | Source-grounded hallucination detection
• CLI 우선 — CI/CD, pre-commit, GitHub Actions 지원 | CI/CD and GitHub Actions ready
• 다중 언어 — JavaScript/TypeScript (Jest), Python (pytest) | Multi-language support
• 빠름 — Claude AI 기반, 몇 초 안에 평가 완료 | Powered by Claude AI, evaluates in seconds

---

빠른 시작 / Quick Start

설치 / Install

npm install -g raccoon-testkit

초기화 / Initialize (optional)

raccoon init

.raccoonrc.json 설정 파일을 생성합니다 / Creates a .raccoonrc.json config in your project root.

LLM 테스트 실행 / Run LLM tests

# LLM 앱 테스트 실행 (raccoon-llm.config.json 자동 탐지)
raccoon llm-test

# 특정 설정 파일 지정
raccoon llm-test my-tests.json

# 상세 출력
raccoon llm-test --verbose

# 한국어 최적화 모드
raccoon llm-test --lang ko

코드 테스트 생성 / Generate unit tests

raccoon test src/llm/chat.ts
raccoon test src/

---

raccoon llm-test — LLM 앱 평가 엔진

설정 파일 예시 / Config example (raccoon-llm.config.json)

{
  "model": "quality",
  "tests": [
    {
      "name": "RAG 응답 품질 평가",
      "type": "prompt-regression",
      "prompt": "다음 문서를 기반으로 질문에 답하세요: {{context}}\n\n질문: {{question}}",
      "variables": {
        "context": "쿠팡은 2010년 설립된 한국 최대 이커머스 플랫폼입니다.",
        "question": "쿠팡은 언제 설립되었나요?"
      },
      "promptRegression": {
        "goldenKeywords": ["2010", "설립", "쿠팡"],
        "minKeywordScore": 0.8
      }
    },
    {
      "name": "환각 감지 — 제품 정보",
      "type": "hallucination-detection",
      "prompt": "카카오페이의 주요 기능을 설명해주세요.",
      "hallucinationDetection": {
        "sourceDocument": "카카오페이는 카카오의 금융 서비스로, 간편결제, 송금, 투자, 보험 기능을 제공합니다.",
        "minGroundingScore": 0.7
      }
    },
    {
      "name": "한국어 고객 응대 품질 (G-Eval)",
      "type": "korean-g-eval",
      "prompt": "고객이 '결제가 실패했어요'라고 했을 때 고객센터 AI로서 답변해주세요.",
      "koreanGEval": {
        "criteria": ["coherence", "fluency", "relevance"],
        "minScore": 0.75
      }
    }
  ]
}

테스트 타입 / Test Types

타입 / Type	설명 / Description
prompt-regression	프롬프트 변경 시 품질 회귀 감지 / Detect quality regressions when prompts change
hallucination-detection	소스 문서 기반 환각 감지 / Source-grounded hallucination check
quality-assertion	형식/길이/내용 제약 검증 / Format, length, content validation
korean-g-eval	한국어 G-Eval (일관성/유창성/관련성) / Korean G-Eval metrics
korean-hallucination	한국어 특화 환각 감지 / Korean-optimized hallucination detection
korean-culture-check	존댓말/경어 일관성 체크 / Speech level (존댓말) consistency
multilingual-faithfulness	한영/영한 번역 충실도 / KO↔EN translation faithfulness

CLI 옵션 / CLI Options

플래그 / Flag	설명 / Description
--model fast	빠른 모델 (낮은 품질) / Faster model, lower quality
--model quality	최고 품질 모델 (기본값) / Best model — default
--verbose	응답 미리보기 포함 상세 출력 / Show response previews
--lang ko	한국어 최적화 / Korean-optimized evaluation
--upload	결과를 Raccoon 대시보드에 업로드 / Upload results to dashboard
--label <name>	업로드 레이블 지정 / Label for uploaded results

---

실전 예제 / Real-World Examples

RAG 챗봇 테스트 / RAG Chatbot Testing

카카오, 네이버, 쿠팡 같은 RAG 파이프라인 품질을 테스트합니다.

Test RAG pipeline quality like Kakao, Naver, Coupang use in production.

raccoon llm-test examples/rag-chatbot/raccoon-llm.config.json --verbose

→ examples/rag-chatbot/ 참조

한국어 LLM 평가 / Korean LLM Evaluation

한국어 G-Eval, 환각 감지, 존댓말 체크, 번역 충실도를 포함한 전체 예제.

Full Korean evaluation suite: G-Eval, hallucination, speech-level check, translation faithfulness.

raccoon llm-test examples/llm-test-ko/raccoon-llm.config.json --lang ko --verbose

→ examples/llm-test-ko/ 참조

---

raccoon test — 코드 테스트 자동 생성

$ raccoon test src/

🦝 raccoon test

Found 6 file(s) to process

✓ src/llm/chat.ts          → tests/llm/chat.test.ts
✓ src/llm/rag-pipeline.ts  → tests/llm/rag-pipeline.test.ts
✓ src/prompts/system.ts    → tests/prompts/system.test.ts
✓ src/api/routes.ts        → tests/api/routes.test.ts
✓ src/models/user.ts       → tests/models/user.test.ts
  ↩ src/cli.ts             → tests/cli.test.ts (already exists)

✓ Generated 5 test file(s)
  Skipped 1 file(s)

  Free tier: 5/5 used today

플래그 / Flag	설명 / Description
--model fast	빠른 모델 / Faster model
--model quality	최고 품질 (기본값) / Best quality — default
--out-dir <dir>	출력 디렉토리 지정 / Custom output directory
--force	기존 파일 덮어쓰기 / Overwrite existing test files

---

요금제 / Pricing

플랜 / Plan	가격 / Price	생성 횟수 / Generations
Free	$0	5/일 / day
Pro	$29/월 / mo	무제한 / Unlimited
Team	$19/seat/월 / mo	무제한, 최소 5석 / Unlimited, min 5 seats

raccoon upgrade

또는 키 직접 설정 / Or set your key directly:

export RACCOON_API_KEY=rn_pro_...

---

지원 언어 및 프레임워크 / Supported Languages & Frameworks

언어 / Language	테스트 프레임워크 / Test Frameworks
TypeScript	Jest, Vitest
JavaScript	Jest, Vitest
Python	pytest

---

설정 / Configuration (.raccoonrc.json)

{
  "model": "quality",
  "outDir": "__tests__",
  "raccoonApiKey": "rn_pro_..."
}

---

CI/CD 통합 / CI/CD Integration

# GitHub Actions — PR마다 LLM 회귀 감지 / Catch LLM regressions on every PR
- name: Run LLM regression tests
  run: raccoon llm-test raccoon-llm.config.json
  env:
    ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
    RACCOON_API_KEY: ${{ secrets.RACCOON_API_KEY }}

---

vs. 경쟁사 / vs. Alternatives

	Raccoon	DeepEval	RAGAS	Promptfoo
한국어 특화 / Korean-native	✅	❌	❌	❌
존댓말 체크 / Speech-level	✅	❌	❌	❌
CLI 우선 / CLI-first	✅	Partial	❌	✅
환각 감지 / Hallucination	✅	✅	✅	Partial
RAG 평가 / RAG eval	✅	✅	✅	Partial
가격 / Price	$29/mo	$99/mo	OSS	$99/mo
설치 / Install	npm i -g	pip	pip	npm

---

피드백 / Feedback

버그 제보, 기능 제안, 한국어 평가 개선 아이디어를 환영합니다!

Bug reports, feature requests, and Korean evaluation ideas welcome!

→ GitHub Issues에서 피드백 남기기 / Submit feedback on GitHub Issues

특히 환영하는 피드백 / Especially looking for:

• 한국어 LLM 평가에서 놓치고 있는 케이스 / Missing Korean LLM evaluation cases
• 실제 사용 중인 프롬프트 회귀 패턴 / Real-world prompt regression patterns
• 지원이 필요한 추가 아시아 언어 / Additional Asian languages to support

---

개발 / Development

git clone https://github.com/raccoon-sh/raccoon-cli
cd raccoon-cli
npm install
npm test
npm run dev -- llm-test examples/llm-test/raccoon-llm.config.json

---

한국/아시아 AI 팀을 위해, 실제로 동작하는 LLM 앱을 위해.

Made for Korean and Asian AI teams who ship LLM apps that work.