Polyer

LiteLLM

Polyer에 LiteLLM을 배포해 여러 LLM 제공업체 앞단에서 OpenAI 호환 프록시를 운영하고, 가상 키와 비용 추적을 사용하세요. 이 템플릿은 공개 LiteLLM 서비스와 비공개 PostgreSQL 16 데이터베이스, 비공개 Redis 캐시를 실행하며 두 서비스 모두 볼륨을 사용합니다. 배포 전에 제공업체 API 키와 미리 구성된 모델 목록을 확인하세요.

AI 앱Coolify 공개 카탈로그

사용 사례

  • 애플리케이션이 하나의 OpenAI 형식 엔드포인트로 OpenAI, Anthropic 등 여러 제공업체의 모델을 사용하게 하세요.
  • 팀이나 애플리케이션마다 별도 키를 발급하고 지출을 한곳에서 추적하세요.

이 템플릿이 만드는 것

litellmghcr.io/berriai/litellm-database:main-stable
공개 엔드포인트
postgrespostgres:16-alpine
비공개 서비스 영속 볼륨
redisredis:7-alpine
비공개 서비스 영속 볼륨

검토할 설정

템플릿이 제공하는 입력 항목입니다. 배포 양식은 필수 값을 표시하고 서비스 생성 전에 검증합니다.

입력환경 변수 키
Anthropic api baseANTHROPIC_API_BASE
Anthropic api keyANTHROPIC_API_KEY
Openai api baseOPENAI_API_BASE
Openai api keyOPENAI_API_KEY
Voyage api baseVOYAGE_API_BASE
Voyage api keyVOYAGE_API_KEY

배포 방법

  1. 배포 설정을 선택하고 로그인하거나 계정을 만드세요.
  2. 새 프로젝트 또는 기존 프로젝트를 선택하고 사용 가능한 리전을 고르세요.
  3. 서비스, 필수 입력, 스토리지, 호환성 경고를 검토하세요. 설정이 준비되었을 때만 배포를 제출하세요.
  4. 배포 로그를 확인하고 앱 초기 설정을 완료한 뒤 운영 사용 전에 엔드포인트를 테스트하세요.

앱 운영

  • 생성된 UI 사용자 이름과 비밀번호로 관리자 UI에 로그인하고, 생성된 마스터 키는 관리 용도로만 사용하며 애플리케이션마다 가상 키를 발급하세요.
  • 사용하는 제공업체 키만 입력하고, 이미 지원이 종료된 모델이 포함되어 있을 수 있으니 미리 구성된 모델 목록을 확인하세요. STORE_MODEL_IN_DB를 사용한다면 UI에서 모델을 추가하기 전에 LITELLM_SALT_KEY를 설정하고 이후에는 변경하지 마세요.
  • 가상 키, 설정, 지출 데이터가 저장된 PostgreSQL 데이터베이스를 백업하세요. main-stable 태그는 계속 바뀌므로 재배포 전에 릴리스 노트를 확인하거나 버전을 고정하세요. 제공업체 추론 요금은 호스팅 비용과 별도로 청구됩니다.

호스팅 비용

CPU, 메모리, 스토리지, 네트워크 사용량에 따라 요금이 결정됩니다. 리전에 따라 리소스 가격이 달라지며 다중 서비스 템플릿은 서비스별 사용량이 발생합니다. 외부 API와 소프트웨어 라이선스는 별도입니다.

요금과 리소스 비용 예상 보기

출처와 검증

이 배포 구성은 Coolify의 Apache-2.0 공개 템플릿 모음에서 가져와 Polyer Compose 가져오기 도구로 조정했습니다.

정적 호환성 분석은 실제 앱 검증이 아닙니다. 운영에 사용하기 전에 선택한 구성과 복구 절차를 테스트하세요.

편집 내용 검토일: 2026-10-10

다음 단계 선택