Star 7.8k+ 开源、好用自托管，这个工具不火都难？

今天介绍一款开源工业级LLM运维平台

      家人们，今天给大家介绍是一款 工业级开源 LLM（大语言模型）运维平台 - TensorZero，它把“调用模型”、“收集反馈”、“优化调参”到“上线部署”都整合在一起，帮助团队快速把 LLM 产品从实验变成可迭代、可监控、可优化的生产系统，而且完全自托管，没有付费订阅！

应用相关截图

应用特性

部署方式

推荐使用 Docker Compose，5 分钟快速起一个完整环境（包括 Gateway、ClickHouse 和 UI）：

version: "3.8"
services:
  clickhouse:
    image: clickhouse/clickhouse-server:24.12-alpine
    environment:
      - CLICKHOUSE_USER=chuser
      - CLICKHOUSE_DEFAULT_ACCESS_MANAGEMENT=1
      - CLICKHOUSE_PASSWORD=chpassword
    ports:
      - "8123:8123"

  gateway:
    image: tensorzero/gateway
    volumes:
      - ./config:/app/config:ro
    environment:
      - TENSORZERO_CLICKHOUSE_URL=http://chuser:chpassword@clickhouse:8123/tensorzero
      - OPENAI_API_KEY=${OPENAI_API_KEY}
    ports:
      - "3000:3000"
    depends_on:
      clickhouse:
        condition: service_healthy

  ui:
    image: tensorzero/ui
    volumes:
      - ./config:/app/config:ro
    environment:
      - OPENAI_API_KEY=${OPENAI_API_KEY}
      - TENSORZERO_CLICKHOUSE_URL=http://chuser:chpassword@clickhouse:8123/tensorzero
      - TENSORZERO_GATEWAY_URL=http://gateway:3000
    ports:
      - "4000:4000"
    depends_on:
      clickhouse:
        condition: service_healthy

然后：

curl -LO https://raw.githubusercontent.com/tensorzero/tensorzero/main/examples/quickstart/docker-compose.yml
docker compose up -d

访问 http://localhost:4000，就能看到 Dashboard 和调优界面了。