語言EN
首頁
文件
參考 / Provider 與 Model

Provider 與 Model

Heddle 支援廣泛的 model families:OpenAI、Anthropic、本地 Ollama、本地 OpenAI-compatible servers、自架 vLLM,以及 Hugging Face、OpenRouter、Together AI、Groq 等 hosted gateways。設定一個 provider 後,就能透過 CLI flag、terminal slash command 或瀏覽器控制選擇 model。

Provider-family compatibility matrix 請看 Model Providers。

Provider access

OpenAI account sign-in

heddle auth login openai

實驗性的 user-selected ChatGPT/Codex account transport。這不是 OpenAI 官方支援。

OpenAI Platform API key

export OPENAI_API_KEY=your_key_here

穩定的 API-key path,也是 hosted web search 與 drift embedding 所需的模式。

Anthropic API key

export ANTHROPIC_API_KEY=your_key_here

Claude model 使用這個方式。Heddle 不支援 Anthropic consumer subscription OAuth。

本地 Ollama

ollama list heddle --model ollama/llama3.2:latest ask "Reply with exactly: ok"

透過 Ollama 的本地 OpenAI-compatible endpoint 執行。不需要 hosted provider API key。

本地 OpenAI-compatible servers

heddle --model lmstudio/local-model ask "Reply with exactly: ok" heddle --model vllm/meta-llama/Llama-3.3-70B-Instruct ask "Reply with exactly: ok"

透過 lmstudio/、litellm/、vllm/ 等 prefix 使用 LM Studio、LiteLLM 或 vLLM。

Hosted OpenAI-compatible gateways

export OPENROUTER_API_KEY=your_key_here heddle --model openrouter/meta-llama/llama-3.3-70b-instruct ask "Reply with exactly: ok"

透過 provider API key 與 prefix 使用 Hugging Face、OpenRouter、Together AI 或 Groq。

Credential commands

heddle auth status
heddle auth login openai
heddle auth login openai --no-browser
heddle auth logout openai

Terminal chat 內也有相同的 auth surface:/auth、/auth status、/auth login openai 與 /auth logout openai。

Default models

OpenAI default

gpt-5.1-codex

Anthropic default

claude-sonnet-4-6

OpenAI-compatible defaults

沒有 hardcoded default。請選擇 provider-prefixed model,例如 ollama/<model>、lmstudio/<model>、openrouter/<model>、together/<model> 或 groq/<model>。

選擇 model

heddle --model gpt-5.4-mini
heddle chat --model claude-3-5-haiku-latest
heddle --model ollama/llama3.2:latest ask "Summarize this repository"
heddle --model lmstudio/local-model ask "Summarize this repository"
heddle --model openrouter/meta-llama/llama-3.3-70b-instruct ask "Summarize this repository"

/model
/model list
/model set <query>
/model <name>
/model ollama/llama3.2:latest
/model lmstudio/local-model
/model openrouter/meta-llama/llama-3.3-70b-instruct

當 profiled provider 可連線時,/model set 與 browser model selector 會顯示從該 provider 發現的 models。Ollama 使用本地 Ollama API;其他 OpenAI-compatible profiles 使用 /models。Chat footer 與 browser composer footer 會顯示所選 model 的 active auth source。

Model 品質注意事項

Model 品質取決於 model family、參數量、quantization、provider routing,以及執行 model 的硬體或服務。有些較小、較舊、本地或 routing 較激進的 models 適合實驗,但不一定能可靠處理 coding-agent tool use。

  • 可能漏掉 tool call,或產生格式錯誤的 tool call。
  • 可能正確呼叫工具,卻忽略 tool result。
  • 可能對程式碼庫給出有信心但錯誤的摘要。
  • 可能執行太慢而觸發 host request timeout。

重要程式碼修改請保留 approval prompts,仔細 review trace 與 diff;當 tool-calling 品質很重要時,請使用更強的本地或 hosted model。

OpenAI account sign-in support

OpenAI account sign-in 只限於 Heddle 已明確允許走 ChatGPT/Codex transport path 的 model。其他 OpenAI Platform model,或需要 API-key mode 的 feature,請使用 OPENAI_API_KEY。

gpt-5.1-codex
gpt-5.1-codex-max
gpt-5.1-codex-mini
gpt-5.2
gpt-5.2-codex
gpt-5.3-codex
gpt-5.3-codex-spark
gpt-5.4
gpt-5.4-mini
gpt-5.5

重要注意事項

  • 如果 OpenAI OAuth 與 API key 都可用,Heddle 預設偏好 OAuth。
  • 使用 --prefer-api-key 可強制 run、ask command 或 daemon session 走 Platform API-key mode。
  • Hosted web search 與 drift embedding 目前需要 OpenAI Platform API-key mode。
  • Provider prefix 包含 ollama/、lmstudio/、litellm/、vllm/、huggingface/ 或 hf/、openrouter/、together/、groq/。
  • 如果 local server 不在預設 endpoint,可用 OLLAMA_OPENAI_BASE_URL、LMSTUDIO_OPENAI_BASE_URL、LITELLM_OPENAI_BASE_URL 或 VLLM_OPENAI_BASE_URL 覆寫。
  • Hosted gateways 使用 HF_TOKEN、OPENROUTER_API_KEY、TOGETHER_API_KEY、GROQ_API_KEY 等 API keys。
  • Provider inference 會辨識 Gemini model name,但 Google adapter 尚未接上。