Omnious

本內容由 RD AI 生成，僅供參考

Omnious 是一個基於 LLM 推理的詢價市場。運行開放權重模型（例如 Llama、Qwen、DeepSeek 和 Mistral）的公司會將已簽署的報價流傳輸到路由器。當用戶發送查詢時，路由器會對所有即時報價進行競價，將用戶的請求授予價格和延遲最優的出價，並將回應串流回伺服器。支付方式採用 USDC，並為生產代理提供預付額度：一次性充值，然後x-credit-key每次請求都進行有界負載授權。