每次调用都走同一条路:先判额度,再转发上游,最后记一行台账。不用各家厂商分别申请 Key,也不用自己记账。
开发者 Key 或 Nexus 应用票据,用 OpenAI SDK,改 base_url 即可。成员通过应用使用,不直接拿 Key。
应用的清单限定可用的模型,并设每日 token 与月度预算;用完返回 quota_exhausted,到点恢复。
对话、视觉、语音转写、实时转写、调度分类五类模态转发给上游厂商;提示词与回复只过境,不落库。
公司、Key、模型、token 或音频秒数、成本;只记数字,不记内容。成本按调用当时的厂商价目写入,之后价目变动不改历史。
Supported LLMs8 个模型、5 类模态。目录公开可查,并标出每个模型的上游是否已配置。
LLM-provider compatible APIs对话、音频转写、实时转写、物体检测、调度决策,共 7 条路由,基地址 /api/v1/models。
Compute usage今天、本月、累计,按应用、Key、模型、天拆开,含月底预测与预算;每台设备有自己的用量。金额是美元标价,不是发票。
LLM capacity management开发者 Key 每分钟 120 次;应用可设每访客每分钟次数、全体访客每日 token、每日实时转写场数和月度美元预算。
/console/<cell>/models在 Console 里改一个智能体在用的模型,也能把一批业务智能体切到同一个模型;每次切换都进 Action Log。
/engine/<cell>组织在 Engine 里统一管理智能体的回复规范(有版本的提示词与回复模板)、模型、推理强度和预载的 skill。先用草稿和真智能体试一轮,再应用到一个、几个或全部智能体;每次应用都能撤销。
Engine 不是一个产品专属的功能,而是底座:下面每一行都是今天线上真实在用的方式。
| 产品 | 怎么用 Engine |
|---|---|
Adis | 设备 Key 走 Agent Key 网关里的直连管线调用模型,每次对话逐次计量,设备自己能看今天、本月和累计的用量。 |
Harness | 节点上的智能体配一个 OpenAI 兼容的 provider,指向 Model API 即可;Console 里能按智能体切换模型。 |
Mirror | 视觉走同一个入口:物体检测与瑕疵检测用视觉模型出框、判定。 |
Developer | 应用用 model SDK 调用,清单里写明可用的模型和每日额度;用满返回 429。 |
Semantic | 应用里的自进化(evolve)让模型起草对语义定义的提案,由人采纳后才生效,按公司计费。 |
每个产品管一段,用同一套本体、同一套权限、同一批模型。点开任何一个,看它在你们公司里会做什么。
能。私有化模型是一种定价与交付方案,有三种部署方式:你自己的 AWS 账号、AIDC 托管的专属机器,或你的机房。见私有化方案。
调用公有云模型时,提示词与回复会经 AIDC 在新加坡区域的函数转发给上游厂商,只过境、不落库;台账只记数字,不记内容。需要数据不出厂的,请先评估私有化方案。
按调用逐次计量,成本按调用当时的厂商价目写入;token 按厂商价 1:1,不加价,详见定价。金额是美元标价,不是发票。
会有短暂的重启:在 Console 里切换一个智能体的模型,会回收它的网关进程再拉起;批量切换时,还会暂时锁定它们的定时任务。每次切换都进 Action Log。