 |
liuxu🏢 个人开发者 V2EX member #62234, joined on 2014-05-09 03:02:29 +08:00Today's activity rank 8401 |
 |
Per liuxu's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
liuxu's recent replies
7h 53m ago Replied to a topic by uni › OpenAI › gpt plus 会员，网页聊天都降智了，怎么解决 |
换 claude code
1 day ago Replied to a topic by fankcoder › 程序员 › 我的 v 站余额是什么水平？ |
V2EX 第 62234 号会员，加入于 2014-05-09 03:02:29 +08:00
1G43S15B
1G43S15B
3 days ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
@AlexaZhou 还有个很核心的需求，有很多上游的时候，上游的 response 返回时间不一，质量参差不齐，高峰和闲时返回速度也不一样，现在一直等着第一个超时，太占用总时间了
能不能自行设置一个并行数发送上游，优先返回第一个，同时前 20%放到 memory 中的 lru （或其他内存模型），下次优先选它们+一点探测不断更新 lru ，这样既可以保证亲合度稳定被 lru 优先返回，同时还能提供模型首 token 速度
能不能自行设置一个并行数发送上游，优先返回第一个，同时前 20%放到 memory 中的 lru （或其他内存模型），下次优先选它们+一点探测不断更新 lru ，这样既可以保证亲合度稳定被 lru 优先返回，同时还能提供模型首 token 速度
4 days ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
prompt_cache_key 是什么特性，模型选择“首选可用”，配置了 1 个账号，有多个上游，现在一直命中第一个，即使第一个返回错误，也没有切到第二个上游。用 docker 部署的 latest
这是上游的 response：
{
"type": "response.failed",
"response": {
"id": "resp_05213572943d5c61016aa794c408a887d0b53591e0b90bc990",
"object": "response",
"created_at": 1789367492,
"status": "failed",
"background": false,
"completed_at": null,
"error": {
"code": "server_error",
"message": "Our servers are currently overloaded. Please try again later."
},
"frequency_penalty": 0,
"max_tool_calls": null,
"model": "gpt-5.6-terra",
"moderation": null,
"presence_penalty": 0,
"previous_response_id": null,
"prompt_cache_key": "3ac9a2e42f9ce975",
"prompt_cache_retention": "24h",
"safety_identifier": "user-FUNwHz0HFakp",
"service_tier": "default",
"store": false,
"temperature": 1,
"tool_usage": {
"image_gen": {
"input_tokens": 0,
"input_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"total_tokens": 0
},
"web_search": {
"num_requests": 0
}
},
"top_logprobs": 0,
"top_p": 0.98,
"user": null
},
"sequence_number": 4
}
这是上游的 response：
{
"type": "response.failed",
"response": {
"id": "resp_05213572943d5c61016aa794c408a887d0b53591e0b90bc990",
"object": "response",
"created_at": 1789367492,
"status": "failed",
"background": false,
"completed_at": null,
"error": {
"code": "server_error",
"message": "Our servers are currently overloaded. Please try again later."
},
"frequency_penalty": 0,
"max_tool_calls": null,
"model": "gpt-5.6-terra",
"moderation": null,
"presence_penalty": 0,
"previous_response_id": null,
"prompt_cache_key": "3ac9a2e42f9ce975",
"prompt_cache_retention": "24h",
"safety_identifier": "user-FUNwHz0HFakp",
"service_tier": "default",
"store": false,
"temperature": 1,
"tool_usage": {
"image_gen": {
"input_tokens": 0,
"input_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"total_tokens": 0
},
"web_search": {
"num_requests": 0
}
},
"top_logprobs": 0,
"top_p": 0.98,
"user": null
},
"sequence_number": 4
}
4 days ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
好东西，已 star
7 days ago Replied to a topic by arrayxiangxiang › 程序员 › 大 token 用户一般除了砸钱，还能咋办，存粹个人用 |
你建的这个中转站上游上自建号池吗
10 days ago Replied to a topic by at5pm › 推广 › [YAN+] 新站上线内测，注册用户每人送 10 刀（暂不支持充值，赠送额度用完可以找群主再要），支持 gpt-6-astra， GPT 最低 0.1×， DeepSeek V4 0.25×， GLM-5.3-Flash 0.25× |
id: 373 谢谢老板
10 days ago Replied to a topic by shanghui › 程序员 › gpt pro 20x 找个车队 希望没有日限额 |
这种峰值类需求得上中转站
10 days ago Replied to a topic by lxxzml › 程序员 › gpt pro 20x 4 人车 缺 2 人上车 |
是￥ 300 人每月，$550 每周吗
Select Language