imkuang

@imkuang 500Kbps

@imkuang 我有个自用的 api 中转服务器，前段时间被服务商限速刚好验证过 1Mbps 下（由于中转需要同时处理接收和发送，实际应该等效单向 500Mbps ）的使用情况。
上下文超过 90k 就开始能明显感觉到响应开始变慢，上下文达到 300k 左右直接感觉无法使用了，相同的任务平时 10 分钟就完成了，跑了一个小时还没结束

300Kbps 应该能用，但你大概率会用的很难受，首字响应耗时的很大一部分会花在网络请求上，每次发个消息或者工具调用后都要等很久才有响应。

简单算一下就知道，按 1 个英文字符约等于 0.3 个 token 估计，100k 的纯英文上下文至少需要 333333 个字符，约 325KB （没算 json 请求体中 key 占用等其他消耗，这个估算只少不多），按 300Kbps 的网速计算单单把这些上下文发回给服务器就要约 9s 了，一次任务通常会有几十到上百次的请求，你可以算一下要浪费多少时间在网络传输上。

并且这还只是 100k 上下文，高级点的模型随便几百 k 上下文都是常态了。

把文件和用来查找文件的工具（ grep 、sed 、find 之类的）给它让它自己找就行，ai 会自己分析了解文件结构、按关键字搜索，不用把文件一次性全部贴到上下文里

@imkuang 全在老登里🧐

这才到哪，今天我 6 支个股 3 个 etf 就绿了一个，不过至今都还没有回完 6 月的亏损

Cloudflare 前段时间推出了一个 Cloudflare Drop 的功能，基本跟你这个覆盖的场景一模一样，，，

会拦截的，用一段时间就会直接给你重置连接了，可能是因为 https 要检测 sni ，会有些延迟

@ayang23 那大概率是你的代理模式的匹配规则没有匹配到它对应的请求了。
我是自从 6 月份切换计费方式，3 天轻度使用干完我一个月的用量后就取消续费了