最近在做一个上下文会很长的垂直领域相关 agent 开发 然后就是遇到用户不想用云端模型 但是又没有大资金去部署满血模型 所以就在研究小模型超长上下文和召回相关的方案
做的同时就想到在 coding 领域 其实很多内容也不需要智力特别满血 如果规范好限制 小模型能够满足上下文的长度 然后做一个针对小模型的 codingagent 貌似以后会是一个不错的方向 虽然现在 token 价格已经有很低了的 但是我考虑到的是 本地部署才是最有保障的 现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢? 所以我感觉研究本地方案 就算智力不够 只要能代工就算 甚至说是 其实现在小模型做好优化 和 程序上的框架逻辑的调整 我认为目前小模型 coding 是没什么问题的 不知道各位有什么见解 可以交流一下的 或者一起去做这样一个事情的
类似这个项目 https://github.com/alexzhang13/rlm
做的同时就想到在 coding 领域 其实很多内容也不需要智力特别满血 如果规范好限制 小模型能够满足上下文的长度 然后做一个针对小模型的 codingagent 貌似以后会是一个不错的方向 虽然现在 token 价格已经有很低了的 但是我考虑到的是 本地部署才是最有保障的 现在人对 ai 依赖太强大了 万一线上模型都掐死 那个时候会不会束手无策呢? 所以我感觉研究本地方案 就算智力不够 只要能代工就算 甚至说是 其实现在小模型做好优化 和 程序上的框架逻辑的调整 我认为目前小模型 coding 是没什么问题的 不知道各位有什么见解 可以交流一下的 或者一起去做这样一个事情的
类似这个项目 https://github.com/alexzhang13/rlm