jinsongzhaocn

现在有 AI Coding, 它会和你一直同行，不用奢望有人会和你一直同行。

大家怎么不是关注 toB 创业，而且是 AI 偏高端企业，首先是有多少企业会找你买？企业采购，靠投放广告基本没用的。

谷歌发布的模型参数规模都是小型的，发展程度估计和国内模型一样，绝对不超过 2T 。这种知识量的模型，都不适合从零创建复杂的完整应用，也不适合许愿式编程。但是都和国内模型一样，攻克的是长程小任务，代码修改，识图，视频，音频等等。

我本机的 zx-bench 数据和上图区别是 flash_next 编程的比 27b 差，但是安全比 27b 高。

@liuhuanting 不错，你这个数据比我好，可能 CPU 和内存比较老的发挥不出 flash_next 的能力。

@hashtag 索性分享我自用的配置，4090 24GB,64GB 内存，双 CPU 相关配置--cpuset-cpus=0-23 --cpuset-mems=0,1 和内存相关配置--cache-ram 49152 ，需要根据实际情况设置，否则不能均匀加载各自 CPU 控制的内存
@iorilu Qwen3.8-27B-Uncensored-Q4_K_S.gguf 这个模型就是逾越

如果用 Q4_K_M 模型，就得去掉--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.6 ，否则显存不够。

docker run -d --name qwen3.8-27b-coder \
--restart unless-stopped \
--gpus all \
-p 8100:8000 \
-v /home/tab/docs/vllm_model/orcarouter:/model \
--health-cmd="bash -c 'exec 3<>/dev/tcp/localhost/8000 && printf \"GET /health HTTP/1.0\r\n\r\n\" >&3 && head -n1 <&3 | grep -q 200'" \
--health-interval=30s --health-timeout=5s --health-retries=3 --health-start-period=180s \
--cpuset-cpus=0-23 --cpuset-mems=0,1 \
--ulimit memlock=-1 \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-m /model/Qwen3.8-27B-Uncensored-Q4_K_S.gguf \
--alias Qwen-Coder \
--parallel 1 \
--n-gpu-layers 999 \
--flash-attn on \
--split-mode none \
--temp 0.7 --top-k 40 --top-p 0.95 --min-p 0.01 --presence-penalty 0.0 \
--jinja --chat-template-file /model/chat_template.jinja --reasoning-format deepseek \
--no-mmproj-offload --mmproj /model/mmproj-Qwen3.8-27B-Uncensored-f16.gguf --image-min-tokens 1024 --image-max-tokens 4096 \
--reasoning on --reasoning-preserve \
--cache-ram 49152 \
--load-mode mlock \
-t 24 -tb 24 \
--host 0.0.0.0 --port 8000 \
--cors-origins "http://localhost,http://127.0.0.1" \
--metrics \
-fit off \
--ctx-size 204800 \
--n-predict -1 \
--cache-type-k q8_0 --cache-type-v q8_0 \
--spec-type draft-mtp,ngram-mod \
--spec-draft-n-max 2 --spec-draft-p-min 0.6 \
--spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 8 --spec-ngram-mod-n-max 32 \
--batch-size 1024 --ubatch-size 256

哎~，收入总是和掌控的资源相关。想想也是，哪怕手里那份工作也是资源，公司裁员要付出成本，这是国家社会给的最低保障，确保每个人都能获得一个保底的资源。

deno desktop 刚 beta 就丢给社区了？看起是把桌面版打包也包揽了