V2EX › paranoiagu 的所有回复 › 第 1 页 / 共 62 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 62

❮

❯

5 天前

回复了 xgq89757 创建的主题 › 问与答 › 还有人折腾双路主机吗？

关键中的关键，内存太贵了

9 月 17 日

回复了 f1197199424 创建的主题 › 问与答 › 想问一下， 19.99， 29.99 美元，到底在发达国家普通人消费算多吗？花费这么多，相当于用人名币买什么？真的是不了解发达国家人的消费观念。不要用汇率直接算人名币结果。

忽略货币类型就行。

8 月 31 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

@SSang 有没有试过 dflash2 加速？

8 月 31 日

回复了 lizhq 创建的主题 › Oracle › Always Free A1 Resource Limit Update 已经全员通知了

@taofu 应该没影响吧，我删掉了，反正没啥有用的数据。

8 月 28 日

回复了 Livid 创建的主题 › Wunder › 新增模型支持 glm-5.3-flash

才发现窗口是 5 小时，一直以为是 1 天😳

8 月 27 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

@nosugar 我测试结果是并行*2 ，后
上下文/2 ，所以我为了长上下文，并行改为 1

8 月 27 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

@nosugar bf16 ，v100 不支持，写程序的话，256K 还是有必要的

8 月 27 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

@jinsongzhaocn q8_0 会爆显存，除非降上下文

8 月 27 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

@SSang 看了介绍好像可以 awq 量化模型，但是有人反应上下文不够长，我今天试试

8 月 26 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

楼主，今天我看到这个，你试过吗？

1CatAI/1Cat-vLLM: V100 / SM70-focused vLLM engineering fork for modern LLM inference. https://share.google/ltDrm9bzMUKScR6xR

8 月 26 日

回复了 crc8 创建的主题 › 程序员 › 证书的价格为啥相差这么大？

我也觉得很奇怪，为撒差距这么大。
顺便做个广告，我有 Global sign 官方的渠道，价格肯定比外面便宜。需要可以联系我。

8 月 26 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates

用了这个才能在 Claude code 中调用

8 月 26 日

回复了 SSang 创建的主题 › 程序员 › 32G 显存 Qwen3.8-27B-GGUF 配置分享

我也分享一下我的。
以下是 7900XTX 24G 的

nohup ./build/bin/llama-server \
-hf unsloth/Qwen3.8-27B-GGUF:UD-IQ4_XS \
--ctx-size 262144 \
--parallel 1 \
--n-gpu-layers 999 \
--flash-attn on \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--split-mode none \
--spec-type draft-mtp \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--presence-penalty 0.0 \
--repeat-penalty 1.0 \
--jinja \
--chat-template-file qwen3.8.jinja \
--reasoning on \
--reasoning-preserve \
--chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
--host 0.0.0.0 \
--port 4086 \
-fit off \
--cache-ram 1024 \
--batch-size 2048 \
--ubatch-size 512 \
--log-file run_Qwen3.8-27B-GGUF-Thinking.log \
> /dev/null 2>&1 &

以下是 2 张 16G V100 的

#!/bin/bash

nohup ./build/bin/llama-server \
-hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \
--parallel 1 \
--ctx-size 262144 \
--split-mode none \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--split-mode tensor \
--spec-type draft-mtp \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--presence_penalty 0.0 \
--repeat_penalty 1.0 \
--jinja \
--chat-template-file /mnt/data/llama.cpp/qwen3.8.jinja \
--reasoning on \
--reasoning-preserve \
-fit off \
--cache-ram 1024 \
--host 0.0.0.0 \
--port 4086 \
--n-gpu-layers 999 \
--chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
--log-file run_Qwen3.8-27B-GGUF-Thinking.log \
> /dev/null 2>&1 &

8 月 25 日

回复了 zzahsjlk 创建的主题 › 智谱 › GLM MAX 套餐如何

现在不需要抢购了吧。反正现在各个厂商，各个套餐都感觉不经用

8 月 25 日

回复了 rafa 创建的主题 › 生活 › 干了件蠢事，拿 WD-40 喷了刹车盘

@BeforeTooLate 这很刑。

8 月 25 日

回复了 laojuelv 创建的主题 › 推广 › miniQMT 即将清退｜“万一免五”证券开户找老倔驴巨靠谱！ #回帖抽 mx anywhere 3s [40 期]

7 月申请国金 qmt ，就被告知 miniqmt 不能用，只能用 qmt 的 python 。

8 月 13 日

回复了 xqk111 创建的主题 › 程序员 › deepseek v4 pro 正式版来了， api 价格大幅上升

@zls3201 opencode go 即使保持 60$ 额度 Flash 涨价后，总的量应该还是会变少。pro 原来只能用$15 的量的话，那太少了。
如果没有高峰时段的说法的话，那也行还行。
静观其变了。