小主机行吗
|
qpingDec 29, 2023
1
没说要什么样的机器,但是说了 Supported OSes and CPUs 和 GPU support
https://github.com/Mozilla-Ocho/llamafile 要不你下了试试? |
|
godmiracleDec 29, 2023
2
我用 m1 就能跑起来。x86 的好像不行,没跑成功
|
|
qpingDec 29, 2023
3
amd 7950x 可以跑,还挺顺畅的
有意思 |
|
bfdhDec 29, 2023
5
i7-12700 Linux 可以跑
|
|
SeanfuckDec 29, 2023
6
貌似是可以直接运行的文件:
AMD64 微处理器必须具有 SSSE3 。否则 llamafile 将打印一个错误并拒绝运行。这意味着,如果你有一个英特尔 CPU ,它需要是英特尔酷睿或更高版本(大约 2006 年以上),如果你有一个 AMD CPU ,那么它需要是推土机或更高版本(大约 2011 年以上)。如果你有一个较新的 AVX CPU ,或者更好的 AVX2 ,那么 llamafile 将利用你的芯片组特性去更快。目前还不支持 AVX512+运行时调度。 话说支持中文吗? |
|
weilongsDec 29, 2023
7
两周前看到这个跑过一下,我用的 MacBook pro 2019 款哪个 intel 的本子跑了一下,提出一个问题风扇就起飞了。体验感觉还不错,我体验了 LLaVA 1.5 和 Mistral 7b 。
|
|
jifenggDec 29, 2023
8
有意思,去体验一下
|
|
titan2022Dec 29, 2023
9
4800H 也能跑,速度不算快 有中文
|
|
paopjianDec 29, 2023
10
用默认模型跑起来崩溃,用 Mistral 试了试,真不错啊,速度也有
|
|
zsh2517Dec 29, 2023
12
NAS 上下完了一个模型,先试了试,可能 D1851 太老了,而且这种活可能本来也不适合 CPU 跑。速度感觉一般,而且没有 stream 模式。晚上拿台式机试试
--- 对话截图 =>  控制台截图 =>  宿主环境 D-1581 32 核 64G ,pve LXC 容器 运行参数 ./llava-v1.5-7b-q4-server.llamafile --host 0.0.0.0 --port 1234 --threads 32 |
|
elonloDec 29, 2023
14
我 windows 都跑起来了。i5-13500H
|
|
NoOneNoBodyDec 29, 2023
15
|
|
Rache1Dec 29, 2023
16
速度还行,就是不知道为啥,有时候会卡住 😂
|
|
ioldDec 29, 2023
17
|