要能用户自己导入书籍 甚至可以导入很多本书,然后让它从所有这些书里找,能实现不?
要能用户自己导入书籍 甚至可以导入很多本书,然后让它从所有这些书里找,能实现不?

|
IanGMar 27, 2024
1
现在很多支持文档上传的 都支持了,kimi,minimax,讯飞
向量搜索+ai 解读 |
|
2
@183387594 OK 谢谢
|
|
3
|
|
IanGMar 27, 2024
4
@senlinmuvs 3l ,是的 有向量化的接口 可以本地做知识库 再结合他们的接口
|
|
5
@183387594 要是有能完全在本地跑的就好了 就一个单机软件 导入 然后分析
|
|
MapleEveMar 28, 2024
6
@senlinmuvs 本地可以,训练千亿级大模型先准备几百万的设备就行。就算花钱云上微调训练也要大几千上万
|
|
7
@MapleEve 把那些训练好的模型打包进单机软件 再用来分析固定的文本 就不需要这么复杂吧
|
|
MapleEveMar 28, 2024
8
@senlinmuvs 你先明白本地要跑起来训练好的模型需要多大的显存,然后再搞明白 finetune 需要多大的显存。本地不是不能跑,是你的电脑跑不了。
|
|
9
@MapleEve 哦 那不了解 跑起来大概是要多大配置呢
|
|
ywkkMar 28, 2024
10
@senlinmuvs 你不了解,你以为打包的仅是这本书的内容,其实你需要打包的是理解这本书的大脑,也就是大模型本身,千亿大模型需要什么配置,你的本地化就需要什么配置。
|
|
11
@ywkk 我说的就是打包大脑要多大配置呢 有固定场景的大脑应该比那些通用智能的大脑需要的应该是简化些的 现在没有 以后应该会出现
|
|
12
@ywkk 那个啥文生图的不是就有本地的方案吗
|
|
MapleEveMar 29, 2024
13
@senlinmuvs 得了吧,什么都不懂,能跑得动千亿大模型的集群硬件成本就是大几百万。
本地能跑的那些都是玩具。 |
|
14
@MapleEve 现在那些线上的不也是玩具 世界上第一台电脑还有房子那么大呢
|
|
MapleEveMar 31, 2024 via iPhone
15
@senlinmuvs 是的你说得对,所以你去造一台出来吧
|
|
16
|
|
17
@MapleEve 看你博客了 啥都往网上放
|
|
MapleEveApr 1, 2024
18
@senlinmuvs 笑了,7B 模型有锤子用,Grok 跑起来要 200G 显存也是个垃圾。
你先看明白电脑跑 100B 模型要什么配置再说吧,什么都不懂,别人指出你的理解有问题还杠。 你说的都对,你自己去部署了试试吧。 |
|
19
@MapleEve 行吧 想必你是想得这么个回复:“你厉害呢”
|
|
ruike2Apr 1, 2024
20
这就不得不提及这个 AI 工具网址大全了: https://aitool8.com/
|
|
MapleEveApr 1, 2024
21
@ruike2 太不全了,Claude 、PoE 、Openrouter 一类的没有,国内的深度求索、Kimi ,GLM4 也没有
贴主想要的就是白嫖那种几百万字知识库微调的模型,不过各大厂商也不是傻子,就算你用阿里云、智谱的微调训练,以几百万字来算的话,也是要几千块的。 |
|
22
@ruike2 先收藏以备后用
|
|
mmdsunApr 6, 2024 via iPhone
24
@MapleEve 这种就是 RAG 。书本地存向量数据库,提问先搜向量数据库,返回相似度高的结果喂给 AI 就行。本地完全可以。看好几个 v 友都是这么玩的。跑向量数据库不需要太好配置。
|
|
ruotongyuApr 23, 2025
25
我开发过类似的工具,你这个用途是啥呢?
|