@Ketteiron #9

我之前还真尝试看过 danbooru 的代码。不过我放弃了，看不懂 Ruby ，尝试让 GitHub Copilot 给我找标签搜索相关的代码好像也不太对劲。ehentai 对搜索的标签数量有很大的限制吧？我希望搜索就算不到 100 个最少也得 50 个比较好，而且还是全 OR 连接的比较多。再加上单个内容最大三万标签，我怕这个组合会出现非线性的资源需求增长，就是横纵扩展服务器都难以解决。那样的话初期用户很开心，并且用习惯了的话，后期数据量大了用户变得失望我感觉我的站就会烂掉了。

在这种事上我不太敢乐观，毕竟我没见过类似像我这么用的，而且如果最终出岔子了，我的整个站都可能会出问题。所谓的如果失败的损失很大就悲观，如果失败的损失不大就乐观。公开下载数据这种大杀器我还是不太想用。就算我基本不想赚钱，这招也会有其他的坏处。

ehentai 开源吗？我没搜到。或者有点大致的实现思路的也行，这个我也没搜到。

我之前对 deepseek 的回答一般都是比较怀疑的，不过我以后还是听你的减少问这种设计方面的技术问题吧。但是类似找轮子之类的问题我还是比较信任 deepseek 的，它都不知道的话我自己基本就不会找了。

@Ketteiron #6

大佬如果你愿意回复的话别回复我 7 楼问的那些问题了。我又改变主意了。我想目前只关注传统的（内容 id ，标签 id ）的实现方式了。更高效的搜索以后再说。因我我发现 deepseek 说 intarray 实现的标签系统也不支持频繁的写入。然后我前面说的后期没多少时间也许可以通过敏捷开发解决一点。实在不行我还有大杀器，公开下载数据，允许用户本地给自己搜索或者帮别人搜索。我基本没有靠这个赚钱的想法，所以应该有更多的应对方法。

我现在主要想知道为了高效实现复杂标签查询，有哪些可以 tradeoff 掉的特性？我问过 deepseek 了，它给了一些东西： https://chat.deepseek.com/share/0nxwlfnzszgo9ps8va 。不知道大佬有没有什么补充的？或者能不能给个比较好的 tradeoff 方案？如果不能的话，我就只能各种方案同时测试试出比较好的方案了。我目前比较看好的是 pg_roaringbitmap 放到从服务器上，然后从服务器可写，deepseek 说从服务器可以写。然后每天夜里自动将前一天更新的（内容 id ，标签 id ）内容批量写入到一个带 roaringbitmap 的表里。deepseek 说可以。

@Ketteiron #6

大佬不想回就不用会了，一直白嫖你的回复挺不好意思的。

大佬你把我 san 值搞低了。因此我基本决定将来把这东西搞到一个单独的服务器里跟其他实验性的功能坐一桌了。我计划主服务器只放置一些核心、稳定的功能。实验性的服务器放置一些非核心、不稳定的功能，并进行名声最不好的那种敏捷开发。

我的需求复杂读确实多，写应该也不少。但是我刚才测试 update 只有五毫秒，这应该不算高吧？ 3333 行，每行的 roaringbitmap 三万元素。元素代表的标签一共 4500 种。deepseek 说一到十秒都正常，我没搜到多少正常。我懒得自己测试所谓的正常更新时间，感觉变数太多。

我没用 intarray 插件，就是普通的 integer[] 类型加个 GIN 索引。我先去测试 intarray 插件的性能了。另外看你的回复我隐约觉得 intarray 只擅长查询全部包含一系列标签的内容。我会测试这个。我之前别的测试完全没测试这个，看来大概率要全重测一遍。

另外附上我计划的一种查询（ AI 生成的）：

WITH target_tags AS (
SELECT tag_bitmap FROM content_tag_bitmaps WHERE content_id = 123 -- 这个忘了让 AI 限制搜索的元素的个数了，不过我记得好像加不加限制速度都差不多。
)
SELECT
content_id,
rb_cardinality(rb_and(tag_bitmap, (SELECT tag_bitmap FROM target_tags))) AS common_tag_count
FROM
content_tag_bitmaps
WHERE
content_id != 123
AND rb_and_cardinality(tag_bitmap, (SELECT tag_bitmap FROM target_tags)) > 0
ORDER BY
common_tag_count DESC
LIMIT 10;

@Ketteiron #1 我问过 deepseek 了，它说 content_tag_bitmaps 不用索引全表扫描也会比（标签 id ，内容 id ）复合索引快。确实快了，某种数据分布只有二十分之一。不同的数据分布指每个内容的标签量，内容量和独立标签量。内容数量和每个内容的标签量的乘积是固定的，独立标签量是内容最大标签量的 1.5 倍。某种数据分布（标签 id ，内容 id ）复合索引 11 秒多，pg_roaringbitmap 598 毫秒。不过我才反应过来这个优势好像没什么用？是我不想用的数据分布。我想用的数据分布 pg_roaringbitmap 好像还比符合索引慢点？我这坑爹的脑子之前怎么没发现这个问题？我用了它给的同时用两个表的 SQL ，还没有单独用一个表的快。不过可能是标签分布的原因。我测试的数据是所有标签的使用率应该都是二分之三。我还要进行很多无聊的性能测试。再次感谢吧，如果没有你的质疑我可能会很晚才发现问题。

@shendaowu #2 搜索时间达到（标签 id ，内容 id ）复合索引的二十分之一。不是速度。我怎么就管不住我这手呢？

@Ketteiron #1

我试过数组类型 + GIN 实现标签，效率跟（标签 id ，内容 id ）复合索引比效率好像没差多少。不知道是不是我没弄明白。或者你说的是用 jsonb ？

我也就现在时间多点，后期我就没多少时间开发网站了。后期我要搞钱养活自己，每天不会分出多少时间维护网站。所以我想让网站抗造一点。

@Ketteiron #1 我才发现我好像是轻信 deepseek 了，它给我的 SQL 代码里根本就没用 tag_content_bitmaps 。它给我解释说它用那个 tag_content_bitmaps 做索引我就信了，没细看。不过没索引查询速度也能达到（标签 id ，内容 id ）复合索引的二十分之一我也是醉了。这个时间的降低好像更麻痹我了。我再去拷问一下 deepseek 。感谢大佬。

@CEBBCAT #5

白皮书太高大上了，我感觉我写不出来。我看过一些白皮书。

但是我确实写过一些半系统的介绍我的点子的东西。有兴趣点我本站 ID 到我的 GitHub 首页上看我的那个 Pinned 的项目。我怕站长会自动统计每个用户经常发的链接，然后自动屏蔽那些链接甚至降权封号。我记得我好像发过几次了。

另外过了这么长时间我的很多构想都变了。GitHub 上的介绍有点过时了。我简单提几个。最重要的就是我目前基本确定要提高最大标签数限制了。因为 pg_roaringbitmap 的效果好像不错，不过我还不放心，还需要继续测试一下。然后就是推荐一系列相关的推荐的时候不会一点一点挤牙膏了，会一下子全推荐过去。前者实现起来太费劲，我可能是受推荐系统的影响，没转过来弯。还有一点是我现在明确区分了实际的现象和规律以及录入到网站的现象和规律。虽然我之前就感觉这二者不同，但是没有命名。

@CEBBCAT 你说像指的是形式上像还是内容上像？内容上像的话能谈谈吗？比如你后来为什么相信行不通的？形式和内容意会吧，我感觉跟网上搜到的意思差不多。我想不到更准确的词。

@CEBBCAT 很难醒了。我估计除了运营个十年也没什么效果我是不会醒的。另外不用担心我，我目前计划是尽快写出来，然后以后就用业余时间运营。我问过 deepseek ，它没说出跟我的想法类似的网站。

@AutumnVerse #11 问题是我的花活是一般人强烈不建议的。他要是个点查我才不会管。我怕它出现类似组合爆炸的问题。我只是个野生程序员，我的直觉和经验都不够，不敢猜和想。

@ntedshen #8 不是。我主要是怕我那个花活根本就支撑不了多大的数据量，我主要不是为了优化性能。我没说明白。

@CEBBCAT 性能测试，标题里说了。具体是正文第二段链接里的那个东西。

我能。我可以不要一分钱，前提是我能凑合活。不过我现在没有能力鉴别投资人，我听说某些投资人就是为了私利投资，根本就不在乎项目的死活。就算有公开的投资信息我估计我也看不懂，另外就是有些信息可能被刻意隐瞒了。所以我选择自己干。慢就慢点吧，总比项目被人糟蹋好。另外我这个项目风险好像挺大的，基本没几个人看好。但是我自己非常愿意拿我的时间赌。

自我感觉跟过去的自己比有提升，有收获，因此对未来有点希望。从过去的趋势预测外来。虽然这个趋势肯定不会一直持续，但是能我会好好享受这个自我感觉上升的过程。

前几天我好像又构思出来一个轮子，感觉自己的创造力还在线，开心。作为大春，我跟别人不一样。我对构思出已经存在的东西完全没有失落感，而是很开心。

遇到的生活问题有很多都能解决。开心。

之前我看过一句话，说的是有个人说如果能让他看几眼未来的科技，他愿意只活很少的时间。我搜过，没搜到出处。我现在就在实现我想看到的某种技术。当然，我强烈怀疑我是在追逐一个虚幻的目标。我的一个朋友也这么说我。但是我实在是放不下这个目标。另外我在追逐这个目标的过程中培养了很多能力。虽然没有能直接赚钱的能力。这个目标给我带来的美好感觉一直是我的动力源泉。整体来说感觉与自己的梦想越来越近了也挺幸福的。当然过程是曲折的，有时候也会感觉更远了。比如需要学一些新东西。或者发现某个功能很难比较好地实现，只能凑合弄一下。

我有个比较极端的思维方式，就是有时候会思考如果正在做的事会让我折寿，我还愿不愿意干。可能就是受上段开头的那句话的影响，还有可能也受这段最后那句话里的思想的影响。我相信人做的每件事都是折寿的，你做了这件事就没法做其他事了，相应的时间也扣除了。不知道我这个思维方式是不是有什么大病。我相信我这个思维方式还不是最极端的，跟每天都当成最后一天过比应该还算温和。

我有追逐目标的条件我也算开心。虽然不是很舒服，但是还可以忍受。最近这种难受也缓解了，还算开心。

@Danswerme #1 是。我把的字不小心删掉了。不友善的同时是有用的。

@Sawyerhou #19 我不是在阴阳你，我是真有这方面的困惑，看到你提到这个我想跟你学习学习。你是怎么确定你想要的不是别人想要你想要的？