爱意满满的作品展示区。
Justin3go

做了一个阿里云盘的搜索引擎

  •  9
     
  •   Justin3go · Sep 1, 2023 · 14863 views
    This topic created in 1159 days ago, the information mentioned may be changed or developed.

    做了一个阿里云盘的搜索引擎,体验地址pan.justin3go.com

    技术细节可以看这两篇文章

    1. 你来你也可以做一个网盘搜索引擎
    2. 浅谈搜索引擎原理

    简化了很多搜索引擎的复杂策略,但也算是一个微型搜索引擎了

    Supplement 1  ·  Sep 14, 2023
    优化了一波搜索建议,就是搜索框的下拉框,以及一些小 BUG 的修复,欢迎各位尝试。
    120 replies  •  2024-04-30 10:42:24 +08:00
    1  2  
    ❮ ❯
    ryansvn
    ryansvn
    Sep 1, 2023
    1
    试用一下 ,感谢提供
    opengps
    opengps
    Sep 1, 2023
    2
    主网站开场动画相当炫酷!
    monkeyWie
    monkeyWie
    Sep 1, 2023
    3
    挺好的,收藏一波
    lvtuyukuai
    lvtuyukuai
    Sep 1, 2023
    4
    挺好用的
    Cosmic4764
    Cosmic4764
    Sep 1, 2023
    5
    为什么返回结果这么快?牛逼哎
    yelog
    yelog
    Sep 1, 2023
    6
    牛的, 收藏了
    quotationm
    quotationm
    Sep 1, 2023
    7
    分页按钮在手机上显示不出来,14pm
    lvtuyukuai
    lvtuyukuai
    Sep 1, 2023
    8
    对搜索词也进行了分词吗?我搜“冰血暴”,结果都是包含“冰”、“血”、“暴”单字的
    McCall2887
    McCall2887
    Sep 1, 2023
    9
    挺好的,感谢提供
    dooonabe
    dooonabe
    Sep 1, 2023❤️1
    10
    @lvtuyukuai #8 我搜索“双峰”也是这样,没有想要的资源
    SiuKwan
    SiuKwan
    Sep 1, 2023 via iPhone
    11
    感谢提供
    excitedXXX
    excitedXXX
    Sep 1, 2023
    12
    搜索了一下“关于我和鬼”
    返回结果好快啊,牛逼!
    linuxgo
    linuxgo
    Sep 1, 2023
    13
    鼓励丅
    yangwcool
    yangwcool
    Sep 1, 2023
    14
    好东西。网盘搜索引擎有法律风险吗?我是说会不会过一段时间就 404 。
    toan
    toan
    Sep 1, 2023
    15
    不错,感谢提供
    timnottom
    timnottom
    Sep 1, 2023❤️1
    16
    借楼推荐一个聚合网盘、磁力搜索引擎: https://hunhepan.com/

    支持 PC 端(非网页端),安卓端
    NeedforV2
    NeedforV2
    Sep 1, 2023
    17
    速度很快,感谢 OP
    GaryBI1STP
    GaryBI1STP
    Sep 1, 2023 via Android
    18
    速度太快了,牛🐮
    Trinity99
    Trinity99
    Sep 1, 2023
    19
    感谢 op ,提个小建议,能不能显示一下资源的大小,毕竟大家都想看画质高的,阿里云一定要转存了,才能看文件大小
    so2back
    so2back
    Sep 1, 2023
    20
    收藏了
    pengyOne
    pengyOne
    Sep 1, 2023
    21
    返回速度好快啊,牛
    jymsy
    jymsy
    Sep 1, 2023
    22
    中文分词做的不行
    WashFreshFresh
    WashFreshFresh
    Sep 1, 2023
    23
    哇,厉害了,文章思路清晰,看的我也想写个。
    goodryb
    goodryb
    Sep 1, 2023
    24
    iPhone 手机上用,点击跳转就跳转到 APP 主界面,看不到资源
    Henry399
    Henry399
    Sep 1, 2023
    25
    感谢感谢
    linkzz
    linkzz
    Sep 1, 2023
    26
    支持支持
    bjfane
    bjfane
    Sep 1, 2023
    27
    支持,分词有问题,
    itxh
    itxh
    Sep 1, 2023
    28
    这速度真不错,收录到了我的网站: https://www.wangdu.site/software/1317.html ,希望对你有所帮助
    ImmerTry
    ImmerTry
    Sep 1, 2023
    29
    感谢分享,已经使用到
    haozes
    haozes
    Sep 1, 2023
    30
    不错
    ramdava
    ramdava
    Sep 1, 2023
    31
    中文分词,感觉不太行,可以换换试试
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    32
    @lvtuyukuai 嗯,分词器用了 ES 的 ik_max_word ,可能不算常用词汇吧
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    33
    @itxh 谢谢了
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    34
    @opengps 哈哈哈就一个视频放上去了
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    35
    @quotationm 确实有这个问题,后面修复,但优先级不高
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    36
    @yangwcool 不是盈利网站,就纯粹的技术展示
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    37
    @Trinity99 这个不好做,需要请求阿里云盘的接口,容易违规,而我这种就只是类似于搜索的文章
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    38
    @goodryb 不太清楚,手机种链接点击是自动跳转的网盘 APP 的,可能是链接中的资源失效了
    fak111
    fak111
    Sep 1, 2023
    39
    能不能加个阿里双胞胎兄弟夸克的:)
    Justin3go
    Justin3go
    OP
    Sep 1, 2023 via Android
    40
    @fak111 重复性工作了,暂时不打算做,并不盈利,只是想实践一下技术
    amlee
    amlee
    Sep 1, 2023
    41
    做的很好啊,再完善完善可以商业化了
    usauk1998
    usauk1998
    Sep 1, 2023 via Android
    42
    搜不了张学友
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    43
    @amlee 不太敢商业化,就技术分享,免费给大家用吧
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    44
    @usauk1998 爬虫一直在运行,有可能还没收集到,也有可能互联网上没有人分享这个资源
    amlee
    amlee
    Sep 1, 2023
    45
    @Justin3go 能否问下,你做的这个网盘搜索,服务器用的什么配置?
    Equiliu
    Equiliu
    Sep 1, 2023
    46
    不能获取提取码
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    47
    @Equiliu 提取码的获取策略是获取互联网某社区帖子中分享链接附近的,有些没有提供提取码,或者根本不需要提取码,亦或者没有提取码字眼的就没有获取
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    48
    @amlee 4 核 8g ,但没吃满
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    49
    @Justin3go 目前的情况来看,2 核 4g 差不多合适
    amlee
    amlee
    Sep 1, 2023
    50
    @Justin3go scrapy es nestjs web 全部都在一台机器上?
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    51
    @amlee web 应用是单独一台服务器,ES 爬虫是另外一台
    amlee
    amlee
    Sep 1, 2023
    52
    @Justin3go 谢谢
    KamL
    KamL
    Sep 1, 2023
    53
    英文搜不出来,例如 Doctor.Strange 就搜不到了
    zololiu
    zololiu
    Sep 1, 2023
    54
    怎么可以这么快,惊呆了
    baoei
    baoei
    Sep 1, 2023
    55
    速度确实是快~ 但是搜索出来的结果太差. 或者说资源太少
    heylogo
    heylogo
    Sep 1, 2023❤️1
    56
    建议:同意声明并跳转后,原弹出框应该要关闭,不然回到该页还得手动关一下
    Sakura0Tears
    Sakura0Tears
    Sep 1, 2023
    57
    666666666666 厉害
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    58
    @baoei 还没做多久,爬虫一直在运行,资源还在搜集
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    59
    @heylogo 确实,用户体验还是你这样好一点,感谢建议
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    60
    @baoei 然后就是互联网上的资源可能太多了,对比下来阿里云盘的资源就太少了,爬虫策略可能还得优化一下,但目前没什么思路
    sunnicholas
    sunnicholas
    Sep 1, 2023
    61
    资源太少了?
    quietjosen
    quietjosen
    Sep 1, 2023
    62
    厉害厉害,点赞。
    mylxsw
    mylxsw
    Sep 1, 2023
    63
    已收藏
    formant
    formant
    Sep 1, 2023
    64
    牛逼普辣斯,速度很快,感谢
    BBCCBB
    BBCCBB
    Sep 1, 2023❤️1
    65
    ik 分词器很老了, 12 年开始就没更新了.. 词库落后很多.. 可以尝试下其他的, hanlp 啥的..
    Jirajine
    Jirajine
    Sep 1, 2023 via Android
    66
    推荐试试 meilisearch ,感觉一般的项目完全优于 ES
    romisanic
    romisanic
    Sep 1, 2023
    67
    就这速度而言,必须点赞
    不过好像搜索效果还是差点
    总体好评!
    JRay
    JRay
    Sep 1, 2023
    68
    速度好快啊
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    69
    @BBCCBB 可以
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    70
    @Jirajine 周围也有一些人使用过这个,我对 ES 稍微熟悉一点,还行
    kuawo
    kuawo
    Sep 1, 2023
    71
    速度挺快的, 不过好像搜到的资源 不多 我搜 平凡的世界 狂飙 都找不到
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    72
    @sunnicholas 慢慢来嘛,爬虫正在收集中,没有想要的资源:1.互联网上没有使用阿里云盘分享该资源; 2.爬虫还没有爬到该位置; 3.有些网站禁止爬虫进入
    JensenQian
    JensenQian
    Sep 1, 2023 via Android
    73
    支持
    tagtag
    tagtag
    Sep 1, 2023
    74
    收藏了
    PickOne
    PickOne
    Sep 1, 2023
    75
    感谢分享~
    galphaxie
    galphaxie
    Sep 1, 2023❤️1
    76
    反馈:
    1. 分词还可以优化, 搜"go 专家编程"结果首页都没有资源命中;
    2. 点下一页按钮, 列表就被清空了, 在首页看的时候明明搜索结果是有多页的.
    didididididi
    didididididi
    Sep 1, 2023
    77
    速度好快 !
    zhw2590582
    zhw2590582
    Sep 1, 2023
    78
    速度这么快
    2NUT
    2NUT
    Sep 1, 2023
    79
    交互体验惊人
    Justin3go
    Justin3go
    OP
    Sep 1, 2023 via Android
    80
    @galphaxie 可以,感谢反馈
    bytewalk
    bytewalk
    Sep 1, 2023
    81
    厉害了,收藏了
    hsksg
    hsksg
    Sep 1, 2023
    82
    https://www.alipansou.com/ 这个也不错噢,资源多些
    jtcc
    jtcc
    Sep 1, 2023
    83
    牛逼,收藏了
    gogolive
    gogolive
    Sep 1, 2023
    84
    多少数据了?最大的问题网盘资源过期很严重
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    85
    @gogolive 确实,目前爬虫运行了 2 周多,数据 1w 左右,爬虫的策略还得优化,去过滤那些不可能包含网盘资源的链接的网址来节省资源,但目前没啥思路
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    86
    @hsksg 对,这个网址我也看到过,参考了它的免责声明哈哈哈哈
    Justin3go
    Justin3go
    OP
    Sep 1, 2023
    87
    @2NUT 感谢认可
    brucmao
    brucmao
    Sep 1, 2023
    88
    搜索很快啊,不过资源更新没这里快
    https://zhaoziyuan.me
    Ccf
    Ccf
    Sep 1, 2023
    89
    的确很快啊
    512357301
    512357301
    Sep 1, 2023 via Android
    90
    @lvtuyukuai 可以试试加英文半角双引号,只是不知道 op 的分词系统是否能识别英文半角双引号
    sheller
    sheller
    Sep 1, 2023
    91
    @brucmao 貌似打不开,科学上网也不行
    Justin3go
    Justin3go
    OP
    Sep 2, 2023
    92
    刚收到短信,没想到这么快这个网站就被 DDos 攻击了,终于轮到我了
    PecanBrant
    PecanBrant
    Sep 2, 2023
    93
    @Justin3go #92 啊?意思不能这个搜索又不能用了吗
    Justin3go
    Justin3go
    OP
    Sep 2, 2023
    94
    @PecanBrant 目前还能用,不过要看攻击者啥时候攻击了,一攻击就会导致服务器拒绝服务。
    pffrank
    pffrank
    Sep 2, 2023
    95
    好像有点问题,搜索后跳转进 APP 不出内容
    SantinoSong
    SantinoSong
    Sep 2, 2023
    96
    @itxh #28 这个域名,网赌.net? 🤣
    6Ou6MICPem0j68As
    6Ou6MICPem0j68As
    Sep 2, 2023
    97
    速度很快,但是似乎准确率不太高
    brucmao
    brucmao
    Sep 3, 2023
    98
    @sheller 电信不用代理可以打开,用代理反而打不开了
    lycpang
    lycpang
    Sep 4, 2023
    99
    牛的,正好我最近要分享一个 elastic search 搜索原理。。。感谢大佬的搜索原理,我少走好多弯路
    Justin3go
    Justin3go
    OP
    Sep 4, 2023
    100
    @lycpang hhhh ,能帮助到大家我也很开心
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1323 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 200ms · UTC 21:44 · PVG 05:44 · LAX 13:44 · JFK 16:44
    ♥ Do have faith in what you're doing.