• 请不要在回答技术问题时复制粘贴 AI 生成的内容
NotreDame
V2EX  ›  程序员

如何高效的实现文件的批量下载呢? golang

  •  
  •   NotreDame · Nov 9, 2020 · 2504 views
    This topic created in 2101 days ago, the information mentioned may be changed or developed.

    我的文件系统设计如下:
    文件具有 path 属性; 文件夹的 path 为 null ;两者都有 parentId 。

    我想到的方法是:把服务器的文件先组成一颗文件树,然后使用 filepath.walk 遍历打包成 zip,之后把 zip 压缩包下载。 但是这种方法存在两个问题:

    • 频繁 io 操作,成本过重。
    • 不清楚何时是删除生成的临时文件的最佳时机。

    求教更高效的批量下载实现方式,谢谢!

    3 replies    2020-11-09 15:02:03 +08:00
    ebingtel
        1
    ebingtel  
       Nov 9, 2020
    python 里面有 streamzip 模块, 本质: 并不需要把所有的文件都压入到 zip 之后,再返回,这样太浪费时间了; 边压边返回……
    Evrins
        2
    Evrins  
       Nov 9, 2020 via iPhone   ❤️ 1
    边遍历边打包可以用这个库 https://github.com/mholt/archiver
    直接流式写入到 Http response 里面
    huayumo
        3
    huayumo  
       Nov 9, 2020
    可以看看七牛的上传下载工具,感觉效率挺高的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3588 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 04:27 · PVG 12:27 · LAX 21:27 · JFK 00:27
    ♥ Do have faith in what you're doing.