• 请不要在回答技术问题时复制粘贴 AI 生成的内容
UN2758
V2EX  ›  程序员

求助,如何从 aws s3 上下载文件?

  •  
  •   UN2758 · Dec 6, 2017 · 8139 views
    This topic created in 3264 days ago, the information mentioned may be changed or developed.
    想下载一个 google 的数据集,可是网上没有什么关于从 s3 上下载文件的教程
    13 replies  •  2019-10-16 22:18:56 +08:00
    knightdf
    knightdf
    Dec 6, 2017
    1
    如果是 public 的话可以直接下,不是的话需要配置 key
    awscli 或者直接网上上点击下载
    mengzhuo
    mengzhuo
    Dec 6, 2017 via iPhone
    2
    Cyberduck
    UN2758
    UN2758
    OP
    Dec 6, 2017
    3
    @knightdf 应该是公共的,我安装了 awscli,但是文档里没有看见怎么下载的说明啊,我想下载这个文件 s3://datasets.elasticmapreduce/ngrams/books/20090715/chi-sim-all/3gram/data
    knightdf
    knightdf
    Dec 6, 2017
    4
    @UN2758 `aws s3 sync s3://datasets.elasticmapreduce/ngrams/books/20090715/chi-sim-all/3gram/data /local/path`
    knightdf
    knightdf
    Dec 6, 2017
    5
    @UN2758 我以为这是一个目录,看了下,是一个文件,用 aws s3 cp 就好了,不需要 sync
    UN2758
    UN2758
    OP
    Dec 7, 2017
    6
    @knightdf 显示报错:fatal error: Unable to locate credentials
    UN2758
    UN2758
    OP
    Dec 7, 2017
    7
    @knightdf 进 aws configure 改了下 region 后保存,在 aws 和 s3 之前加了个--debug --no-sign-request 就好了,顺便说一句,vps 网速都这么爆炸的吗?每秒 4-50mb
    knightdf
    knightdf
    Dec 8, 2017
    8
    @UN2758 aws config
    aws 网很快的,有时候是 aws 的内网,90 几 M 都很常见
    TomatoAres
    TomatoAres
    Mar 7, 2019
    9
    我也遇到这个问题了,configure 配置 region 外还要配什么呢? aws s3 ls 总是没有权限
    UN2758
    UN2758
    OP
    Mar 8, 2019
    10
    @TomatoAres #9 不知道额,当时我没有提示没权限。。。
    TomatoAres
    TomatoAres
    Mar 8, 2019
    11
    @UN2758 让我下文件的人忘给我 access 相关的 aws_access_key_id 和 aws_secret_access_key 了
    oldbird
    oldbird
    Oct 10, 2019
    12
    从 AWS S3 上下载是不是要付费的?
    UN2758
    UN2758
    OP
    Oct 16, 2019
    13
    @oldbird #12 不需要,但是要魔法上网吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2062 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 11:51 · PVG 19:51 · LAX 03:51 · JFK 06:51
    ♥ Do have faith in what you're doing.