在windows下使用s3cmd和s3browser来管理amazon s3的笔记 - 赵青青
source link: https://www.cnblogs.com/zhaoqingqing/p/16324904.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
本文为作者原创，转载请注明出处：https://www.cnblogs.com/zhaoqingqing/p/16324904.html
S3是Amazon S3的简称，s3cmd是一款命令行工具用来管理s3，同时还有一款图形化的管理工具：s3 browser。
因为绝大多数用户都是在linux下管理s3，而我们的打包机是在windows上，所以需要在windows下管理s3，本文记录一下踩坑。
S3文档#
s3的官方文档：https://s3tools.org/s3cmd
s3cmd下载：https://github.com/s3tools/s3cmd
在windows上的踩坑#
有两个选项必须要配置对否则会一直报301错误，导致无法上传和下载，但是s3 ls这条命令是可以用的
就是这两个选项：
signature_v2 = True 这个加密选项如果是False每次上传或下载文件都会报301错误
host_bucket = %(bucket)s.s3.nie.xxx.com ，这个选项如果不对，无法上传或下载
linux下的示例配置文件(windows下的ini配置文件大体类型)
[default]
access_key =
secret_key =
default_mime_type = binary/octet-stream
enable_multipart = True
encoding = UTF-8
encrypt = False
host_base = s3.nie.xxx.com
host_bucket = %(bucket)s.s3.nie.xxx.com
multipart_chunk_size_mb = 30
socket_timeout = 300
stop_on_error = False
use_https = False
use_mime_magic = True
verbosity = WARNING
signature_v2 = True
windows上的s3配置文件在这个目录下（不同于linux）：
Configuration saved to 'C:\Users\zhaoqingqing01\AppData\Roaming\s3cmd.ini'
配置文件命令解释#
use_mime_magic = True #自动判断上传文件的mime类型
signature_v2 = True # 需要加密
更加详细的解释：https://www.bilibili.com/read/cv6012754
在windows下安装s3cmd#
安装步骤：
-
从github下载s3cmd，需要安装python2，并把python添加到环境变量中
-
cd到s3cmd所在的目录下，执行：python setup.py install
-
等待安装完成后，所有的s3cmd命令都可以使用了，但需要cd到s3cmd目录下
注意：在所有命令前都需要加上python，因为是通过python来执行的。
cd c:\
cd c:\s3cmd
python s3 ls
参考文档：https://docs.e2enetworks.com/guides/s3cmdwindows.html（windows上可以不用安装Gpg4win(加密软件)）
s3cmd常用命令#
可用的命令列表，见这里的commands部分：https://s3tools.org/usage
上传/同步某个目录 ： s3cmd sync LOCAL_DIR s3://BUCKET[/PREFIX] or s3://BUCKET[/PREFIX] LOCAL_DIR，例子：python s3cmd sync "c:/test_res" s3://xxx-dev/game_rsync_res/res
查询桶下面所有的文件： s3cmd ls s3://BUCKET[/PREFIX]，例子：s3cmd ls s3://xxx-dev
上传某个文件：python s3cmd put "E:/Temp/test_s3.txt" s3://xxx-dev/
下载某个文件：python s3cmd get s3://xxx-dev/test_s3.txt
FAQ#
Q：如何新增文件？
A：往文件夹中新增加文件，然后在同步文件夹时，就会把新文件上传过去
Q：如何删除文件？
A：试过先在文件夹下删除某个文件，然后调用sync，看看远程是否已删除这张图片？
Q：如何更新某张图片？
A：sync指令替换本地的图片就能更到最新
Q：如何切换不同的key?因为开发环境和正式环境的key不一样
A：像linux那样，在每条命结尾使用 -c“xx.ini”
S3存在的问题#
通过s3cmd del 删除某个目录后，还可以下载到，不知是否因为有缓存？
把文件夹下的某个文件删除后，通过sync同步文件，还可以下载到删除掉的文件
S3 Browser(可视化管理s3)#
除了命令行的方式，在windows下还有一个可视化的的软件，它可以列出某个桶及目录下的所有文件，并且提供可视化的上传和下载操作
使用文档：https://docs.e2enetworks.com/guides/s3browser_windows.html
使用方法如下：
新建一个Account，每项配置如下
Account Type：S3 Compatible Storage
REST Endpoint：s3.nie.xxx.com
不要勾选SSL/TLS和 Encrypt Access Keys
点击左下角打开高级设置，修改Addressing model为Virtual hosted style，然后点击 Save changes
日志保存位置#
S3 Browser可以保存每次操作的日志，日志保存位置：%APPDATA%\S3Browser\logs
S3 Browser也提供命令行#
首先本地磁盘的路径符需要是\，否则会报Exception
连接遇到问题#
如果连接时报错误：Unable to perform requested action，在Edit Account中打开高级设置，修改Addressing model为Virtual hosted style
Recommend
-
53
前言 本文主要介绍在如何使用Ansible管理Windows客户端，Ansible官方提供了一个很方便的安装脚本，对于外网用户来说安装真的很轻松，可惜我遇到的问题是如何在内网部署，有相同烦恼的小伙伴不妨参考下 轻轻松松使用Ansible管理Windows客户端 更新历史 2018年05月21...
-
13
Windows 下使用Git 客户端访问 GitLab 源代码管理库
-
7
同时安装py2和py3-安装多版本python
-
1
这部分是设备驱动的最后一部分——磁盘管理，相较于上一篇的键盘和显示器要更复杂，但大致过程基本相同。磁盘管理共有4层抽象，我们将从此学习、掌握设备驱动的一般研究理念和设计方法。这部分先介绍前2层抽象。 参考资料： 课程：哈工...
-
0
本文为作者原创，转载请注明出处：https://www.cnblogs.com/zhaoqingqing/p/17455281.htmlTeamCity和pyflakes
-
4
将HTML网页转换为Markdown格式的工具及方法
-
4
本文为作者原创，转载请注明出处：https://www.cnblogs.com/zhaoqingqing/p/17612988.html前言
-
2
本文为作者原创，转载请注明出处：https://www.cnblogs.com/zhaoqingqing/p/17621867.html终于搞懂了python2的编码
-
1
本文为作者原创，转载请注明出处：https://www.cnblogs.com/zhaoqingqing/p/17675871.html宏的一些作用，包括但不限于这些 定义一个变量、字符串、...
-
4
[笔记]使用Ubuntu Multipass管理虚拟机 Ubuntu下载https://cn.ubuntu.com/downlo...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK