wiLdGoose

以 Docker 方式部署基于 MinIO 与 Thumbor 的对象存储服务

作者：wiLdGoose 发布时间：2021 年 7 月 14 日 分类：技术 Technology 暂无评论

穷人的孩子早当家是有一定道理的。由于用不起某里云的 OSS （对象存储）服务，自己折腾了一番。期间踩坑若干，故自行记录聊以慰籍。

技术选型是采用 MinIO 与 Thumbor 无疑，网上相关的文章也很多。我的故事分为 5 个节点：

0x00、最初的记忆——Docker 安装

是的，我一开始打算以 Docker 方式部署。

MinIO 的 Docker 部署方式可以完全参照官方文档进行：

MINIO_ROOT_USER 与 MINIO_ROOT_PASSWORD 是登录 MinIO Console 的账号密码，记得替换。

而 Thumbor 则是选择了一个叫做 Minimal Compact Thumbor 的镜像，真的是简单：

一行搞定。

搞到这里，MinIO 已通过 Docker 方式跑起来了，本地测试 Thumbor 发现无法处理 MinIO 提供的私有地址，比如以下这种情况。

通过调用 MinIO 的 getPresignedObjectUrl 接口获取的私有地址：

Thumbor 处理的地址：

结果报 400 错误。

0x01、曲径通幽——通过 Python-pip 安装 Thumbor

因为折腾失败了，一顿分析后感觉应该编辑下 thumbor.conf，可能有关。又看了几篇文章，大部分都以 Python-pip 方式安装的，所以实验如下：

好了，失败。原因是操作系统 CentOS 7.x 自带 Python 2。而官方文档说了需要 Python 3.7 及以上：

好的，那就安装 Python 3。首先安装一些依赖：

下载源码包，安装 Python 3.7：

一顿刷屏之后，success 了。建两个软链，也可以不做：

验证一下：

如果没建软链接，要这样：

还可以给 pip 升下级：

继续，大活来了：

安装完成后生成配置文件：

我就死在这儿了，一直报：

一番折腾后无果，欲弃之。

0x02、回头草——Docker 真香定律

考虑到后续需要分布式部署，决定回归 Docker 的怀抱。总结当前的两个问题：

- MinIO 以 Docker 方式部署，网上有人说容器停了会丢数据；
- Thumbor 无法解析 MinIO 的私有地址。

第一个问题好办，想办法持久化存储就行，可以通过 -v 指定映射关系：

/data/minio 是宿主机的数据目录，MinIO 搞定，剩下就是接口调试。

第二个问题在我一顿翻文档之后发现：

真相大白。古人云，一定要看文档，真的没错。

0x03、强迫症——难以忍受的“unsafe”

由于本地 80、443 端口不能在公网开放，故通过另一台主机的 Nginx 配置 3 个域名，反向代理到这台主机，分别对应 MinIO 的 9000、9001 端口及 Thumbor 的 8888 端口。

现在 Thumbor 处理的地址是这样的：

正在大功告成的时候，前端弟兄说“unsafe”太难受了，能不能改掉。我尝试在 Nginx 上代理到 x.x.x.x:8888/unsafe，但是不行，会出现 400。

继续看文档，最终找到这么一章可以完美解决这个强迫症症状。

最终，Thumbor 容器的启动命令改造为：

其中：

- SECURITY_KEY 密钥交给前端就能根据文档进行后续处理；
- ALLOW_UNSAFE_URL 是允许 unsafe 链接，此处关闭；
- THUMBOR_NUM_PROCESSES 大概是多线程数量，未测试。

0x04、最终还是用了 Thumbor AWS

本来故事到这儿，已经可以歇了——至少昨天是这样的。后来同志们折腾半天发现不用 unsafe，拼接私有地址，还是 400 错误。

看到 Docker 中的日志是这样的：

网上也有类似的讨论，好像也没个结论。

看来私有地址的路是走不通了，网上文章有提到 Thumbor AWS 可以完美匹配 MinIO。可惜几乎都是以 pip install tc_aws 的形式来安装的，不适用。

结合了一些资料后，自己折腾出一个脚本：

其中：AWS_ACCESS_KEY_ID 等于启动 MinIO 容器命令中的 MINIO_ROOT_USER，AWS_SECRET_ACCESS_KEY 等于启动 MinIO 容器命令中的 MINIO_ROOT_PASSWORD。

结果是报 599 错误：

一番搜索，599 是 Python Tornado 报的，这里有关于 Tornado 599 的讨论。说是 599 属于连接超时。

然后我就清醒了，脚本改成：

这里的 x.x.x.x 是宿主机网卡绑定的 IP 地址。

一次性成功，最终的 URI 格式是这样的：

真的可以休息了。

TODO：分布式待折腾。

acme.sh 默认 CA 更新为 ZeroSSL 引起的问题

作者：wiLdGoose 发布时间：2021 年 7 月 12 日 分类：技术 Technology 尚有板凳

今天通过 acme.sh 给新域名申请 SSL 证书，遇到报错：

有人说需要在 ~/.acme.sh/account.conf 中添加：

但是需要邮箱地址终究是麻烦，希望切换回 Let's Encrypt，可以这样：

官方文档上也都写了，可以猛戳此处。

不过据说 ZeroSSL 支持泛域名比较爽，有空再折腾一下，先学党国维稳。

“偷鸡”趣事一则

作者：wiLdGoose 发布时间：2020 年 12 月 18 日 分类：生活 Lifestyle 尚有板凳

好久没有参加娱乐活动了，今天遇到“偷鸡”趣事一则，随笔记录，聊以慰藉。

起因是早上看到昨天后半夜收到钉钉通知一则：

那行猥琐的代码深深地吸引了我，直接请求了一下。好家伙，XSS 代码：

有点不开心，你好歹专业一点。往这里插入 XSS 代码叫怎么回事嘛。再一看网站，还有这么个玩意儿：

有点兴趣了，不过账号注册需要验证手机号码。暂且作罢。到库里找到这个用户，查下手机号码：

短信下发时通道返回成功，说明这号码还能收到短信的：

基本判断是太空卡无疑了。再查下登录设备：

可以看到是水果设备登录的，虚拟的可能性较低。

看看还能挖点什么。一开始我没往登录 IP 去想，感觉至少一跳起步。谁知道阁下居然选择裸奔：

在线时间 + 拨号 IP，应该能溯源到宽带账号的。只不过国内的运营商是不 care 这种鸡毛蒜皮的小事的。毕竟没出人命不是，还是赚钱要紧。

又翻了翻库，发现这哥们其实早来过了。当时通知还没开，就没看到：

感觉这哥们儿真的该去挂号了。我看在眼里，急在心里。太空卡又打不通电话，怎么通知他呢？

找到了回调 URL，构造一个温馨的提示：

PS：感谢老夫子友情提供私人密码用于伟大的无产阶级测试。

然后，找了大约 30 台 VPS：

1、Windows 系统：360 浏览器大法，间隔 2s，自动刷新，走你；

2、Linux 系统：小盆友，ApacheBench 了解一下？

- EOF -

墙内外服务器数据异地备份方案

作者：wiLdGoose 发布时间：2020 年 5 月 15 日 分类：技术 Technology 暂无评论

我们的宣传口号是：与墙斗，其乐无穷。

1、墙内服务器

1.1、需求与掣肘

需要对服务器数据进行异地备份，数据量级：GB 级。收费的阿里云 OSS 等用不起，土豪请自便。免费的 Google Drive 连不上。

1.2、方案选型

一番折腾后最终选定七牛云免费 10G 对象存储。不够用就建多个账号，用不同的 butket 来备份。

1.3、准备工具

• 七牛云账号一枚
• 安装 qshell
• 本地备份脚本，若无可参考本文 2.4 部分

1.4、实施细节

下载并设置脚本：

前往七牛云密钥管理，找到 AccessKey 与 SecretKey：

添加七牛云账号鉴权：

确认一下：

七牛官方建议大于 100MB 的文件使用 rput 来代替 fput 来实现上传。由于备份文件普通较大，这里统一使用 rput：

上传多个备份文件，我的思路是：

• 用 bash 脚本跑批
• 事先 tar 到一个文件中，再用 qshell 上传

提供上述第二个方案的初步思路：

至于循环备份，七牛云提供对象存储的生命周期管理。设置一下就行了：

Update：这个生命周期管理不靠谱，发现设置为一天删除也会一直存下去的情况。手动修改前述脚本如下：

2、墙外服务器

2.1、需求与掣肘

也是需要对服务器数据进行异地备份，数据量级：GB 级。优先选择免费的存储，回国较快即可。

2.2、方案选型

经测试，Google Drive 是第一选择。

2.3、准备工具

• Google 账号一枚
• 秋水逸冰的 backup.sh 脚本，已有本地备份策略的请忽略
• 安装 rclone 并完成配置（ref：通过 Rclone 挂载 Google Drive 到 VPS）

2.4、实施细节

若暂无本地备份策略，直接按这个链接的步骤操作即可；若已有本地备份策略，可在 backup.sh 的 BACKUP 数组变量中指定需要异地备份的文件路径，诸如：

可根据实际情况修改变量。

关于循环备份的事，若非自有脚本解决，可使用 backup.sh 的相关功能，配置以下两项即可：

最后，crontab 就略了。别忘记添加环境变量：

我在实际配置过程中，曾遇到这样的报错：

最后在上面的环境变量基础上加上 mysql 的路径得以解决。

头部添加环境变量：

- EOF -

部署 MongoDB 的 Web 可视化工具：admin-mongo

作者：wiLdGoose 发布时间：2020 年 3 月 12 日 分类：技术 Technology 暂无评论

不知道有多少同学遇到过类似反人类的需求：在 Web 上对 MongoDB 进行可视化管理。之前在服务器上用 node 跑了一套 adminMongo，甚是不稳定。用户端一些随机操作容易导致这个服务宕掉，查日志是这个样子的：

Google 半天资料也较少，遂欲弃之。

期间也折腾了一下 phpmoadmin，说实话距离我美好的想象相去甚远。

后来重新折腾了一遍 admin-mongo，感觉是我以前的打开方式不对。记录之，用于自我马克。

操作系统 CentOS 7，以 yum 方式安装 node：

理论上会为您安装好 node 与 npm。确认一下：

我这里的情况是：

继续安装 pm2：

确认一下：

我这边是：

然后就可以直接安装 admin-mongo：

安装目录是 /usr/lib/node_modules/admin-mongo，因此：

看到类似这样的信息：

到这里 admin-mongo 就开始提供服务了，监听端口 TCP 1234。验证一下：

好，完美。赶紧做个反代用起来，不想被直接访问到的话，我用了比较猥琐的办法：

在 location / 中增加：

最后 server nginx reload 一下完事儿。