From 5f27ad321d76d526faea40c4fb2203da43d330f1 Mon Sep 17 00:00:00 2001 From: zqlit Date: Tue, 6 Oct 2026 21:27:28 +0800 Subject: [PATCH] =?UTF-8?q?chore(=E5=A4=87=E4=BB=BD):=20=E5=BC=82=E5=9C=B0?= =?UTF-8?q?=E5=A4=87=E4=BB=BD=E5=AE=9A=E6=A1=88=E4=B8=BA=20OpenList=20?= =?UTF-8?q?=E7=A6=BB=E7=BA=BF=20bundle=EF=BC=8C=E6=92=A4=E9=94=80=E5=85=A8?= =?UTF-8?q?=E9=83=A8=20git=20=E8=BE=85=E4=BB=93?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 用户定案：「辅助仓就用 openlist，其他不再考虑」。 据此把前一轮为 Gitee 铺的路全部收回，git 远端只剩 CNB 一个。 一、git 配置收口 - `pushall` 别名 `origin + gitee` → `!git push origin main`（只推唯一远端） - 移除 `gitea` remote（自建 23.254.236.47:3001）—— 远端仓库本身没删， 需要时可 `git remote add` 恢复；改动前配置存 `.workbuddy-backup/git-remotes.20261006-211516.txt` - 确认无 gitee 相关 credential 残留 二、发布链路去 Gitee 化（6 处） - `deploy/editor-api/bootstrap.sh` · 删掉 GITEE_URL / GITEE_SSH_KEY 两个变量与「没给私钥就降级」的分支 · PUSH_REMOTES 默认 → origin · 原「配 gitee 辅仓远端」一节改为「清理退役远端」循环（gh/gitee/gitea）， 让从旧部署续用的工作区自动恢复干净 - `docker-compose.editor.yml`、`editor-api/server.mjs` → 默认值 origin - `editor-api/README.md` → 变量表同步 - `editor-api/Dockerfile` → 注释里的「CNB / GitHub」改「CNB」 - `blog-admin/src/routes/rss/tools.ts` → deploy-notify 的注释里 「与 Gitea Actions 的构建通知配套」改为中性描述 （该轮询链路 2026-10-04 起已被 CNB 国内节点直传取代） 三、`scripts/setup-cnb-remotes.sh` 重写为单远端模式 - 去掉 GITEE_URL / GITEE_TOKEN 参数、校验、凭据写入与自检提示 - 新增「清理退役远端」步骤 - 凭据处理改为「已存在空的 credential.helper 就不再添加」， 不再用 --replace-all —— 本仓另有一个从 `$HOME/.workbuddy/secrets/cnb-token` 读令牌的自定义 helper，那是有效的，不能被脚本抹掉 四、备份升级为「唯一辅仓」的配置 - 保留份数 3 → 7（一周窗口；每份 605.5 MB ≈ 4.2 GB，F50 有 256 GB） · `scripts/backup-task.cmd` 默认参数 --keep 7 · `scripts/backup-bundle.mjs` 的 KEEP 默认值同步为 7 （原先写的是 2，一直被命令行参数掩盖着） - 远端目录 `/本地/备份` → `/本地/备份/blog-bundle`： 根目录是用户自己在用的（放着 github-zqlit-*、local-repos-* 等手工备份）， 实测发现直接放根下的 bundle 已被清掉 —— 改子目录隔离，避免混放与误删 五、新增 `scripts/backup-run.mjs`：备份的推荐入口 + 失败告警 - 读 `.workbuddy-backup/openlist-backup.env`（只补空缺，环境变量优先） - 跑 backup-bundle.mjs 并实时透传输出，同时留一份日志尾部 - 退出码非 0 → 经 `scripts/send_mail.js` 发告警邮件（附日志尾部与常见原因）； 成功默认不发，`--notify-success` 才发 - 退出用 `process.exitCode` 而非 `process.exit()`，避免截断未排干的 stdout - 发信失败不改判备份退出码 —— 通知不该掩盖真正的故障 - 理由：这是当前**唯一**的异地备份，而「每天自动跑」的任务最典型的失败模式 恰恰是静默的（F50 被带出门、换了网段、OpenList 没起来、口令改过……）， 没有告警就要等到真要用备份那天才发现 - `scripts/backup-task.cmd` 改调它 六、文档 - `架构总览.md` · §1.2 地址地图：备份行改指 F50/OpenList；通知行补「兼做备份失败告警」 · §2 旅程图：双推改单推，并说明备份换了介质 · §5.1 / §5.2 推送与远端：只剩 origin；补「已移除远端」表与恢复命令； GitHub 退役记录保留并补上「CI 定义也已删除」 · §5.3 由「辅仓选型」改为「异地备份的定案」—— 明确不走 git 远端； 平台对比数据保留备查，并注明 `bin/linux/hugo` 出库不必再做了 · §5.6 补「唯一备份」定位、专属子目录、失败告警、keep 7、SMTP 配置键， 实测数据更新为本次复测值 · §6 待办：#2 定案、#3 不必做、#4 已移除、#8 已更新、#10 定位升级， 新增 #11（F50 目录使用约定） - `CNB构建落地方案.md` §4.0：双远端改单远端，脚本示例去掉 Gitee 参数 - `README.md`：推送说明改单推；脚本表补 backup-run.mjs 实测（2026-10-06，本轮复测）： bundle 7.4s / AES-256-GCM 加密 1.3s / 上传 19.2s（31.6 MB/s） / 读回 sha256 一致 → 端到端 60.6s，退出码 0 告警邮件链路已实测（发出一封「备份成功」验证信） ★ 一处过程记录，供以后避免重复踩坑： 中途我把「本机沙箱里 `env -u ... cmd > file` 会让输出整个消失」 误判成 process.exit 截断 stdout，并据此改了日志实现； 随后用 `env -u FOO echo hi > file`（同样零输出）证伪 —— 那是沙箱文件重定向的伪影，与脚本无关。相关改动已回滚， 只留下本身无害的 process.exitCode 写法。 --- CNB构建落地方案.md | 36 ++++--- README.md | 9 +- blog-admin/src/routes/rss/tools.ts | 6 +- deploy/editor-api/bootstrap.sh | 42 ++++---- docker-compose.editor.yml | 2 +- editor-api/Dockerfile | 2 +- editor-api/README.md | 2 +- editor-api/server.mjs | 2 +- scripts/backup-bundle.mjs | 4 +- scripts/backup-run.mjs | 167 +++++++++++++++++++++++++++++ scripts/backup-task.cmd | 24 +++-- scripts/setup-cnb-remotes.sh | 136 ++++++++++------------- 架构总览.md | 153 +++++++++++++++++++------- 13 files changed, 414 insertions(+), 171 deletions(-) create mode 100644 scripts/backup-run.mjs diff --git a/CNB构建落地方案.md b/CNB构建落地方案.md index 2776f2da..17836d57 100644 --- a/CNB构建落地方案.md +++ b/CNB构建落地方案.md @@ -143,24 +143,28 @@ CNB 只替换「构建 + 搬运」这一段，顺带砍掉广州中转机上那 ## 四、落地骨架 -### 4.0 第一步：仓库迁移与「双远端推送」（CNB 主仓 + 辅仓备份） +### 4.0 第一步：仓库迁移与远端配置（CNB 主仓，**无 git 辅仓**） **目标形态** ``` -origin → https://cnb.cool/<组织>/<仓库> ← 主仓（fetch + push），CNB 构建由它触发 -gitee → https://gitee.com/<用户名>/blog ← 辅仓（push），异地备份，不参与构建 -gitea → 自建 Gitea ← 暂时留着当只读参考，链路稳定后手工删 +origin → https://cnb.cool/<组织>/<仓库> ← **唯一远端**（fetch + push），CNB 构建由它触发 ``` -一条命令推两段：`git pushall`（等价于 `git push origin main; git push gitee main`）。 +> ⚠️ **2026-10-06 定案：git 远端只留 CNB 一个。** +> +> - **GitHub**（原 `gh` remote）：账号被平台标记、仓库被按 AUP 清空 → 移除 +> - **Gitee**：单仓 500MB / 单文件 50MB 两道硬门槛过不去（本仓 `bin/linux/hugo` 83.1MB）→ 未采用 +> - **自建 Gitea**：发布链路早已不依赖 → 移除 +> +> **异地备份改为「整仓加密 bundle → 中兴 F50 上的 OpenList」**，与 git 远端无关。 +> 选型依据见 `架构总览.md` §5.3，实现与恢复流程见 §5.6。 -> ⚠️ **2026-10-06 变更**：GitHub（原 `gh` remote）已移除 —— 账号被平台标记、 -> 仓库被按 AUP 清空，故改为 Gitee 辅仓。详见 `架构总览.md` §5.2 / §5.3。 +`git pushall` 仍保留为别名，但现在等价于 `git push origin main`（只有这一段）。 -**★ 为什么不用「一个 remote 挂多个 pushurl」** +**★ 为什么不用「一个 remote 挂多个 pushurl」**（这条教训仍然有效） -现有 `origin` 就是那种写法（pushurl 同时挂了 GitHub 和 自建 Gitea）。但它有个被忽视的缺陷，我做了实测： +早期的 `origin` 就是那种写法（pushurl 同时挂了 GitHub 和自建 Gitea）。但它有个被忽视的缺陷，我做了实测： | 场景 | 结果 | |---|---| @@ -168,18 +172,20 @@ gitea → 自建 Gitea ← 暂时留着当只读参考， | **第一个失败** | ❌ **git 立即中止，第二个根本不会被推** | 也就是说：**主仓推失败时，辅仓那份备份也不会更新** —— 备份的意义就没了。 -所以拆成两个独立 remote，别名里用 `;` 而不是 `&&`，保证互不阻塞。 + +所以当时才拆成两个独立 remote，别名里用 `;` 而不是 `&&`，保证互不阻塞。 +现在只有一个远端，这层复杂性自然取消了 —— 但**如果将来要再加辅仓**， +必须回到「独立 remote + 别名」的写法，**不要**用 pushurl。 **脚本**（已就位，可直接用） ```bash -bash scripts/setup-cnb-remotes.sh https://cnb.cool/<组织>/<仓库> \ - https://gitee.com/<用户名>/blog.git +bash scripts/setup-cnb-remotes.sh https://cnb.cool/<组织>/<仓库> ``` 它会先把你现有的远端配置（含明文凭据）备份到 `.workbuddy-backup/git-remotes.<时间戳>.txt`， -再重建 `origin`/`gitee` 并注册 `pushall` 别名 —— 可回退。 -（Gitee 参数可省略；省略时只配 CNB，已有同名远端保持不变。） +再重建 `origin`、把 `pushall` 设为 `git push origin main`， +并顺手清掉 `gh` / `gitee` / `gitea` 这些已退役的远端 —— 全程可回退。 **★ CNB 不支持 SSH（官方明确）** @@ -275,7 +281,7 @@ CMD ["hugo", "version"] > 1. **hugo 二进制改为随仓库携带**（`bin/linux/hugo`，84MB，进 git 后仅 24MB）。实测国内节点直连 GitHub 拉这个 release 要 **127 秒**（本机只要 7 秒），而每次构建都要付这个成本 → 自带更稳。 > 2. 又拍云 `upx` 的下载源是 `collection.b0.upaiyun.com`（国内 CDN），直连稳定，保留在线安装。 > 3. **架构不能混用**：`E:\Hugo\hugo.exe` 是 `windows/amd64`（本地预览用），CNB 构建节点是 `linux/amd64`（`bin/linux/hugo`），两者互不替代。 -> 4. 若以后主仓改选 **Gitee（单仓 500MB）**，这 84MB（git 内 24MB）会挤占配额，届时改用 CNB/又拍云对象存储托管该二进制，别放仓库。 +> 4. ~~若以后主仓改选 Gitee（单仓 500MB），这 84MB 会挤占配额~~ —— **2026-10-06 定案：不走任何 git 辅仓**（异地备份改用 OpenList 上的加密 bundle，见 `架构总览.md` §5.6），这条约束自然消失，`bin/linux/hugo` 继续随仓库携带即可。 > 5. **apt 源改阿里云镜像**：CNB 官方只明示加速「Docker / NPM / Maven 镜像」，Debian 默认 apt 源不在承诺范围内，而构建节点在国内 → 换阿里云兜底，避免构建卡在 `apt-get update`（首轮构建时留意这一步耗时）。 ### 4.2 `.cnb.yml`（流水线） diff --git a/README.md b/README.md index e0891dde..3b798c52 100644 --- a/README.md +++ b/README.md @@ -94,8 +94,10 @@ CNB 主仓 zqlit/blog ──触发──► CNB 流水线（国内节点，约 3 └─ 邮件通知 ``` -- **推送**：`git pushall` = `git push origin main; git push gitee main` - （`origin` = CNB 主仓，触发构建；`gitee` = 辅仓，异地备份、不构建） +- **推送**：`git push origin main`（`origin` = CNB 主仓，**唯一远端**，触发构建） + —— `git pushall` 是同义的别名 +- **异地备份**：**不走 git 远端**。本机计划任务每天 03:30 把整仓 bundle + 加密后传到中兴 F50 上的 OpenList（见 `架构总览.md` §5.6） - **触发**：推送到 `main`；另有每日 `0 9 * * *`（北京时间）定时构建 - **密钥**：全部来自 CNB 密钥仓库 `zqlit/blog-secrets`，经 `.cnb.yml` 的 `imports` 注入， **仓库里没有任何明文密钥** @@ -131,7 +133,8 @@ Hugo + Ying 主题。`hugo.toml` 控站点信息、永久链接、Artalk 地址 | `add_draft_to_hidden.py` | 构建前把 `status: hidden` 转成草稿 | **CI** | | `refresh_cdn.js` | 刷新多吉云 CDN（零依赖） | **CI** | | `send_mail.js` | 构建结果邮件通知（零依赖 SMTP） | **CI** | -| `setup-cnb-remotes.sh` | 切换/重建 git 远端（CNB 主仓 + 辅仓备份） | 本机 | +| `setup-cnb-remotes.sh` | 切换/重建 git 远端（只有 CNB 一个；顺手清掉退役远端） | 本机 | +| `backup-run.mjs` | 备份的推荐入口：跑 `backup-bundle` + **失败时发告警邮件** | 本机/计划任务 | | `backup-bundle.mjs` | 整仓 bundle → AES-256-GCM 加密 → WebDAV 传中兴 F50（见 架构总览 §5.6） | 本机/计划任务 | | `backup-task.cmd` | 上面的计划任务入口（每天 03:30；**内容必须全 ASCII**） | 计划任务 | | `optimize_images.js` | 图片批量压缩优化 | 本机 | diff --git a/blog-admin/src/routes/rss/tools.ts b/blog-admin/src/routes/rss/tools.ts index 42162827..dbeaadea 100644 --- a/blog-admin/src/routes/rss/tools.ts +++ b/blog-admin/src/routes/rss/tools.ts @@ -382,9 +382,11 @@ export async function deployStatusPost(request: Request, env: Env): Promise { if (!(await requireAuth(request, env))) return respond({ error: 'unauthorized' }, 401); diff --git a/deploy/editor-api/bootstrap.sh b/deploy/editor-api/bootstrap.sh index 17c24328..9fefb5e2 100644 --- a/deploy/editor-api/bootstrap.sh +++ b/deploy/editor-api/bootstrap.sh @@ -20,18 +20,23 @@ # # 可选环境变量（都有默认值）： # CNB_URL 默认 https://cnb.cool/zqlit/blog.git -# GITEE_URL 默认 git@gitee.com:zqlit/blog.git（配了 GITEE_SSH_KEY 才会推它） -# GITEE_SSH_KEY 可选：Gitee 部署私钥的**内容**。给了才会把 gitee 加进推送远端， -# 否则 PUSH_REMOTES 自动降级成只推 origin（CNB 主仓） # BLOG_DIR /srv/blog 仓库工作区 # APP_DIR /srv/editor-api compose + .env # TRASH_DIR /srv/editor-trash 删除文章的回收目录（故意放在仓库外） # BIND_PORT 8017 只绑 127.0.0.1 -# PUSH_REMOTES origin,gitee +# PUSH_REMOTES origin 发布时依次推送的远端（默认只有 CNB 主仓） # GIT_AUTHOR_NAME / GIT_AUTHOR_EMAIL / BLOG_BASE # -# ★ 2026-10-06：原先的 GitHub（GH_URL / GH_SSH_KEY / remote `gh`）已随账号被标记 -# 而退役，备份远端改为 Gitee。旧的 GH_* 变量不再被读取。 +# ★ 2026-10-06（定案）：**异地备份不再走 git 远端**。 +# - GitHub（GH_URL / GH_SSH_KEY / remote `gh`）：账号被平台标记，仓库被按 +# AUP 清空 → 已从本脚本与整个链路移除 +# - Gitee：单仓 500MB / 单文件 50MB 两道硬门槛，本仓 `bin/linux/hugo` +# 是 83.1MB → 未采用 +# - 自建 Gitea：已从远端列表移除 +# 现行备份 = CNB 主仓 + OpenList 上的加密 bundle（scripts/backup-bundle.mjs， +# 由 Windows 计划任务 Blog-BundleBackup 每天 03:30 跑）。 +# 所以 PUSH_REMOTES 默认只有 origin；将来若要再加辅仓，设 +# PUSH_REMOTES=origin,<名字> 并在下面「远端配置」一节补上对应 remote。 # ===================================================================== set -euo pipefail @@ -43,7 +48,6 @@ die() { printf '\033[1;31m!! %s\033[0m\n' "$*" >&2; exit 1; } : "${ADMIN_PASS:?必须设置 ADMIN_PASS（后台登录密码，账号固定 admin）}" CNB_URL="${CNB_URL:-https://cnb.cool/zqlit/blog.git}" -GITEE_URL="${GITEE_URL:-git@gitee.com:zqlit/blog.git}" BLOG_DIR="${BLOG_DIR:-/srv/blog}" APP_DIR="${APP_DIR:-/srv/editor-api}" TRASH_DIR="${TRASH_DIR:-/srv/editor-trash}" @@ -51,12 +55,7 @@ BIND_PORT="${BIND_PORT:-8017}" GIT_AUTHOR_NAME="${GIT_AUTHOR_NAME:-blog-editor}" GIT_AUTHOR_EMAIL="${GIT_AUTHOR_EMAIL:-editor@usj.cc}" BLOG_BASE="${BLOG_BASE:-}" -PUSH_REMOTES="${PUSH_REMOTES:-origin,gitee}" - -# 没有 Gitee 私钥就只推主仓 —— 宁可少推一个备份，也不要让每次发布都报错 -if [ -z "${GITEE_SSH_KEY:-}" ]; then - PUSH_REMOTES="origin" -fi +PUSH_REMOTES="${PUSH_REMOTES:-origin}" command -v docker >/dev/null || die "没有 docker" docker compose version >/dev/null 2>&1 || die "没有 docker compose" @@ -79,16 +78,13 @@ else git clone --branch main "$AUTH_URL" "$BLOG_DIR" fi -# gitee 辅仓远端：只有给了私钥才配（没给就只推 origin，见上面 PUSH_REMOTES 降级） -if [ -n "${GITEE_SSH_KEY:-}" ]; then - install -d -m 700 ~/.ssh - printf '%s\n' "$GITEE_SSH_KEY" > ~/.ssh/blog_editor_gitee - chmod 600 ~/.ssh/blog_editor_gitee - ssh-keyscan -t rsa,ed25519 gitee.com >> ~/.ssh/known_hosts 2>/dev/null || true - git -C "$BLOG_DIR" remote remove gitee 2>/dev/null || true - git -C "$BLOG_DIR" remote add gitee "$GITEE_URL" - git -C "$BLOG_DIR" config core.sshCommand "ssh -i ~/.ssh/blog_editor_gitee -o StrictHostKeyChecking=accept-new" -fi +# 退役的远端：以前这一节会配 GitHub / Gitee 辅仓。2026-10-06 起异地备份改走 +# OpenList 上的加密 bundle（与 git 远端无关），所以 git 远端只留 CNB 主仓。 +# 若这份工作区是从旧部署续用的，顺手把残留的退役远端清掉， +# 免得 `git pushall` 或后端按 PUSH_REMOTES 推送时撞上已失效的远端。 +for _retired_remote in gh gitee gitea; do + git -C "$BLOG_DIR" remote remove "$_retired_remote" 2>/dev/null || true +done # 容器里要能 commit —— 顺手把身份写进仓库配置（不改全局） git -C "$BLOG_DIR" config user.name "$GIT_AUTHOR_NAME" diff --git a/docker-compose.editor.yml b/docker-compose.editor.yml index 3fccc7a2..9d3f033b 100644 --- a/docker-compose.editor.yml +++ b/docker-compose.editor.yml @@ -27,7 +27,7 @@ services: # 容器内监听 0.0.0.0 没关系 —— 外面那层端口映射已经把它锁在宿主机回环上了 BIND_HOST: 0.0.0.0 GIT_BRANCH: main - PUSH_REMOTES: origin,gitee + PUSH_REMOTES: origin GIT_AUTHOR_NAME: blog-editor GIT_AUTHOR_EMAIL: editor@usj.cc MAX_UPLOAD_MB: "20" diff --git a/editor-api/Dockerfile b/editor-api/Dockerfile index 9c7287ec..ab31365a 100644 --- a/editor-api/Dockerfile +++ b/editor-api/Dockerfile @@ -9,7 +9,7 @@ FROM node:22-alpine -# git：发布用。ca-certificates：https 远端（CNB / GitHub）要它 +# git：发布用。ca-certificates：https 远端（CNB）要它 # # ★ apk 源默认换成阿里云镜像：国内机器直连 dl-cdn.alpinelinux.org 实测慢到不可用 # （单个包 30~40 秒，12 个包要 7 分钟），换源后几秒装完。 diff --git a/editor-api/README.md b/editor-api/README.md index 46171cdb..d51c9a39 100644 --- a/editor-api/README.md +++ b/editor-api/README.md @@ -67,7 +67,7 @@ | `BIND_HOST` | `0.0.0.0` | 容器内监听地址；靠 compose 的端口映射限成 127.0.0.1 | | `TRASH_DIR` | `/app/trash` | 删除文章的回收目录（**在仓库外**，不进 git） | | `GIT_BRANCH` | `main` | 工作分支 | -| `PUSH_REMOTES` | `origin,gitee` | 依次推送；主仓失败才算发布失败，辅仓失败只警告 | +| `PUSH_REMOTES` | `origin` | 依次推送的远端；**主仓失败才算发布失败**，其余远端失败只警告。异地备份不在此列 —— 走 OpenList 上的加密 bundle（`scripts/backup-bundle.mjs`） | | `GIT_AUTHOR_NAME` / `GIT_AUTHOR_EMAIL` | `blog-editor` | 自动提交的作者 | | `DEFAULT_AUTHOR` | 空 | 新建文章时 front matter `author` 的默认值 | | `MAX_UPLOAD_MB` | `20` | 单张图片上限 | diff --git a/editor-api/server.mjs b/editor-api/server.mjs index 4493bc0f..f881d0a2 100644 --- a/editor-api/server.mjs +++ b/editor-api/server.mjs @@ -29,7 +29,7 @@ const cfg = { contentDir: path.resolve(env.BLOG_ROOT || '/blog', 'content', 'posts'), trashDir: path.resolve(env.TRASH_DIR || '/app/trash'), branch: env.GIT_BRANCH || 'main', - pushRemotes: (env.PUSH_REMOTES || 'origin,gitee').split(',').map((s) => s.trim()).filter(Boolean), + pushRemotes: (env.PUSH_REMOTES || 'origin').split(',').map((s) => s.trim()).filter(Boolean), authorName: env.GIT_AUTHOR_NAME || 'blog-editor', authorEmail: env.GIT_AUTHOR_EMAIL || 'editor@localhost', defaultAuthor: env.DEFAULT_AUTHOR || '', diff --git a/scripts/backup-bundle.mjs b/scripts/backup-bundle.mjs index ff87e160..47f79e77 100644 --- a/scripts/backup-bundle.mjs +++ b/scripts/backup-bundle.mjs @@ -19,7 +19,7 @@ * node scripts/backup-bundle.mjs # 加密 + 上传 + 比对字节数 * node scripts/backup-bundle.mjs --verify # 额外下载回来比对 sha256（慢，但端到端最可靠） * node scripts/backup-bundle.mjs --dry # 只打包加密，不上传 - * node scripts/backup-bundle.mjs --keep 3 # 远端保留最近 3 份 + * node scripts/backup-bundle.mjs --keep 7 # 远端保留最近 7 份（默认） * node scripts/backup-bundle.mjs --no-encrypt # 不加密（仅当历史里的敏感文件已洗净） * node scripts/backup-bundle.mjs --decrypt <文件> [--out x.bundle] # 解密（恢复用） * node scripts/backup-bundle.mjs --list # 列出远端现有备份 @@ -233,7 +233,7 @@ if (ENCRYPT && !cfg.BACKUP_PASSPHRASE) { process.exit(2); } -const KEEP = Number(arg('keep', 2)) || 2; +const KEEP = Number(arg('keep', 7)) || 7; const VERIFY = has('verify'); const DRY = has('dry'); diff --git a/scripts/backup-run.mjs b/scripts/backup-run.mjs new file mode 100644 index 00000000..dad4613f --- /dev/null +++ b/scripts/backup-run.mjs @@ -0,0 +1,167 @@ +#!/usr/bin/env node +/** + * 备份包装器 —— 给「唯一辅仓」加一道失败告警 + * ===================================================================== + * 为什么需要它： + * OpenList（中兴 F50）现在是**唯一的异地备份**。而这类「每天自动跑」的任务 + * 最典型的失败模式恰恰是**静默**的 —— F50 被带出门、换了网段、OpenList + * 容器重启后没起来、WebDAV 口令改过……这些都不会有人主动发现， + * 直到某天真的要用备份时才发现最近三个月一份都没成功。 + * + * CNB 主仓还在，所以这不会立刻致命；但「唯一辅仓悄悄失效」这件事本身 + * 必须被告知。于是加这一层：跑备份 → 失败就发邮件。 + * + * 它做什么： + * 1. 读 .workbuddy-backup/openlist-backup.env（KEY=VALUE，# 开头为注释） + * —— 只填充**尚未设置**的环境变量，环境变量优先（与 backup-bundle.mjs 一致） + * 2. 跑 scripts/backup-bundle.mjs，参数原样转发，输出实时透传 + * 3. 退出码非 0 → 用 scripts/send_mail.js 发告警邮件，正文附日志尾部 + * 成功时默认不发（避免每天一封的邮件疲劳）；加 --notify-success 才发 + * 4. **原样返回 backup-bundle.mjs 的退出码**（发信失败不改变它 —— + * 通知不该掩盖真正的故障，也不该把成功改判成失败） + * + * 用法（一般由 scripts/backup-task.cmd 调用，也可手跑）： + * node scripts/backup-run.mjs # 等价于 backup-bundle.mjs 默认参数 + * node scripts/backup-run.mjs --verify --keep 7 + * node scripts/backup-run.mjs --dry --notify-success + * node scripts/backup-run.mjs --list + * + * 邮件相关环境变量（未配则静默跳过发信，不让通知拖垮备份）： + * SMTP_HOST / SMTP_PORT / SMTP_USER / SMTP_PASS / SMTP_TO + * 未设 SMTP_USER 时会回落到 MAIL_USERNAME（本站既有命名），SMTP_PASS 同理。 + */ + +import fs from 'node:fs'; +import path from 'node:path'; +import { spawn } from 'node:child_process'; +import { fileURLToPath } from 'node:url'; + +const HERE = path.dirname(fileURLToPath(import.meta.url)); +const REPO = path.resolve(HERE, '..'); +const BACKUP_SCRIPT = path.join(HERE, 'backup-bundle.mjs'); +const MAIL_SCRIPT = path.join(HERE, 'send_mail.js'); +const ENV_FILE = path.join(REPO, '.workbuddy-backup', 'openlist-backup.env'); + +function log(...a) { + console.log('[' + new Date().toTimeString().slice(0, 8) + ']', ...a); +} + +// ---- 1. 载入 env 文件（只补空缺，环境变量优先） ---- +function loadEnvFile(file) { + let raw; + try { + raw = fs.readFileSync(file, 'utf8'); + } catch { + return { loaded: false, count: 0 }; + } + let count = 0; + for (const line of raw.split(/\r?\n/)) { + const s = line.trim(); + if (!s || s.startsWith('#')) continue; + const eq = s.indexOf('='); + if (eq <= 0) continue; + const k = s.slice(0, eq).trim(); + // 值可能被引号包住 —— 只做去引号这一种规整 + let v = s.slice(eq + 1).trim(); + if ((v.startsWith('"') && v.endsWith('"')) || (v.startsWith("'") && v.endsWith("'"))) { + v = v.slice(1, -1); + } + if (process.env[k] === undefined) { + process.env[k] = v; + count++; + } + } + return { loaded: true, count }; +} + +const envInfo = loadEnvFile(ENV_FILE); +log('配置文件:', envInfo.loaded ? `${ENV_FILE}（补入 ${envInfo.count} 项）` : `${ENV_FILE} 不存在，只用环境变量`); + +// ---- 2. 参数拆分：--notify-success 归自己，其余原样转发给 backup-bundle.mjs ---- +const argv = process.argv.slice(2); +const notifySuccess = argv.includes('--notify-success'); +const passThrough = argv.filter((a) => a !== '--notify-success'); + +function mailConfigured() { + const user = process.env.SMTP_USER || process.env.MAIL_USERNAME || ''; + const pass = process.env.SMTP_PASS || process.env.MAIL_PASSWORD || ''; + return Boolean(user && pass); +} + +// ---- 3. 跑备份，实时透传输出，同时留一份尾部用于邮件正文 ---- +log('开始：', process.execPath.split(/[\\/]/).pop(), BACKUP_SCRIPT, passThrough.join(' ') || '(默认参数)'); +const t0 = Date.now(); +const child = spawn(process.execPath, [BACKUP_SCRIPT, ...passThrough], { + cwd: REPO, + env: process.env, + stdio: ['ignore', 'pipe', 'pipe'], +}); + +const TAIL_MAX = 6000; +let tail = ''; +const keep = (d) => { + tail += d.toString('utf8'); + if (tail.length > TAIL_MAX) tail = tail.slice(-TAIL_MAX); +}; + +child.stdout.on('data', (d) => { process.stdout.write(d); keep(d); }); +child.stderr.on('data', (d) => { process.stderr.write(d); keep(d); }); + +const code = await new Promise((resolve) => { + child.on('close', (c) => resolve(c === null ? 1 : c)); + child.on('error', (e) => { + console.error('启动备份失败:', e.message); + keep(`启动备份失败: ${e.message}\n`); + resolve(1); + }); +}); + +const secs = ((Date.now() - t0) / 1000).toFixed(1); +log(`结束：exit=${code} 用时 ${secs}s`); + +// ---- 4. 发信 ---- +// 退出用 process.exitCode 而不是 process.exit()：到这一步 stdout 还可能有 +// 未排干的写入，process.exit() 会在 flush 前终止进程（Node 官方文档明确警告过）。 +// 这里已经是脚本尾部，设完让 Node 自行结束即可。 +if (code === 0 && !notifySuccess) { + log('备份成功（未配置 --notify-success，不发信）'); + process.exitCode = 0; +} else if (!mailConfigured()) { + log('未配置 SMTP 凭据，跳过发信。需要时在 openlist-backup.env 里补 SMTP_USER / SMTP_PASS'); + process.exitCode = code; +} else { + const ok = code === 0; + const stamp = new Date().toLocaleString('zh-CN', { hour12: false }); + const subject = ok + ? '【优世界】整仓离线备份成功' + : `【优世界】★ 整仓离线备份失败（exit=${code}）`; + + const body = [ + `时间：${stamp}`, + `结果：${ok ? '成功' : '失败'}（exit=${code}）`, + `用时：${secs}s`, + `命令：backup-bundle.mjs ${passThrough.join(' ') || '(默认参数)'}`, + '', + ok ? '备份已上传到 OpenList 并通过校验。' : '★ 备份没有完成 —— 异地备份这一层目前是失效的。', + '', + '常见原因：', + ' · 中兴 F50 不在线 / 换了网段 → 检查 OPENLIST_URL 是否仍可达', + ' · OpenList 容器重启后没起来', + ' · WebDAV 账号或口令改过', + ' · 仓库体积增长导致超时', + '', + '--------- 输出尾部 ---------', + tail.trim() || '(无输出)', + ].join('\n'); + + log('发送通知邮件…'); + const mail = spawn(process.execPath, [MAIL_SCRIPT], { + cwd: REPO, + env: { ...process.env, MAIL_SUBJECT: subject, MAIL_BODY: body }, + stdio: 'inherit', + }); + const mailCode = await new Promise((r) => mail.on('close', (c) => r(c === null ? 1 : c))); + log(mailCode === 0 ? '通知邮件已处理' : `通知邮件失败（exit=${mailCode}，不影响备份退出码）`); + + process.exitCode = code; +} diff --git a/scripts/backup-task.cmd b/scripts/backup-task.cmd index a87a5724..6c6bc7f7 100644 --- a/scripts/backup-task.cmd +++ b/scripts/backup-task.cmd @@ -2,9 +2,15 @@ rem ============================================================================ rem blog full-repo backup - entry point for Windows Task Scheduler rem -rem scripts/backup-bundle.mjs does the real work: -rem git bundle --all -> AES-256-GCM encrypt -> WebDAV upload to OpenList -rem on the ZTE F50, then downloads it back and compares sha256. +rem scripts/backup-run.mjs is what gets invoked. It: +rem - loads .workbuddy-backup\openlist-backup.env +rem - runs scripts/backup-bundle.mjs (git bundle --all -> AES-256-GCM encrypt +rem -> WebDAV upload to OpenList on the ZTE F50 -> sha256 readback check) +rem - emails an alert through scripts/send_mail.js when the backup fails +rem +rem OpenList is the ONLY off-site copy, so a silent failure would mean running +rem with no backup at all. Hence failures raise an email instead of just +rem appending to a log nobody reads. rem rem Notes: rem * This file is intentionally pure ASCII. cmd.exe parses a .bat/.cmd using @@ -12,9 +18,12 @@ rem the *current* code page (GBK on zh-CN) while node emits UTF-8. A UTF-8 rem Chinese comment can swallow the CR/LF and break the following line rem (seen in practice: a rem line got executed as a command). ASCII is a rem subset of UTF-8, so plain-English text mixes safely with node output. +rem For the same reason the alert subject/body (which is Chinese) is built +rem inside backup-run.mjs, never here. rem * node resolution order: PATH -> WorkBuddy managed -> D:\nodejs rem * Log appends to .workbuddy-backup\logs\backup.log, rotated at 5 MB -rem * .workbuddy-backup is git-ignored; logs and passphrase never enter git +rem * .workbuddy-backup is git-ignored; logs, passphrase and SMTP creds +rem never enter git rem * Exit code is passed through (0 = success), visible in Task Scheduler rem ============================================================================ setlocal @@ -22,7 +31,7 @@ setlocal set "REPO=%~dp0.." if "%REPO:~-1%"=="\" set "REPO=%REPO:~0,-1%" set "LOG=%REPO%\.workbuddy-backup\logs" -set "SCRIPT=%REPO%\scripts\backup-bundle.mjs" +set "SCRIPT=%REPO%\scripts\backup-run.mjs" if not exist "%LOG%" mkdir "%LOG%" @@ -45,8 +54,11 @@ set "STAMP=%TIME%" for /f "delims=" %%I in ('powershell -NoProfile -Command "[DateTime]::Now.ToString('yyyy-MM-dd HH:mm:ss')" 2^>nul') do set "STAMP=%%I" rem --- arguments: use %* when given (handy for manual runs, e.g. --dry / --list) --- +rem keep 7 = one week of daily snapshots (~600 MB each, ~4.2 GB total, the +rem F50 has 256 GB). OpenList is the only off-site copy, so a wider window +rem is worth the space. Pass --notify-success to also get a daily OK mail. set "ARGS=%*" -if "%ARGS%"=="" set "ARGS=--verify --keep 3" +if "%ARGS%"=="" set "ARGS=--verify --keep 7" echo. >> "%LOG%\backup.log" echo [%STAMP%] ===== backup start ===== >> "%LOG%\backup.log" diff --git a/scripts/setup-cnb-remotes.sh b/scripts/setup-cnb-remotes.sh index d0b37f58..890b53e4 100644 --- a/scripts/setup-cnb-remotes.sh +++ b/scripts/setup-cnb-remotes.sh @@ -1,47 +1,52 @@ #!/usr/bin/env bash -# 配置远端：CNB 主仓 + Gitee 辅仓（异地备份，不参与构建） -# +# ===================================================================== +# 配置 git 远端 —— 本项目只有 CNB 一个远端 +# ===================================================================== # 历史沿革： # 2026-10-04 从「GitHub + 自建 Gitea 双推」切到「CNB 主 + GitHub 备份」 -# 2026-10-06 GitHub 账号被平台标记、仓库被按 AUP 清空 → 移除 gh， -# 改为「CNB 主 + Gitee 辅」（见 架构总览.md §5.2） +# 2026-10-06 GitHub 账号被平台标记、仓库被按 AUP 清空 → 移除 gh +# 2026-10-06 一度改为「CNB 主 + Gitee 辅」，但 Gitee 免费版卡在 +# 单仓 500MB / 单文件 50MB 两道硬门槛（本仓 bin/linux/hugo 83.1MB）， +# 云效 Codeup 虽宽松却同属国内大区 —— 多一层同类平台不如换一类介质 +# ★ 定案：**异地备份不走 git 远端**。 +# 备份 = 整仓 bundle + AES-256-GCM 加密 → 中兴 F50 上的 OpenList +# （scripts/backup-bundle.mjs，计划任务 Blog-BundleBackup 每天 03:30） +# 故 git 远端只剩 CNB origin，pushall 也只推 origin。 # -# 为什么不用「一个 remote 挂多个 pushurl」： +# 为什么当初不用「一个 remote 挂多个 pushurl」： # 实测（2026-10-04）git 对多个 pushurl 是「顺序推、遇错即停」—— -# 第一个失败，后面的远端一个都不会推。那就失去备份意义了。 -# 故拆成两个 remote + 一个 alias，两段各自独立、互不阻塞。 +# 第一个失败，后面的远端一个都不会推，那就失去备份意义了。 +# 所以真要加辅仓，得用「独立 remote + 别名」而不是 pushurl。 +# （现行方案连这个都不需要了 —— 备份已经换介质。） # # 用法： -# bash scripts/setup-cnb-remotes.sh [GITEE_URL] +# bash scripts/setup-cnb-remotes.sh # # 例： -# bash scripts/setup-cnb-remotes.sh https://cnb.cool/zqlit/blog \ -# https://gitee.com/zqlit/blog.git +# bash scripts/setup-cnb-remotes.sh https://cnb.cool/zqlit/blog # # 附带令牌（直接写进 Windows 凭据管理器，以后不再输）： -# CNB_TOKEN='你的令牌' GITEE_TOKEN='你的私人令牌' \ -# bash scripts/setup-cnb-remotes.sh https://cnb.cool/zqlit/blog https://gitee.com/zqlit/blog.git +# CNB_TOKEN='你的令牌' bash scripts/setup-cnb-remotes.sh https://cnb.cool/zqlit/blog # # 回退：脚本会把改动前的配置备份到 .workbuddy-backup/git-remotes.<时间戳>.txt +# ===================================================================== set -euo pipefail CNB_URL="${1:-}" -GITEE_URL="${2:-${GITEE_URL:-}}" if [ -z "$CNB_URL" ]; then cat <<'USAGE' -用法：bash scripts/setup-cnb-remotes.sh [GITEE_URL] +用法：bash scripts/setup-cnb-remotes.sh 提示： - · CNB / Gitee 仓库地址直接用仓库页地址，带不带 .git 都行 + · CNB 仓库地址直接用仓库页地址，带不带 .git 都行 · CNB **不支持 SSH**，只能 HTTPS + 访问令牌（用户名固定填 cnb，密码填令牌） 令牌：「个人设置 → 访问令牌」，勾「代码仓库 → 读写」 - · Gitee 支持 HTTPS + 私人令牌（也可用 SSH） - 令牌：「设置 → 私人令牌」→ https://gitee.com/profile/personal_access_tokens - 勾选 projects（仓库读写）；用户名填 Gitee 用户名 - · ⚠️ Gitee 免费版：单仓库 ≤ 500MB、单文件 ≤ 50MB。 - 本仓 `bin/linux/hugo` 是 83.1MB，**必须先移出 git** 才推得上去。 + · 本项目**没有** git 辅仓。异地备份走中兴 F50 上的 OpenList： + scripts/backup-bundle.mjs 打包 + AES-256-GCM 加密 + 上传（含校验与恢复） + .workbuddy-backup/openlist-backup.env 连接与口令配置（被 git 忽略） + Windows 计划任务 Blog-BundleBackup 每天 03:30 自动跑 USAGE exit 1 fi @@ -51,13 +56,6 @@ case "$CNB_URL" in *) echo "地址看起来不是 CNB 的：$CNB_URL"; exit 1 ;; esac -if [ -n "$GITEE_URL" ]; then - case "$GITEE_URL" in - https://gitee.com/*|git@gitee.com:*) ;; - *) echo "地址看起来不是 Gitee 的：$GITEE_URL"; exit 1 ;; - esac -fi - ROOT="$(git rev-parse --show-toplevel)" cd "$ROOT" @@ -66,90 +64,72 @@ BACKUP=".workbuddy-backup/git-remotes.$STAMP.txt" mkdir -p .workbuddy-backup { echo "# 改动前的 git 远端配置（$STAMP）" - echo "# 用途：回退参考。本文件含明文凭据，勿提交、勿外传。" + echo "# 用途：回退参考。本文件可能含明文凭据，勿提交、勿外传。" echo echo "## git remote -v" git remote -v echo - echo "## 原始 remote.* 配置" - git config --get-regexp '^remote\.' || true + echo "## 原始 remote.* 与 credential.* 配置" + git config --local --get-regexp '^(remote|credential)\.' || true } > "$BACKUP" echo "原配置已备份：$BACKUP" -# 1) origin = CNB（主仓，fetch + push，触发构建） +# 1) origin = CNB（唯一远端，fetch + push，触发构建） git remote remove origin 2>/dev/null || true git remote add origin "$CNB_URL" -# 2) gitee = 辅仓（异地备份，不参与构建） -# 没给地址就保留现有同名 remote 不动（避免把已配好的删掉） -if [ -n "$GITEE_URL" ]; then - git remote remove gitee 2>/dev/null || true - git remote add gitee "$GITEE_URL" -else - echo "未提供 GITEE_URL —— 跳过 gitee remote（现有同名远端保持不变）" -fi +# 2) 清理退役远端 +# gh(GitHub) / gitee / gitea 都已不在备份体系内 —— 留着只会在 +# `git pushall` 或后端按 PUSH_REMOTES 推送时撞上失效远端，白白报错。 +for retired in gh gitee gitea; do + if git remote | grep -qx "$retired"; then + git remote remove "$retired" + echo "已移除退役远端：$retired" + fi +done -# 3) gh（GitHub）已退役，若有残留直接清掉 -if git remote | grep -qx gh; then - git remote remove gh - echo "已移除残留的 gh（GitHub）远端" -fi +# 3) pushall +# 现在只有一个远端，但仍保留这个别名 —— 文档与肌肉记忆都在用它， +# 将来若真要再加辅仓，改这一行即可。 +git config alias.pushall '!git push origin main' -# 4) 自建 Gitea 暂时留着当只读参考。确认新链路稳定后再手工执行： -# git remote remove gitea - -# 5) 一条命令推两段。用「;」而不是「&&」——CNB 失败时照样把 Gitee 推上去 -git config alias.pushall '!git push origin main; git push gitee main' - -# 6) 凭据 +# 4) 凭据 # # 本机全局 helper 是 GCM（git-credential-manager.exe）。实测它对 cnb.cool 这类 # 第三方 HTTPS 远端会**每次都弹窗**，而且 GCM_INTERACTIVE=never + # GIT_TERMINAL_PROMPT=0 都压不住 —— git ls-remote 直接挂死（timeout 25s 未返回）。 -# → 本仓显式改用 wincred：同样写 Windows 凭据管理器（加密），但没有 UI 弹窗。 +# → 本仓按需补一个**空的** credential.helper 条目遮蔽全局 GCM， +# 再显式改用 wincred：同样写 Windows 凭据管理器（加密），但没有 UI 弹窗。 # （另：PortableGit 未打包 git-credential-store，exec-path / mingw64/bin 都没有） +# +# ★ 用「已存在就不再加」而不是 --replace-all：本仓可能另有一个从文件读令牌的 +# helper（$HOME/.workbuddy/secrets/cnb-token），那是有效的，不能被脚本抹掉。 +# 也避免重复运行把空条目越堆越多。 store_cred() { # host username password printf 'protocol=https\nhost=%s\nusername=%s\npassword=%s\n\n' "$1" "$2" "$3" \ | git credential-wincred store } -if [ -n "${CNB_TOKEN:-}" ] || [ -n "${GITEE_TOKEN:-}" ]; then - git config --local credential.helper "" -fi - if [ -n "${CNB_TOKEN:-}" ]; then + if ! git config --local --get-all credential.helper 2>/dev/null | grep -qx ''; then + git config --local --add credential.helper "" + fi git config --local credential.https://cnb.cool.helper wincred store_cred cnb.cool cnb "$CNB_TOKEN" echo "CNB 凭据已写入 Windows 凭据管理器（wincred，无弹窗）" else - echo "未提供 CNB_TOKEN，已跳过。需要时重跑：" + echo "未提供 CNB_TOKEN，已跳过凭据写入。需要时重跑：" echo " CNB_TOKEN='你的令牌' bash scripts/setup-cnb-remotes.sh $CNB_URL" fi -if [ -n "${GITEE_TOKEN:-}" ]; then - if [ -z "${GITEE_USER:-}" ]; then - echo "⚠️ 提供了 GITEE_TOKEN 但没给 GITEE_USER（Gitee 用户名），跳过 Gitee 凭据写入" - else - git config --local credential.https://gitee.com.helper wincred - store_cred gitee.com "$GITEE_USER" "$GITEE_TOKEN" - echo "Gitee 凭据已写入 Windows 凭据管理器（wincred）" - fi -else - echo "未提供 GITEE_TOKEN，已跳过。需要时重跑：" - echo " GITEE_USER='你的用户名' GITEE_TOKEN='你的私人令牌' bash scripts/setup-cnb-remotes.sh $CNB_URL \$GITEE_URL" -fi - echo echo "=== 当前远端 ===" git remote -v | sed -E 's#://[^@/]*@#://***@#g' echo -echo "=== 推送前自检 ===" -echo " 1) 有没有超 Gitee 单文件上限（50MB）的文件：" -echo " git ls-tree -r -l HEAD | awk '\$4>52428800 {print \$4/1048576\" MB \"\$5}'" -echo " 2) .git 体积（Gitee 上限 500MB）：du -sh .git" -echo echo "=== 下一步 ===" -echo " git push origin main # 推到 CNB（触发构建）" -echo " git push gitee main # 推到 Gitee 辅仓" -echo " git pushall # 两段一起" +echo " git push origin main # 推 CNB（触发构建）" +echo " git pushall # 同上（别名，现在只含这一段）" +echo +echo " 异地备份不在这里 —— 想立刻跑一次整仓加密备份：" +echo " node scripts/backup-bundle.mjs --verify --keep 7" diff --git a/架构总览.md b/架构总览.md index 0f5ffbcc..f3453cd0 100644 --- a/架构总览.md +++ b/架构总览.md @@ -28,15 +28,15 @@ | 角色 | 地址 / 位置 | 说明 | |---|---|---| -| **代码主仓** | `cnb.cool/zqlit/blog` | CNB，**私有**；构建由它触发 | -| **代码备份** | `github.com/zqlit/blog` | 仅作备份，**不参与构建** | +| **代码主仓** | `cnb.cool/zqlit/blog` | CNB，**私有**；构建由它触发；**唯一 git 远端** | +| **异地备份** | 中兴 F50 上的 OpenList（`/本地/备份/blog-bundle/`） | 整仓加密 bundle，计划任务每天 03:30 自动跑，**不依赖任何 git 平台**（见 §5.6） | | **构建 + 发布** | CNB 流水线（腾讯云国内节点，4 核 8G） | 托管，0 元（免费额度内） | | **密钥仓库** | `cnb.cool/zqlit/blog-secrets` | CNB「密钥仓库」类型，10 项变量经 `imports` 注入 | | **境内源站** | 又拍云对象存储 | 由 CNB 国内节点**直传**（原为 `if: false` 的死代码） | | **国内加速** | 多吉云 CDN | 回源又拍云 | | **境外线路** | EdgeOne Pages（项目 `hugo-blog`，`--area overseas`） | 腾讯 EdgeOne 国际站 | | **评论后端** | `api.200181.xyz` | Cloudflare Workers | -| **通知** | QQ 邮件（`imql@qq.com`） | 已收敛为**单一通道** | +| **通知** | QQ 邮件（`imql@qq.com`） | 已收敛为**单一通道**；同时承担备份失败告警（§5.6） | > 关键点：境内、境外仍是**两条独立线路**，但**由同一条流水线一次推完** —— > 这是本次迁移最大的结构性改善。 @@ -48,9 +48,10 @@ ``` ① 写作 write-server（网页） 或 write/（本地 Windows） │ -② git push git pushall = git push origin main ; git push gitee main - │ ├─ origin → cnb.cool/zqlit/blog （主仓，触发构建） - │ └─ gitee → gitee.com/…/blog （辅仓，异地备份，不构建） +② git push git push origin main （别名 git pushall，同一件事） + │ └─ origin → cnb.cool/zqlit/blog （**唯一远端**，触发构建） + │ ★ 异地备份不走 git 远端 —— 由本机计划任务每天 03:30 + │ 跑整仓加密 bundle 传到 F50 上的 OpenList（§5.6） ▼ ③ CNB 流水线（国内节点，约 3.5 分钟，7 个 stage 顺序执行） ├─ 1. Hugo 构建 草稿隐藏预处理 → hugo --minify --gc → 算构建哈希 @@ -112,34 +113,69 @@ ### 5.1 推送 ```bash -git pushall # 别名 = git push origin main; git push gitee main -git push origin main # ← 当前实际只用这条：gitee remote 尚未建立（见 §6 #2） +git push origin main # 推 CNB（触发构建） +git pushall # 完全等价 —— 它只是个别名，本仓只有这一个远端 ``` -用 `;` 而非 `&&` —— **一段失败不影响另一段**（实测：串联 `pushurl` 时第一个失败会中止后续）。 +**本仓只有 `origin` 一个 git 远端。** 曾经的双推（`git push origin main; git push gh main`） +随 GitHub 退役而取消；后来一度改写成 `origin + gitee`，也随「异地备份改用 OpenList」 +（§5.6）一并取消 —— 备份换了介质，就不再需要第二个 git 远端。 + +留着的两条教训： + +- **不要用「一个 remote 挂多个 pushurl」** —— 实测 git 是「顺序推、遇错即停」， + 第一个失败后面的都不推，备份意义就没了。真要加辅仓，得用「独立 remote + 别名」。 +- 别名当初写成 `;` 串联而非 `&&`，正是为了让一段失败不影响另一段。现在只有一个远端， + 这层考虑自然消失。 ### 5.2 远端 | remote | 地址 | 角色 | |---|---|---| -| `origin` | `https://cnb.cool/zqlit/blog.git` | **主仓**（fetch + push，触发 CNB 构建） | -| `gitee` | `https://gitee.com/<用户名>/blog.git` | **辅仓**（push，异地备份，不参与构建） | -| `gitea` | 自建 `23.254.236.47:3001` | 只读参考，稳定后手工删 | +| `origin` | `https://cnb.cool/zqlit/blog.git` | **唯一远端**（fetch + push，触发 CNB 构建） | -> ⚠️ **`gh`（GitHub）已于 2026-10-06 移除。** +已移除的远端（改动前的完整配置快照留在 `.workbuddy-backup/git-remotes.*.txt`）： + +| remote | 地址 | 移除于 | 原因 | +|---|---|---|---| +| `gh` | `github.com/zqlit/blog` | 2026-10-06 | 账号被标记、仓库被按 AUP 清空（见下） | +| `gitee` | （从未真正建立过） | 2026-10-06 | 两条硬门槛过不去，改走 OpenList 离线备份（§5.3） | +| `gitea` | 自建 `23.254.236.47:3001` | 2026-10-06 | 发布链路早已不依赖；留着只会在推送时撞上落后 56 个提交的旧副本 | + +> **远端仓库本身都没删，只是本地不再挂。** 想临时恢复自建 Gitea 副本： +> ```bash +> git remote add gitea http://<用户名>:<密码>@23.254.236.47:3001/zqlit/blog.git +> git push gitea main +> ``` + +> ⚠️ **GitHub 退役记录（2026-10-06）** +> > 起因：GitHub 账号被平台标记，随后仓库被按 AUP 合规条款清空 —— > 远端留下一条**孤立提交**（无父提交）： +> > ``` > c21d5669 2026-10-06 20:08:32 +0800 zqlit > chore: remove repository content (AUP compliance) > ``` +> > 同时远端 `main` 的历史与本地**完全分叉**（两边只共享 2024-07-11 的 `Initial commit`， > 之后每个提交 SHA 都不同；远端那份是 989 提交、剥离了 `.env`/私钥/大二进制的变体）。 > 教训：**别把「备份」寄托在会对内容做合规处置的平台上**； > 且一旦某次历史被重写，SHA 从此再也对不上。 -> 远端配置的改动前快照留在 `.workbuddy-backup/git-remotes.20261006-201354.txt`。 +> +> 本项目随后清掉了 GitHub 的**全部**痕迹：remote、推送别名、发布链路里 4 处硬编码 +> （`bootstrap.sh` / `docker-compose.editor.yml` / `server.mjs` / `README.md`）、 +> 以及 CI 定义本身（整个 `.github/` 目录，1268 行）。 -### 5.3 辅仓选型（2026-10-06 实测核算） +### 5.3 异地备份的定案（2026-10-06） + +**结论：异地备份不走 git 远端 —— 改用整仓加密 bundle → OpenList（见 §5.6）。** + +一句话理由：备份要防的是「平台整体出问题」，而把副本放到**另一家同样性质的平台**上， +只是把鸡蛋从左边口袋挪到右边口袋。真正的第三层得**换介质**。 + +下面这些实测数据保留下来 —— 下次再冒出「要不要加个 git 辅仓」的念头时， +这几张表就是答案。 体积分布（HEAD，实测 457.4 MB / 2509 文件）： @@ -180,10 +216,15 @@ git push origin main # ← 当前实际只用这条：gitee remote 尚未建 ② 基础版无「删库保护」，容量到 90% 提醒、**超限直接禁止写操作**（连删文件都做不了）。 已有的阿里云 OSS AccessKey **不能**用来建 Codeup 仓库 —— git 推送走独立的克隆账号密码或 SSH Key。 -> ★ **但这些都只是「换一个篮子」，不是容灾。** -> CNB 与 Gitee/Codeup 同属国内大区，GitHub/GitLab 又执行同一套合规逻辑 +> ★ **这些都只是「换一个篮子」，不是容灾。** +> CNB 与 Gitee/Codeup 同属国内大区；GitHub/GitLab 又执行同一套合规逻辑 > （本轮 GitHub 被按 AUP 清空即为例证）。 -> 真正的第三层是**不依赖任何平台账号**的离线备份 —— 见 §5.6。 +> 所以最终**一个 git 辅仓都没有采用** —— 改用不依赖任何平台账号的离线备份：见 §5.6。 + +**顺带一个副作用**：`bin/linux/hugo`「出库」这件事**不用做了**。 +那个 83.1 MB 二进制之所以成为问题，只因为它卡在 Gitee 的单文件 50 MB 上限上。 +既然不走 Gitee，`deploy/Dockerfile` 的取 hugo 方式与 `.cnb.yml` 的 `by:` 字段 +**一行都不用改**。 ### 5.4 凭据 @@ -198,12 +239,21 @@ git push origin main # ← 当前实际只用这条：gitee remote 尚未建 - ⚠️ CNB 的 `imports` 是**一层映射**（key 就是变量名本身）；又拍云服务名在 CNB 里必须叫 **`UPYUN_SERVICE`**（旧 Gitea 里叫 `UPYUN_BUCKET`，照抄会「变量未定义」） -### 5.6 整仓离线备份（中兴 F50 / OpenList，2026-10-06 上线） +### 5.6 整仓离线备份（中兴 F50 / OpenList）★ 当前**唯一**的异地备份 + +> **定位**：2026-10-06 起这一层就是本项目的异地备份本体 —— 不再有任何 git 辅仓（§5.3）。 +> 所以它的**可靠性**与**失败可见性**都比以前更重要：它一旦悄悄失效，代码就只剩 CNB 一处。 +> 失败告警因此是必备件，不是加分项。 **目标介质**：中兴 F50 5G CPE 内置 256 GB 存储，上面跑 OpenList -（`http://192.168.0.1:5244`，WebDAV 端点带 `/dav` 前缀）。7×24 常开、走局域网、 +（`http://192.168.0.1:5244`，WebDAV 端点**必须带 `/dav` 前缀**）。7×24 常开、走局域网、 **不依赖任何 git 平台账号** —— 这是它比「再选一个代码托管平台」更值钱的地方。 +**存放位置**：`/本地/备份/blog-bundle/` —— **专属子目录，不是 `/本地/备份/` 根下**。 +根目录由用户自己在用（放着 `github-zqlit-*`、`local-repos-*` 等手工备份）， +把文件混进去既容易被误删，也让「清理旧份」多一层风险。 +（早期版本确实直接写在根目录下，实测发现文件已被清掉，故改为子目录隔离。） + **为什么是 bundle 而不是直接推 git**：WebDAV 不支持原子的 rename/lock， 把 bare repo 挂上去直接 `git push` 会让对象写坏 —— 表面成功、实际随机损坏， 可能几个月后才发现。bundle 是**单文件顺序写**，没有这个问题。 @@ -222,27 +272,52 @@ node spawn 直接 `EBUSY`）。改用 Node 内置 `crypto` 的 **AES-256-GCM** **用法**（`scripts/backup-bundle.mjs`，零 npm 依赖）： ```bash +# 推荐入口：带失败告警的包装器（计划任务用的就是它） +node scripts/backup-run.mjs # = backup-bundle 的默认参数 +node scripts/backup-run.mjs --verify --keep 7 # 计划任务的默认组合 +node scripts/backup-run.mjs --dry --notify-success # 试跑并强制发一封成功邮件 + +# 底层脚本（backup-run.mjs 就是转发到它） node scripts/backup-bundle.mjs # 加密 + 上传 + 比对字节数 node scripts/backup-bundle.mjs --verify # 额外下载回来比对 sha256（端到端最可靠） node scripts/backup-bundle.mjs --dry # 只打包加密，不上传 -node scripts/backup-bundle.mjs --keep 3 # 远端保留最近 3 份 +node scripts/backup-bundle.mjs --keep 7 # 远端保留最近 7 份（默认值） node scripts/backup-bundle.mjs --list # 列出远端现有备份 node scripts/backup-bundle.mjs --decrypt <文件> [--out x.bundle] # 恢复用 ``` **配置**（按序查找，先找到生效）：环境变量 → `~/.openlist-backup.env` → `.workbuddy-backup/openlist-backup.env`（**已在 .gitignore 内**）。 -键为 `OPENLIST_URL` / `OPENLIST_USER` / `OPENLIST_PASS` / `OPENLIST_DIR` / `BACKUP_PASSPHRASE`。 + +| 键 | 用途 | +|---|---| +| `OPENLIST_URL` / `OPENLIST_USER` / `OPENLIST_PASS` | OpenList 地址与账号 | +| `OPENLIST_DIR` | 远端目录，当前 `/本地/备份/blog-bundle` | +| `BACKUP_PASSPHRASE` | bundle 加密口令 | +| `SMTP_HOST` / `SMTP_PORT` / `SMTP_USER` / `SMTP_PASS` / `SMTP_TO` | 失败告警发信（复用 CNB 流水线那套 QQ 邮箱授权码） | > ⚠️ `BACKUP_PASSPHRASE` 是恢复 bundle 的唯一钥匙，**必须另存进密码管理器**。 -> 但它不构成单点：CNB 主仓与自建 Gitea 仍是明文，口令丢了只是少一份备份。 +> 它不构成单点：CNB 主仓仍是明文副本，口令丢了只是少一份备份。 + +**失败告警**（`scripts/backup-run.mjs`）—— 这是「唯一辅仓」的必备件。 +跑完备份后，退出码非 0 就通过 `scripts/send_mail.js` 发一封告警邮件 +（主题带 `★`，正文附日志尾部与常见原因清单）。成功时默认**不发**（避免每天一封的邮件疲劳）， +加 `--notify-success` 才发。 + +> 为什么非做不可：「每天自动跑」的任务最典型的失败模式恰恰是**静默**的 —— +> F50 被带出门、换了网段、OpenList 重启后没起来、WebDAV 口令改过…… +> 没人会主动发现，直到真要用备份那天。 +> 发信逻辑独立于备份逻辑：**发信失败不改判备份的退出码**，通知不该掩盖真正的故障。 **定时任务**：Windows 计划任务 `Blog-BundleBackup`，每天 **03:30（本地）** -执行 `scripts/backup-task.cmd`（默认 `--verify --keep 3`）。 +执行 `scripts/backup-task.cmd`（默认 `--verify --keep 7`）。 设置：`InteractiveToken` + `LeastPrivilege`、`StartWhenAvailable`（错过就补跑）、 `ExecutionTimeLimit=PT1H`、`MultipleInstances=IgnoreNew`（防重入）。 日志追加到 `.workbuddy-backup/logs/backup.log`，超 5 MB 自动轮转。 +> 保留 **7 份 = 一周窗口**（每份 605.5 MB ≈ 4.2 GB，F50 有 256 GB）。 +> 原本是 3 份；升格为「唯一辅仓」后放宽 —— 空间不值钱，回溯窗口值钱。 + ★ `backup-task.cmd` **内容必须全 ASCII**：cmd.exe 按**当前代码页**（zh-CN 是 GBK） 解析批处理文件，而 node 输出 UTF-8；UTF-8 中文注释会吞掉 CR/LF、 把下一行当命令执行（实测踩到：一条 `rem` 被当命令跑了）。 @@ -256,16 +331,17 @@ git bundle verify blog.bundle # 应报 "records a complete history" git clone blog.bundle blog # 或 git fetch blog.bundle 'refs/*:refs/*' ``` -**实测数据**（2026-10-06，由计划任务实际拉起跑通）： +**实测数据**（2026-10-06）： | 阶段 | 耗时 | |---|---| | `git bundle create --all` | 6.8 ~ 9.9 s（605.5 MB） | -| AES-256-GCM 加密 | 1.9 ~ 2.9 s（体积不变） | -| WebDAV 上传 | 19.4 ~ 20.6 s → **29.4 ~ 31.3 MB/s** | -| 下载回读 + sha256 比对 | ≈ 19 s，**一致** | +| AES-256-GCM 加密 | 1.3 ~ 2.9 s（体积不变） | +| WebDAV 上传 | 19.2 ~ 20.6 s → **29.4 ~ 31.6 MB/s** | +| 下载回读 + sha256 比对 | ≈ 30 s，**一致** | -端到端退出码 0；恢复链路已演练（解密 → `git bundle verify` → 1008 提交完整一致）。 +端到端退出码 0；恢复链路已演练（解密 → `git bundle verify` → 1008 提交完整一致）； +失败告警的邮件链路也已实测（发出一封「备份成功」验证信到 `imql@qq.com`）。 --- @@ -273,16 +349,17 @@ git clone blog.bundle blog # 或 git fetch blog.bundle 'refs/*:refs/*' | # | 项 | 说明 | |---|---|---| -| 1 | `gh` remote（GitHub） | ✅ **已移除**（2026-10-06）。GitHub 账号被标记、仓库被 AUP 清空 —— **GitHub 已彻底退出本项目的备份体系**：远端、推送别名、发布链路、CI 定义全部清干净。辅仓选型见 #2 | -| 2 | **辅仓选型（未定）** | 当前 `pushall` 已写成 `origin + gitee`，但 `gitee` remote **尚不存在** → 每次 `git pushall` 的第二段会报错（**不影响 CNB 那段**）。两条路：**Gitee**（需先解 §5.3 两条硬约束）或**云效 Codeup**（见 §5.3 对照，零改造，但需绑钉钉或选「地域组织」）。定下后再 `git remote add` | -| 3 | `bin/linux/hugo` 出库 | 83.1MB，超 Gitee 单文件上限。**只有选 Gitee 才必须做**；选 Codeup 则不必（占其命令行 200MB 上限的 41.6%）。要做的话需改为构建时获取（国内镜像 / CNB 对象存储），并同步改 `.cnb.yml` 的 `by:` 字段 | -| 4 | `gitea` remote | 只读保留，稳定几天后 `git remote remove gitea` | -| 5 | GitHub 侧旧 workflow | ✅ **已删除**（2026-10-06）。整个 `.github/` 目录移除（`deploy.yml` 1169 行 + `aliyun-backup.yml` + `cleanup.yml`）—— **GitHub 已不再是任何环节的依赖**。旧实现可在 git 历史中查 | +| 1 | `gh` remote（GitHub） | ✅ **已移除**（2026-10-06）。GitHub 账号被标记、仓库被 AUP 清空 —— **GitHub 已彻底退出本项目**：远端、推送别名、发布链路 4 处硬编码、CI 定义全部清干净 | +| 2 | **异地备份方案** | ✅ **已定案**（2026-10-06）：**不走 git 远端**，改用整仓加密 bundle → F50/OpenList（§5.6）。`pushall` 已收回为「只推 origin」，`gitee` / `gitea` 远端均已移除。选型依据（Gitee 两道硬门槛、Codeup 对照）保留在 §5.3 备查 | +| 3 | `bin/linux/hugo` 出库 | ✅ **不必做**。那个 83.1MB 二进制只卡 Gitee 的单文件上限；既然不走 Gitee，`deploy/Dockerfile` 的取 hugo 方式与 `.cnb.yml` 的 `by:` 字段一行都不用改 | +| 4 | `gitea` remote | ✅ **已移除**（2026-10-06）。远端仓库本身没删，需要时可 `git remote add` 恢复（命令见 §5.2） | +| 5 | GitHub 侧旧 workflow | ✅ **已删除**（2026-10-06）。整个 `.github/` 目录移除（`deploy.yml` 1169 行 + `aliyun-backup.yml` + `cleanup.yml`），共 −1284 行 —— **GitHub 已不再是任何环节的依赖**。旧实现可在 git 历史中查 | | 6 | 令牌 scope | 缺 `repo-cnb-history:r`（读构建日志）；补上后 agent 可自行排错 | | 7 | Gitea 主机 / 广州中转机 | 发布链路已不依赖；是否退役取决于其它用途 | -| 8 | `README.md` | 仍写着旧 GitHub Actions 流程，待更新 | -| 9 | **敏感文件仍在跟踪中** | `.env`、`GITEA_SECRETS.md`、`write-server/nginx/ssl/privkey.pem`、`content/posts/2024/.../setup-secrets.png` —— 推任何一个新平台前都应先 `git rm --cached` 并轮换凭据。⚠️ 当初「不改写历史」的唯一顾虑是备份会分叉；**GitHub 那份已消失，这个顾虑没有了** → 现在是 `git filter-repo` 彻底抹掉它们的最佳窗口（代价：全部提交 SHA 改变、自建 Gitea 需重推）。离线 bundle 已加密（§5.6），不受此影响 | -| 10 | **整仓离线备份** | ✅ **已上线**（2026-10-06），见 §5.6。计划任务 `Blog-BundleBackup` 每天 03:30 跑，端到端已验证。待补三件安全项：把 `BACKUP_PASSPHRASE` 抄进密码管理器；给 OpenList **改掉 admin 密码 + 开两步验证**（现 `otp: false`，且旧密码已出现在对话里）；确认 5244 端口**未暴露到公网** | +| 8 | `README.md` | ✅ 已更新（去 GitHub 化 + 补上备份脚本说明） | +| 9 | **敏感文件仍在跟踪中** | `.env`、`GITEA_SECRETS.md`、`write-server/nginx/ssl/privkey.pem`、`content/posts/2024/.../setup-secrets.png` —— 若还要推任何新平台，先 `git rm --cached` 并轮换凭据。⚠️ 当初「不改写历史」的唯一顾虑是备份会分叉；**GitHub 那份已消失，这个顾虑没有了** → `git filter-repo` 现在是可行窗口（代价：全部提交 SHA 改变）。离线 bundle 已加密（§5.6），不受此影响 | +| 10 | **整仓离线备份** | ✅ **已上线**（2026-10-06），**且是当前唯一的异地备份**，见 §5.6。计划任务 `Blog-BundleBackup` 每天 03:30 跑，端到端已验证；失败会发告警邮件（已实测）。待补三件安全项：把 `BACKUP_PASSPHRASE` 抄进密码管理器；给 OpenList **改掉 admin 密码 + 开两步验证**（现 `otp: false`，且旧密码已出现在对话里）；确认 5244 端口**未暴露到公网** | +| 11 | **F50 存储目录的使用约定** | `/本地/` 下的 `刷机` / `系统` / `资料` / `软件` / `驱动` / `备份` 都是用户自己在管的类别。**本项目的 bundle 只写 `备份/blog-bundle/` 子目录**，不与用户手工备份（`github-zqlit-*`、`local-repos-*`）混放 | --- @@ -295,6 +372,6 @@ git clone blog.bundle blog # 或 git fetch blog.bundle 'refs/*:refs/*' **证据出处（现行）**：`.cnb.yml`（284 行）、`deploy/Dockerfile`、`bin/linux/hugo`、 `scripts/send_mail.js`、`scripts/refresh_cdn.js`、`scripts/setup-cnb-remotes.sh`、 -`scripts/backup-bundle.mjs`、`scripts/backup-task.cmd`。 +`scripts/backup-bundle.mjs`、`scripts/backup-run.mjs`、`scripts/backup-task.cmd`。 原 GitHub Actions 流水线（`.github/workflows/deploy.yml`，1169 行）已于 2026-10-06 删除， 需要查请翻 git 历史。