feat(backup): 整仓离线备份上线 —— bundle 加密后传中兴 F50 上的 OpenList
背景：GitHub 被按 AUP 清空后，用户提出自己的中兴 F50（5G CPE + 内置 256GB）
上跑着 OpenList，想用它当第三层备份。实测可行，已落地并跑通。
为什么是 bundle 而不是直接推 git：
WebDAV 不支持原子的 rename/lock，bare repo 挂上去 push 会让对象写坏 ——
表面成功、实际随机损坏，可能几个月后才发现。bundle 是单文件顺序写，安全。
为什么加密（用户一度想省掉）：
历史里含 .env、TLS 私钥、GITEA_SECRETS.md。介质是随身设备的内部存储，
明文 = 把密钥放在一台可能丢失/刷机/送修的机器上。
OpenList 的登录只保护「访问通道」，不保护「存储介质」——拆机就能读。
加密成本实测仅 1.9~2.9 秒、体积不变；且 CNB/Gitea 仍是明文副本，
口令丢失只是少一份备份，不构成单点。
实现（scripts/backup-bundle.mjs，零 npm 依赖）：
- git bundle create --all → AES-256-GCM（Node 内置 crypto）
- 布局 magic(8)|salt(16)|iv(12)|密文|tag(16)，scrypt(N=32768,r=8,p=1) 派生密钥
- 为什么不用 gpg：本机 gpg 2.4.9 在 Windows 下已损坏（反复 stale lockfile，
node spawn 直接 EBUSY）；换内置 crypto 后零外部依赖且带认证标签
- 上传后可选 --verify：下载回来比对 sha256，端到端闭环
- --keep 控制远端保留份数；--decrypt 恢复；--list 盘点；--dry 不上传
定时任务（scripts/backup-task.cmd + Windows 计划任务 Blog-BundleBackup）：
- 每天 03:30 本地时间，默认 --verify --keep 3
- InteractiveToken + LeastPrivilege、StartWhenAvailable、1h 超时、IgnoreNew 防重入
- 日志追加到 .workbuddy-backup/logs/backup.log，超 5MB 轮转
★ backup-task.cmd 内容必须全 ASCII：
cmd.exe 按当前代码页（zh-CN 是 GBK）解析批处理文件，而 node 输出 UTF-8。
UTF-8 中文注释会吞掉 CR/LF 并把下一行当命令执行 —— 实测踩到（一条 rem 被当命令跑）。
ASCII 是 UTF-8 子集，纯英文注释与 node 的中文输出混写不会乱。
同理不能用 %date%（含本地化星期），改用系统时间 API 取 ISO 格式时间。
日志轮转的 for 语句必须加 if exist 守卫，否则首次运行报「系统找不到指定的路径」。
实测（由计划任务实际拉起，非手工执行）：
bundle 6.8~9.9s（605.5MB）/ 加密 1.9~2.9s / 上传 19.4~20.6s（29.4~31.3 MB/s）
/ 下载回读 sha256 一致，端到端退出码 0
恢复链路已演练：--decrypt → git bundle verify 报 "records a complete history"
→ 1008 提交完整一致
文档（架构总览.md）：
- §5.3 从「Gitee 两条硬约束」扩写为「辅仓选型」，补入云效 Codeup 基础版对照
（Git 5GiB + 单文件命令行 200MB）—— 选它则 bin/linux/hugo 不必出库、
构建链路一行不用改
- 新增 §5.6 整仓离线备份（介质 / 为什么 bundle / 为什么加密 / 加密格式 / 用法 /
配置 / 定时任务 / 恢复流程 / 实测数据）
- §6 待办：#2 改为「辅仓选型未定」并说明 pushall 现状；#3 标注只有选 Gitee 才必须做；
#9 补记「不改写历史」的唯一障碍已随 GitHub 消失；新增 #10 备份已上线 + 三项安全待办
This commit is contained in:
zqlit committed
1 parent
b39dc29753
commit
8abe93d17a
3 files changed
+501
-16
No files matched your search
@@ -0,0 +1,331 @@
|
||||
#!/usr/bin/env node
|
||||
/**
|
||||
* 整仓备份 → 单个 bundle 文件 → AES-256-GCM 加密 → WebDAV 上传到 OpenList。
|
||||
*
|
||||
* 为什么是 bundle 而不是直接推 git：
|
||||
* WebDAV 不支持原子的 rename/lock，把 bare repo 挂上去直接 `git push` 会让对象写坏
|
||||
* （表面成功、实际随机损坏，可能几个月后才发现）。bundle 是单文件顺序写，安全。
|
||||
*
|
||||
* 为什么默认加密：
|
||||
* 本仓库历史里含 .env、TLS 私钥、GITEA_SECRETS.md。目标介质是手机内部存储，
|
||||
* 未加密等于把密钥明文放在一台可能被刷机/丢失/他人访问的设备上。
|
||||
*
|
||||
* 为什么不用 gpg：
|
||||
* 本机 gpg 2.4.9 在 Windows 下已损坏（反复 `removing stale lockfile`，node spawn 直接 EBUSY）。
|
||||
* 改用 Node 内置 crypto 的 AES-256-GCM：零外部依赖、带认证标签（能检测篡改/截断）、
|
||||
* 可流式处理 600 MB 不爆内存。加密格式见下方注释，解密由本脚本 `--decrypt` 完成。
|
||||
*
|
||||
* 用法：
|
||||
* node scripts/backup-bundle.mjs # 加密 + 上传 + 比对字节数
|
||||
* node scripts/backup-bundle.mjs --verify # 额外下载回来比对 sha256（慢，但端到端最可靠）
|
||||
* node scripts/backup-bundle.mjs --dry # 只打包加密，不上传
|
||||
* node scripts/backup-bundle.mjs --keep 3 # 远端保留最近 3 份
|
||||
* node scripts/backup-bundle.mjs --no-encrypt # 不加密（仅当历史里的敏感文件已洗净）
|
||||
* node scripts/backup-bundle.mjs --decrypt <文件> [--out x.bundle] # 解密（恢复用）
|
||||
* node scripts/backup-bundle.mjs --list # 列出远端现有备份
|
||||
*
|
||||
* 配置（按此顺序查找，先找到的生效）：
|
||||
* 1. 环境变量 OPENLIST_URL / OPENLIST_USER / OPENLIST_PASS / BACKUP_PASSPHRASE / OPENLIST_DIR
|
||||
* 2. ~/.openlist-backup.env
|
||||
* 3. .workbuddy-backup/openlist-backup.env （已在 .gitignore 内）
|
||||
*
|
||||
* 加密文件布局： magic(8) | salt(16) | iv(12) | 密文(...) | GCM tag(16)
|
||||
*/
|
||||
|
||||
import fs from 'node:fs';
|
||||
import path from 'node:path';
|
||||
import os from 'node:os';
|
||||
import crypto from 'node:crypto';
|
||||
import http from 'node:http';
|
||||
import https from 'node:https';
|
||||
import { execFileSync } from 'node:child_process';
|
||||
import { pipeline } from 'node:stream/promises';
|
||||
import { fileURLToPath } from 'node:url';
|
||||
|
||||
const REPO = path.resolve(path.dirname(fileURLToPath(import.meta.url)), '..');
|
||||
const MAGIC = Buffer.from('BLOGBKP1', 'ascii');
|
||||
const SCRYPT = { N: 1 << 15, r: 8, p: 1, maxmem: 128 * 1024 * 1024 };
|
||||
const HEAD = MAGIC.length + 16 + 12;
|
||||
|
||||
function arg(name, def) {
|
||||
const i = process.argv.indexOf('--' + name);
|
||||
if (i < 0) return def;
|
||||
const next = process.argv[i + 1];
|
||||
return next && !next.startsWith('--') ? next : true;
|
||||
}
|
||||
const has = (n) => process.argv.includes('--' + n);
|
||||
|
||||
function log(...a) {
|
||||
console.log('[' + new Date().toTimeString().slice(0, 8) + ']', ...a);
|
||||
}
|
||||
const mb = (n) => (n / 1048576).toFixed(1) + ' MB';
|
||||
|
||||
function loadEnvFile(p) {
|
||||
if (!fs.existsSync(p)) return {};
|
||||
const out = {};
|
||||
for (const line of fs.readFileSync(p, 'utf8').split(/\r?\n/)) {
|
||||
if (line.trim().startsWith('#')) continue;
|
||||
const m = /^\s*([A-Za-z0-9_]+)\s*=\s*(.*?)\s*$/.exec(line);
|
||||
if (m) out[m[1]] = m[2].replace(/^["']|["']$/g, '');
|
||||
}
|
||||
return out;
|
||||
}
|
||||
|
||||
const cfg = {
|
||||
...loadEnvFile(path.join(REPO, '.workbuddy-backup', 'openlist-backup.env')),
|
||||
...loadEnvFile(path.join(os.homedir(), '.openlist-backup.env')),
|
||||
...Object.fromEntries(
|
||||
['OPENLIST_URL', 'OPENLIST_USER', 'OPENLIST_PASS', 'BACKUP_PASSPHRASE', 'OPENLIST_DIR']
|
||||
.filter((k) => process.env[k])
|
||||
.map((k) => [k, process.env[k]])
|
||||
),
|
||||
};
|
||||
|
||||
/* ---------- 加密 ---------- */
|
||||
|
||||
async function encryptFile(src, dst, passphrase) {
|
||||
const salt = crypto.randomBytes(16);
|
||||
const iv = crypto.randomBytes(12);
|
||||
const key = crypto.scryptSync(passphrase, salt, 32, SCRYPT);
|
||||
const cipher = crypto.createCipheriv('aes-256-gcm', key, iv);
|
||||
fs.writeFileSync(dst, Buffer.concat([MAGIC, salt, iv]));
|
||||
await pipeline(fs.createReadStream(src), cipher, fs.createWriteStream(dst, { flags: 'a' }));
|
||||
fs.appendFileSync(dst, cipher.getAuthTag());
|
||||
}
|
||||
|
||||
async function decryptFile(src, passphrase, out) {
|
||||
const size = fs.statSync(src).size;
|
||||
if (size < HEAD + 16) throw new Error('文件太小，不是有效备份');
|
||||
const fd = fs.openSync(src, 'r');
|
||||
const head = Buffer.alloc(HEAD);
|
||||
fs.readSync(fd, head, 0, HEAD, 0);
|
||||
const tag = Buffer.alloc(16);
|
||||
fs.readSync(fd, tag, 0, 16, size - 16);
|
||||
fs.closeSync(fd);
|
||||
if (!head.subarray(0, 8).equals(MAGIC)) throw new Error('magic 不匹配，不是本脚本产生的备份');
|
||||
const salt = head.subarray(8, 24);
|
||||
const iv = head.subarray(24, 36);
|
||||
const key = crypto.scryptSync(passphrase, salt, 32, SCRYPT);
|
||||
const decipher = crypto.createDecipheriv('aes-256-gcm', key, iv);
|
||||
decipher.setAuthTag(tag);
|
||||
await pipeline(
|
||||
fs.createReadStream(src, { start: HEAD, end: size - 17 }),
|
||||
decipher,
|
||||
fs.createWriteStream(out)
|
||||
);
|
||||
}
|
||||
|
||||
/* ---------- WebDAV ---------- */
|
||||
|
||||
const BASE = new URL(String(cfg.OPENLIST_URL || 'http://127.0.0.1').replace(/\/+$/, ''));
|
||||
const AUTH = 'Basic ' + Buffer.from((cfg.OPENLIST_USER || '') + ':' + (cfg.OPENLIST_PASS || '')).toString('base64');
|
||||
const isHttps = BASE.protocol === 'https:';
|
||||
const transport = isHttps ? https : http;
|
||||
const DAVDIR = cfg.OPENLIST_DIR || '/本地/git-backup';
|
||||
// ★ OpenList 的 WebDAV 端点挂在 /dav 下。少了这个前缀会打到普通 HTTP 路由上，
|
||||
// 表现是 MKCOL/PUT 全部返回 405 Method Not Allowed（很容易误以为是权限问题）。
|
||||
const DAV_PREFIX = cfg.OPENLIST_DAV_PREFIX || '/dav';
|
||||
|
||||
function davReq(method, urlPath, { file, extraHeaders = {} } = {}) {
|
||||
return new Promise((resolve, reject) => {
|
||||
const u = new URL(BASE.href.replace(/\/+$/, '') + urlPath.replace(/ /g, '%20'));
|
||||
const headers = { Authorization: AUTH, ...extraHeaders };
|
||||
if (file) headers['Content-Length'] = fs.statSync(file).size;
|
||||
const req = transport.request(
|
||||
{ hostname: u.hostname, port: u.port || (isHttps ? 443 : 80), path: u.pathname + u.search, method, headers },
|
||||
(res) => {
|
||||
const chunks = [];
|
||||
res.on('data', (c) => chunks.push(c));
|
||||
res.on('end', () => resolve({ status: res.statusCode, headers: res.headers, body: Buffer.concat(chunks).toString('utf8') }));
|
||||
}
|
||||
);
|
||||
req.on('error', reject);
|
||||
if (file) {
|
||||
const rs = fs.createReadStream(file);
|
||||
rs.on('error', reject);
|
||||
rs.pipe(req);
|
||||
} else req.end();
|
||||
});
|
||||
}
|
||||
|
||||
// prefixEncoded: 已带好并已存在的端点前缀（如 /dav），不参与创建
|
||||
// relEncoded: 前缀之下、各段已编码的相对目录
|
||||
async function ensureDir(prefixEncoded, relEncoded) {
|
||||
let cur = prefixEncoded;
|
||||
for (const seg of relEncoded.split('/').filter(Boolean)) {
|
||||
cur += '/' + seg;
|
||||
const r = await davReq('MKCOL', cur);
|
||||
if (r.status === 201) { log(' 建目录', decodeURIComponent(cur)); continue; }
|
||||
// 405 在 WebDAV 里表示「已存在」，但不能无脑相信 —— 真回到普通 HTTP 路由也会给 405。
|
||||
// 所以补一次 PROPFIND 确认，避免把路径写错（例如漏了 /dav 前缀）当成「目录已存在」而静默放过。
|
||||
if ([405, 301, 200].includes(r.status)) {
|
||||
const chk = await davReq('PROPFIND', cur, { extraHeaders: { Depth: '0' } });
|
||||
if (chk.status >= 400) {
|
||||
throw new Error(`目录 ${decodeURIComponent(cur)} 既没建成也不存在（MKCOL ${r.status} / PROPFIND ${chk.status}）—— 检查 OPENLIST_DIR 与 /dav 前缀`);
|
||||
}
|
||||
continue;
|
||||
}
|
||||
throw new Error(`建目录失败 ${decodeURIComponent(cur)} → HTTP ${r.status}`);
|
||||
}
|
||||
}
|
||||
|
||||
function linkNames(xml) {
|
||||
const out = [];
|
||||
const re = /<(?:D:|d:)?href>([^<]+)<\/(?:D:|d:)?href>/g;
|
||||
let m;
|
||||
while ((m = re.exec(xml))) {
|
||||
const name = decodeURIComponent(m[1]).replace(/\/+$/, '').split('/').pop();
|
||||
if (name) out.push(name);
|
||||
}
|
||||
return out;
|
||||
}
|
||||
|
||||
function sha256File(p) {
|
||||
return new Promise((resolve, reject) => {
|
||||
const h = crypto.createHash('sha256');
|
||||
const rs = fs.createReadStream(p);
|
||||
rs.on('data', (c) => h.update(c));
|
||||
rs.on('end', () => resolve(h.digest('hex')));
|
||||
rs.on('error', reject);
|
||||
});
|
||||
}
|
||||
|
||||
const relDirEncoded = DAVDIR.split('/').filter(Boolean).map(encodeURIComponent).join('/');
|
||||
const davDirPath = DAV_PREFIX + '/' + relDirEncoded;
|
||||
const RE_BACKUP = /^blog-\d{8}-\d{6}\.bundle(\.enc)?$/;
|
||||
|
||||
/* ---------- 子命令：解密 / 列出 ---------- */
|
||||
|
||||
const decArg = arg('decrypt', null);
|
||||
if (decArg) {
|
||||
const src = path.resolve(String(decArg));
|
||||
const out = String(arg('out', src.replace(/\.enc$/, '')));
|
||||
if (!cfg.BACKUP_PASSPHRASE) { console.error('缺少 BACKUP_PASSPHRASE'); process.exit(2); }
|
||||
await decryptFile(src, cfg.BACKUP_PASSPHRASE, out);
|
||||
log('解密完成 →', out, mb(fs.statSync(out).size));
|
||||
log('恢复仓库： git clone "' + out + '" blog-restored');
|
||||
process.exit(0);
|
||||
}
|
||||
|
||||
if (has('list')) {
|
||||
await ensureDir(DAV_PREFIX, relDirEncoded);
|
||||
const ls = await davReq('PROPFIND', davDirPath, { extraHeaders: { Depth: '1' } });
|
||||
const files = linkNames(ls.body).filter((n) => RE_BACKUP.test(n)).sort().reverse();
|
||||
log('远端目录', DAVDIR);
|
||||
for (const f of files) {
|
||||
const st = await davReq('HEAD', davDirPath + '/' + encodeURIComponent(f));
|
||||
const when = new Date(st.headers['last-modified'] || Date.now()).toISOString().replace('T', ' ').slice(0, 19);
|
||||
log(' ' + f + ' ' + mb(Number(st.headers['content-length'] || 0)) + ' ' + when);
|
||||
}
|
||||
if (!files.length) log(' (无备份)');
|
||||
process.exit(0);
|
||||
}
|
||||
|
||||
/* ---------- 主流程 ---------- */
|
||||
|
||||
if (!cfg.OPENLIST_URL || !cfg.OPENLIST_USER || !cfg.OPENLIST_PASS) {
|
||||
console.error('缺少 OpenList 配置（OPENLIST_URL / OPENLIST_USER / OPENLIST_PASS）');
|
||||
process.exit(2);
|
||||
}
|
||||
const ENCRYPT = !has('no-encrypt');
|
||||
if (ENCRYPT && !cfg.BACKUP_PASSPHRASE) {
|
||||
console.error('缺少 BACKUP_PASSPHRASE —— 加密备份必须有口令（确实要明文存放请显式加 --no-encrypt）');
|
||||
process.exit(2);
|
||||
}
|
||||
|
||||
const KEEP = Number(arg('keep', 2)) || 2;
|
||||
const VERIFY = has('verify');
|
||||
const DRY = has('dry');
|
||||
|
||||
const stamp = new Date().toISOString().replace(/[-:]/g, '').replace(/\..+/, '').replace('T', '-');
|
||||
const tmpRoot = path.join(REPO, '.workbuddy-backup', 'tmp');
|
||||
fs.mkdirSync(tmpRoot, { recursive: true });
|
||||
const tmpDir = fs.mkdtempSync(path.join(tmpRoot, 'run-'));
|
||||
const rawBundle = path.join(tmpDir, `blog-${stamp}.bundle`);
|
||||
|
||||
try {
|
||||
log('仓库:', REPO);
|
||||
log('1/6 打包 bundle（git bundle create --all）…');
|
||||
let t = Date.now();
|
||||
execFileSync('git', ['-C', REPO, 'bundle', 'create', rawBundle, '--all'], { stdio: ['ignore', 'inherit', 'inherit'] });
|
||||
log(` 完成 ${mb(fs.statSync(rawBundle).size)} 用时 ${((Date.now() - t) / 1000).toFixed(1)}s`);
|
||||
|
||||
let upload = rawBundle;
|
||||
let finalName = path.basename(rawBundle);
|
||||
|
||||
if (ENCRYPT) {
|
||||
log('2/6 AES-256-GCM 加密（scrypt 派生密钥）…');
|
||||
const enc = rawBundle + '.enc';
|
||||
t = Date.now();
|
||||
await encryptFile(rawBundle, enc, cfg.BACKUP_PASSPHRASE);
|
||||
fs.unlinkSync(rawBundle);
|
||||
upload = enc;
|
||||
finalName = path.basename(enc);
|
||||
log(` 完成 ${mb(fs.statSync(upload).size)} 用时 ${((Date.now() - t) / 1000).toFixed(1)}s`);
|
||||
} else {
|
||||
log('2/6 跳过加密（--no-encrypt）—— 请确认历史里已无敏感文件');
|
||||
}
|
||||
|
||||
const size = fs.statSync(upload).size;
|
||||
const sha = await sha256File(upload);
|
||||
log(` 本地 sha256 = ${sha}`);
|
||||
|
||||
if (DRY) {
|
||||
log('--dry：不上传。文件留在', upload);
|
||||
process.exit(0);
|
||||
}
|
||||
|
||||
log('3/6 准备远端目录', DAVDIR);
|
||||
await ensureDir(DAV_PREFIX, relDirEncoded);
|
||||
|
||||
log('4/6 上传中…');
|
||||
t = Date.now();
|
||||
const put = await davReq('PUT', davDirPath + '/' + encodeURIComponent(finalName), {
|
||||
file: upload, extraHeaders: { 'Content-Type': 'application/octet-stream' },
|
||||
});
|
||||
const secs = (Date.now() - t) / 1000;
|
||||
if (![200, 201, 204].includes(put.status)) throw new Error('上传失败 HTTP ' + put.status);
|
||||
log(` 完成 ${mb(size)} / ${secs.toFixed(1)}s → ${(size / 1048576 / secs).toFixed(1)} MB/s`);
|
||||
|
||||
log('5/6 校验远端');
|
||||
const stat = await davReq('HEAD', davDirPath + '/' + encodeURIComponent(finalName));
|
||||
const remoteLen = Number(stat.headers['content-length'] || 0);
|
||||
if (remoteLen !== size) log(` ★ 远端字节数不一致（本地 ${size} / 远端 ${remoteLen}）`);
|
||||
else log(` 远端字节数一致 (${mb(remoteLen)})`);
|
||||
|
||||
if (VERIFY) {
|
||||
log(' 下载回来比对 sha256…');
|
||||
const back = path.join(tmpDir, 'readback.bin');
|
||||
await new Promise((res, rej) => {
|
||||
const req = transport.request(
|
||||
{ hostname: BASE.hostname, port: BASE.port || (isHttps ? 443 : 80),
|
||||
path: davDirPath + '/' + encodeURIComponent(finalName), method: 'GET', headers: { Authorization: AUTH } },
|
||||
(r) => {
|
||||
if (r.statusCode !== 200) return rej(new Error('GET ' + r.statusCode));
|
||||
const ws = fs.createWriteStream(back);
|
||||
r.pipe(ws); ws.on('finish', res); ws.on('error', rej);
|
||||
}
|
||||
);
|
||||
req.on('error', rej); req.end();
|
||||
});
|
||||
const sha2 = await sha256File(back);
|
||||
log(' ' + (sha2 === sha ? '✓ 读回 sha256 一致 —— 数据完整' : '★ 读回 sha256 不一致 —— 备份已损坏'));
|
||||
fs.unlinkSync(back);
|
||||
}
|
||||
|
||||
log(`6/6 清理旧份（保留最近 ${KEEP} 份）`);
|
||||
const ls = await davReq('PROPFIND', davDirPath, { extraHeaders: { Depth: '1' } });
|
||||
const files = linkNames(ls.body).filter((n) => RE_BACKUP.test(n)).sort().reverse();
|
||||
log(' 远端现有:', files.join(', ') || '(无)');
|
||||
for (const old of files.slice(KEEP)) {
|
||||
const r = await davReq('DELETE', davDirPath + '/' + encodeURIComponent(old));
|
||||
log(` 删除 ${old} → HTTP ${r.status}`);
|
||||
}
|
||||
|
||||
log('完成。备份文件:', DAVDIR + '/' + finalName);
|
||||
fs.rmSync(tmpDir, { recursive: true, force: true });
|
||||
} catch (e) {
|
||||
console.error('\n失败:', e.message);
|
||||
console.error('（临时文件保留在 ' + tmpDir + ' 便于排查）');
|
||||
process.exit(1);
|
||||
}
|
||||
@@ -0,0 +1,61 @@
|
||||
@echo off
|
||||
rem ============================================================================
|
||||
rem blog full-repo backup - entry point for Windows Task Scheduler
|
||||
rem
|
||||
rem scripts/backup-bundle.mjs does the real work:
|
||||
rem git bundle --all -> AES-256-GCM encrypt -> WebDAV upload to OpenList
|
||||
rem on the ZTE F50, then downloads it back and compares sha256.
|
||||
rem
|
||||
rem Notes:
|
||||
rem * This file is intentionally pure ASCII. cmd.exe parses a .bat/.cmd using
|
||||
rem the *current* code page (GBK on zh-CN) while node emits UTF-8. A UTF-8
|
||||
rem Chinese comment can swallow the CR/LF and break the following line
|
||||
rem (seen in practice: a rem line got executed as a command). ASCII is a
|
||||
rem subset of UTF-8, so plain-English text mixes safely with node output.
|
||||
rem * node resolution order: PATH -> WorkBuddy managed -> D:\nodejs
|
||||
rem * Log appends to .workbuddy-backup\logs\backup.log, rotated at 5 MB
|
||||
rem * .workbuddy-backup is git-ignored; logs and passphrase never enter git
|
||||
rem * Exit code is passed through (0 = success), visible in Task Scheduler
|
||||
rem ============================================================================
|
||||
setlocal
|
||||
|
||||
set "REPO=%~dp0.."
|
||||
if "%REPO:~-1%"=="\" set "REPO=%REPO:~0,-1%"
|
||||
set "LOG=%REPO%\.workbuddy-backup\logs"
|
||||
set "SCRIPT=%REPO%\scripts\backup-bundle.mjs"
|
||||
|
||||
if not exist "%LOG%" mkdir "%LOG%"
|
||||
|
||||
rem --- rotate log at 5 MB. Guarded by if exist: on the very first run the file
|
||||
rem does not exist yet and for/f would fail with a "path not found" error ---
|
||||
if exist "%LOG%\backup.log" for %%F in ("%LOG%\backup.log") do if %%~zF GTR 5242880 move /y "%LOG%\backup.log" "%LOG%\backup.prev.log" >nul 2>&1
|
||||
|
||||
rem --- locate node ---
|
||||
set "NODE="
|
||||
for %%P in (node.exe) do if not defined NODE set "NODE=%%~$PATH:P"
|
||||
if not defined NODE if exist "%USERPROFILE%\.workbuddy\binaries\node\versions\22.22.2-6\node.exe" set "NODE=%USERPROFILE%\.workbuddy\binaries\node\versions\22.22.2-6\node.exe"
|
||||
if not defined NODE if exist "D:\nodejs\node.exe" set "NODE=D:\nodejs\node.exe"
|
||||
|
||||
if not defined NODE call :fail "node not found in PATH, WorkBuddy managed dir, or D:\nodejs"
|
||||
if not exist "%SCRIPT%" call :fail "script not found: %SCRIPT%"
|
||||
|
||||
rem --- ASCII timestamp. Do NOT use %date%: on zh-CN it carries localized
|
||||
rem weekday text (e.g. Chinese "Tuesday") which would mix encodings ---
|
||||
set "STAMP=%TIME%"
|
||||
for /f "delims=" %%I in ('powershell -NoProfile -Command "[DateTime]::Now.ToString('yyyy-MM-dd HH:mm:ss')" 2^>nul') do set "STAMP=%%I"
|
||||
|
||||
rem --- arguments: use %* when given (handy for manual runs, e.g. --dry / --list) ---
|
||||
set "ARGS=%*"
|
||||
if "%ARGS%"=="" set "ARGS=--verify --keep 3"
|
||||
|
||||
echo. >> "%LOG%\backup.log"
|
||||
echo [%STAMP%] ===== backup start ===== >> "%LOG%\backup.log"
|
||||
"%NODE%" "%SCRIPT%" %ARGS% >> "%LOG%\backup.log" 2>&1
|
||||
set "RC=%ERRORLEVEL%"
|
||||
echo [%STAMP%] ===== backup end, exit=%RC% ===== >> "%LOG%\backup.log"
|
||||
|
||||
endlocal & exit /b %RC%
|
||||
|
||||
:fail
|
||||
echo [%TIME%] ERROR: %~1 >> "%LOG%\backup.log"
|
||||
endlocal & exit /b 1
|
||||
@@ -138,17 +138,7 @@ git pushall # 别名 = git push origin main; git push gitee main
|
||||
> 且一旦某次历史被重写，SHA 从此再也对不上。
|
||||
> 远端配置的改动前快照留在 `.workbuddy-backup/git-remotes.20261006-201354.txt`。
|
||||
|
||||
### 5.3 Gitee 辅仓的两条硬约束（2026-10-06 实测核算）
|
||||
|
||||
| 约束 | Gitee 免费版 | 本仓库当前 | 判定 |
|
||||
|---|---|---|---|
|
||||
| 单仓库容量 | **≤ 500 MB** | `.git` **620 MB** | ❌ 超 24% |
|
||||
| 单文件大小 | **≤ 50 MB** | `bin/linux/hugo` **83.1 MB** | ❌ **必删** |
|
||||
| 用户总仓库容量 | 5 GB | 620 MB | ✅ |
|
||||
| 私有仓协作人数 | 5 人 | 个人 | ✅ 无关 |
|
||||
|
||||
`bin/linux/hugo` 这一条是**硬门槛**：它 83.1MB，超过单文件上限，
|
||||
**不管怎么瘦身历史，只要它还跟踪在 HEAD 里，Gitee 一律拒收**。
|
||||
### 5.3 辅仓选型（2026-10-06 实测核算）
|
||||
|
||||
体积分布（HEAD，实测 457.4 MB / 2509 文件）：
|
||||
|
||||
@@ -160,7 +150,39 @@ git pushall # 别名 = git push origin main; git push gitee main
|
||||
| `themes/` | 20.3 MB | Ying 主题 |
|
||||
| 其余全部 | ≈ 8 MB | 代码、文档、脚本 |
|
||||
|
||||
→ 移出 `bin/linux/hugo` 后 HEAD ≈ **374 MB**，Gitee 有一份余量。
|
||||
**Gitee 的两条硬约束 —— 都不满足：**
|
||||
|
||||
| 约束 | Gitee 免费版 | 本仓库当前 | 判定 |
|
||||
|---|---|---|---|
|
||||
| 单仓库容量 | **≤ 500 MB** | `.git` **620 MB** | ❌ 超 24% |
|
||||
| 单文件大小 | **≤ 50 MB** | `bin/linux/hugo` **83.1 MB** | ❌ **必删** |
|
||||
| 用户总仓库容量 | 5 GB | 620 MB | ✅ |
|
||||
| 私有仓协作人数 | 5 人 | 个人 | ✅ 无关 |
|
||||
|
||||
`bin/linux/hugo` 是**硬门槛**：**不管怎么瘦身历史，只要它还跟踪在 HEAD 里，Gitee 一律拒收**。
|
||||
→ 移出后 HEAD ≈ **374 MB**，才有一份余量。
|
||||
|
||||
**对照：阿里云效 Codeup 基础版 —— 两条硬约束一条都不存在：**
|
||||
|
||||
| 项 | Gitee 免费版 | 云效 Codeup 基础版 |
|
||||
|---|---|---|
|
||||
| 单库容量 | ≤ 500 MB | **Git 5 GiB + LFS 5 GiB** |
|
||||
| 单文件 | ≤ 50 MB | **Web 50 MB / 命令行 200 MB** |
|
||||
| 620 MB 的 `.git` | 超 24%，推不上 | 占 **12.1%** ✅ |
|
||||
| 83.1 MB 的 hugo | 超 66%，一律拒收 | 占 **41.6%** ✅ |
|
||||
| 价格 | 免费 | 0 元/人/年，不限人数、不限仓库数 |
|
||||
|
||||
→ 若选 Codeup，`bin/linux/hugo` **不必出库**，`deploy/Dockerfile` 与 `.cnb.yml` 的 `by:`
|
||||
字段**一行都不用改**（首推 620 MB 也在其 60 分钟推送超时内）。
|
||||
注意两点：① 默认「中心组织」**只支持阿里云 RAM 账号登录、且必须绑钉钉**，
|
||||
不接受的可选 2025-12 上线的「地域组织」（华东2上海，支持自建账号密码）；
|
||||
② 基础版无「删库保护」，容量到 90% 提醒、**超限直接禁止写操作**（连删文件都做不了）。
|
||||
已有的阿里云 OSS AccessKey **不能**用来建 Codeup 仓库 —— git 推送走独立的克隆账号密码或 SSH Key。
|
||||
|
||||
> ★ **但这些都只是「换一个篮子」，不是容灾。**
|
||||
> CNB 与 Gitee/Codeup 同属国内大区，GitHub/GitLab 又执行同一套合规逻辑
|
||||
> （本轮 GitHub 被按 AUP 清空即为例证）。
|
||||
> 真正的第三层是**不依赖任何平台账号**的离线备份 —— 见 §5.6。
|
||||
|
||||
### 5.4 凭据
|
||||
|
||||
@@ -175,6 +197,75 @@ git pushall # 别名 = git push origin main; git push gitee main
|
||||
- ⚠️ CNB 的 `imports` 是**一层映射**（key 就是变量名本身）；又拍云服务名在 CNB 里必须叫
|
||||
**`UPYUN_SERVICE`**（旧 Gitea 里叫 `UPYUN_BUCKET`，照抄会「变量未定义」）
|
||||
|
||||
### 5.6 整仓离线备份（中兴 F50 / OpenList，2026-10-06 上线）
|
||||
|
||||
**目标介质**：中兴 F50 5G CPE 内置 256 GB 存储，上面跑 OpenList
|
||||
（`http://192.168.0.1:5244`，WebDAV 端点带 `/dav` 前缀）。7×24 常开、走局域网、
|
||||
**不依赖任何 git 平台账号** —— 这是它比「再选一个代码托管平台」更值钱的地方。
|
||||
|
||||
**为什么是 bundle 而不是直接推 git**：WebDAV 不支持原子的 rename/lock，
|
||||
把 bare repo 挂上去直接 `git push` 会让对象写坏 —— 表面成功、实际随机损坏，
|
||||
可能几个月后才发现。bundle 是**单文件顺序写**，没有这个问题。
|
||||
|
||||
**为什么加密**：本仓库历史里含 `.env`、TLS 私钥、`GITEA_SECRETS.md`。
|
||||
介质是一台随身设备的内部存储，明文等于把密钥放在可能丢失 / 刷机 / 送修的设备上。
|
||||
OpenList 的登录只保护**访问通道**，不保护**存储介质** —— F50 丢了拆开就能读。
|
||||
|
||||
**为什么不用 gpg**：本机 gpg 2.4.9 在 Windows 下已损坏（反复 `removing stale lockfile`，
|
||||
node spawn 直接 `EBUSY`）。改用 Node 内置 `crypto` 的 **AES-256-GCM**：
|
||||
零外部依赖、带认证标签（能检测篡改/截断）、可流式处理 600 MB 不爆内存。
|
||||
|
||||
**加密文件布局**：`magic(8) | salt(16) | iv(12) | 密文(...) | GCM tag(16)`，
|
||||
密钥由 `scrypt(N=32768, r=8, p=1)` 从口令派生。
|
||||
|
||||
**用法**（`scripts/backup-bundle.mjs`，零 npm 依赖）：
|
||||
|
||||
```bash
|
||||
node scripts/backup-bundle.mjs # 加密 + 上传 + 比对字节数
|
||||
node scripts/backup-bundle.mjs --verify # 额外下载回来比对 sha256（端到端最可靠）
|
||||
node scripts/backup-bundle.mjs --dry # 只打包加密，不上传
|
||||
node scripts/backup-bundle.mjs --keep 3 # 远端保留最近 3 份
|
||||
node scripts/backup-bundle.mjs --list # 列出远端现有备份
|
||||
node scripts/backup-bundle.mjs --decrypt <文件> [--out x.bundle] # 恢复用
|
||||
```
|
||||
|
||||
**配置**（按序查找，先找到生效）：环境变量 → `~/.openlist-backup.env`
|
||||
→ `.workbuddy-backup/openlist-backup.env`（**已在 .gitignore 内**）。
|
||||
键为 `OPENLIST_URL` / `OPENLIST_USER` / `OPENLIST_PASS` / `OPENLIST_DIR` / `BACKUP_PASSPHRASE`。
|
||||
|
||||
> ⚠️ `BACKUP_PASSPHRASE` 是恢复 bundle 的唯一钥匙，**必须另存进密码管理器**。
|
||||
> 但它不构成单点：CNB 主仓与自建 Gitea 仍是明文，口令丢了只是少一份备份。
|
||||
|
||||
**定时任务**：Windows 计划任务 `Blog-BundleBackup`，每天 **03:30（本地）**
|
||||
执行 `scripts/backup-task.cmd`（默认 `--verify --keep 3`）。
|
||||
设置：`InteractiveToken` + `LeastPrivilege`、`StartWhenAvailable`（错过就补跑）、
|
||||
`ExecutionTimeLimit=PT1H`、`MultipleInstances=IgnoreNew`（防重入）。
|
||||
日志追加到 `.workbuddy-backup/logs/backup.log`，超 5 MB 自动轮转。
|
||||
|
||||
★ `backup-task.cmd` **内容必须全 ASCII**：cmd.exe 按**当前代码页**（zh-CN 是 GBK）
|
||||
解析批处理文件，而 node 输出 UTF-8；UTF-8 中文注释会吞掉 CR/LF、
|
||||
把下一行当命令执行（实测踩到：一条 `rem` 被当命令跑了）。
|
||||
ASCII 是 UTF-8 子集，纯英文注释与 node 的中文输出混写不会乱。
|
||||
|
||||
**恢复流程**：
|
||||
|
||||
```bash
|
||||
node scripts/backup-bundle.mjs --decrypt blog-<时间戳>.bundle.enc --out blog.bundle
|
||||
git bundle verify blog.bundle # 应报 "records a complete history"
|
||||
git clone blog.bundle blog # 或 git fetch blog.bundle 'refs/*:refs/*'
|
||||
```
|
||||
|
||||
**实测数据**（2026-10-06，由计划任务实际拉起跑通）：
|
||||
|
||||
| 阶段 | 耗时 |
|
||||
|---|---|
|
||||
| `git bundle create --all` | 6.8 ~ 9.9 s（605.5 MB） |
|
||||
| AES-256-GCM 加密 | 1.9 ~ 2.9 s（体积不变） |
|
||||
| WebDAV 上传 | 19.4 ~ 20.6 s → **29.4 ~ 31.3 MB/s** |
|
||||
| 下载回读 + sha256 比对 | ≈ 19 s，**一致** |
|
||||
|
||||
端到端退出码 0；恢复链路已演练（解密 → `git bundle verify` → 1008 提交完整一致）。
|
||||
|
||||
---
|
||||
|
||||
## 6. 遗留待办
|
||||
@@ -182,14 +273,15 @@ git pushall # 别名 = git push origin main; git push gitee main
|
||||
| # | 项 | 说明 |
|
||||
|---|---|---|
|
||||
| 1 | `gh` remote（GitHub） | ✅ **已移除**（2026-10-06）。GitHub 账号被标记、仓库被 AUP 清空，改以 Gitee 为辅仓 |
|
||||
| 2 | **Gitee 辅仓** | 待办：①「个人设置 → 访问令牌」建令牌（勾 `projects` 读写）；②建**私有**仓库；③`git remote add gitee …`；④解决 §5.3 的两条硬约束 |
|
||||
| 3 | `bin/linux/hugo` 出库 | 83.1MB，超 Gitee 单文件上限。需改为构建时获取（国内镜像 / CNB 对象存储），同时看 CNB 的 `docker build by:` 字段要跟着改 |
|
||||
| 2 | **辅仓选型（未定）** | 当前 `pushall` 已写成 `origin + gitee`，但 `gitee` remote **尚不存在** → 每次 `git pushall` 的第二段会报错（**不影响 CNB 那段**）。两条路：**Gitee**（需先解 §5.3 两条硬约束）或**云效 Codeup**（见 §5.3 对照，零改造，但需绑钉钉或选「地域组织」）。定下后再 `git remote add` |
|
||||
| 3 | `bin/linux/hugo` 出库 | 83.1MB，超 Gitee 单文件上限。**只有选 Gitee 才必须做**；选 Codeup 则不必（占其命令行 200MB 上限的 41.6%）。要做的话需改为构建时获取（国内镜像 / CNB 对象存储），并同步改 `.cnb.yml` 的 `by:` 字段 |
|
||||
| 4 | `gitea` remote | 只读保留，稳定几天后 `git remote remove gitea` |
|
||||
| 5 | GitHub 侧旧 workflow | `.github/workflows/*`（`deploy.yml` 1169 行 + 两个辅助）已随 GitHub 一并退役，可删 |
|
||||
| 6 | 令牌 scope | 缺 `repo-cnb-history:r`（读构建日志）；补上后 agent 可自行排错 |
|
||||
| 7 | Gitea 主机 / 广州中转机 | 发布链路已不依赖；是否退役取决于其它用途 |
|
||||
| 8 | `README.md` | 仍写着旧 GitHub Actions 流程，待更新 |
|
||||
| 9 | **敏感文件仍在跟踪中** | `.env`、`GITEA_SECRETS.md`、`write-server/nginx/ssl/privkey.pem`、`content/posts/2024/.../setup-secrets.png` —— 推任何一个新平台前都应先 `git rm --cached` 并轮换凭据 |
|
||||
| 9 | **敏感文件仍在跟踪中** | `.env`、`GITEA_SECRETS.md`、`write-server/nginx/ssl/privkey.pem`、`content/posts/2024/.../setup-secrets.png` —— 推任何一个新平台前都应先 `git rm --cached` 并轮换凭据。⚠️ 当初「不改写历史」的唯一顾虑是备份会分叉；**GitHub 那份已消失，这个顾虑没有了** → 现在是 `git filter-repo` 彻底抹掉它们的最佳窗口（代价：全部提交 SHA 改变、自建 Gitea 需重推）。离线 bundle 已加密（§5.6），不受此影响 |
|
||||
| 10 | **整仓离线备份** | ✅ **已上线**（2026-10-06），见 §5.6。计划任务 `Blog-BundleBackup` 每天 03:30 跑，端到端已验证。待补三件安全项：把 `BACKUP_PASSPHRASE` 抄进密码管理器；给 OpenList **改掉 admin 密码 + 开两步验证**（现 `otp: false`，且旧密码已出现在对话里）；确认 5244 端口**未暴露到公网** |
|
||||
|
||||
---
|
||||
|
||||
@@ -201,5 +293,6 @@ git pushall # 别名 = git push origin main; git push gitee main
|
||||
- `EdgeOne双区域方案评估.md`、`Gitee方案评估.md`、`阿里云ESA评估.md`、`精简方案-只留CF和Hugo.md` — 决策期评估
|
||||
|
||||
**证据出处（现行）**：`.cnb.yml`（284 行）、`deploy/Dockerfile`、`bin/linux/hugo`、
|
||||
`scripts/send_mail.js`、`scripts/refresh_cdn.js`、`scripts/setup-cnb-remotes.sh`。
|
||||
`scripts/send_mail.js`、`scripts/refresh_cdn.js`、`scripts/setup-cnb-remotes.sh`、
|
||||
`scripts/backup-bundle.mjs`、`scripts/backup-task.cmd`。
|
||||
已退役参考：`.github/workflows/deploy.yml`（1169 行）。
|
||||
Reference in new issue
Block a user