Tài liệu

Đây là control plane cho việc sao lưu: một chỗ để khai chính sách, phát xuống nhiều máy, và trả lời được câu hỏi khó nhất của mọi hệ thống backup — đêm qua máy nào KHÔNG sao lưu được?

Chạy được một script rclone trên từng máy là chuyện dễ. Cái khó là sau sáu tháng, khi có 40 máy, không ai còn biết máy nào đang chạy bản script nào, máy nào đã im lặng ba tuần, và cảnh báo của máy nào đang gửi vào một nhóm chat không còn ai đọc.

Một vòng chạy đầy đủ:

1. 1.Agent gọi về server (agent luôn chủ động, server không gọi ngược)
2. 2.Server trả config đã resolve + lệnh đang chờ
3. 3.Tới giờ theo lịch, agent quét thư mục nguồn
4. 4.Với tệp đã đổi, agent xin URL ký sẵn cho từng tệp
5. 5.Agent PUT thẳng lên kho lưu trữ — dữ liệu KHÔNG đi qua server
6. 6.Agent xác nhận, server cập nhật chỉ mục và trạng thái

Dữ liệu không đi qua server là chủ ý: một server 2 vCPU không thể làm trạm trung chuyển cho 40 máy cùng đẩy vài trăm GB.

1. 1
   Đặt khoá mã hoá cho server

   Không có STORAGE_KEY thì server từ chối lưu khoá kho lưu trữ và bot token — nó không ghi plaintext làm phương án thay thế.

   STORAGE_KEY=$(openssl rand -base64 32)

   Mất khoá này là mất khả năng giải mã mọi secret đã lưu. Cất cùng chỗ với mật khẩu database.

2. 2
   Khai kho lưu trữ

   Cấu hình → Kho lưu trữ. Khai một hồ sơ storage — endpoint, region, bucket khai một lần rồi chọn lại ở mọi lớp, khỏi gõ lại ở từng nơi.

   Khoá truy cập nằm bên dưới hồ sơ, được mã hoá AES-256-GCM trước khi ghi và không API nào đọc ngược ra. Chỉ còn lại vân tay 4 byte để đối chiếu đúng khoá.

3. 3
   Khai chính sách mặc định

   Cấu hình → Chính sách mặc định là lớp global, áp cho mọi máy: thư mục nguồn, loại trừ, lịch chạy, kho lưu trữ đích.

4. 4
   Cài agent lên máy cần sao lưu

   Trước hết lấy mã cài đặt ở Cấu hình → Nhóm máy → chọn nhóm → Mã cài đặt. Máy cài bằng mã của nhóm nào sẽ vào thẳng nhóm đó và nhận cấu hình của nhóm ngay từ lần sync đầu. Một mã dùng chung cho cả đợt — chọn số máy, hoặc để không giới hạn. Mọi máy dùng cùng một mã sẽ vào cùng một nhóm, nên đây cũng là cách gán sẵn một cụm máy vào cùng chính sách.

   Mã chỉ hiện đúng một lần lúc tạo — server chỉ giữ bản băm. Màn hình đó cho sẵn lệnh cài đã ghép đủ địa chỉ server và mã, chép dán thẳng được.

   Giải nén gói cài rồi chạy bằng quyền quản trị. Linux (cần systemd):

   tar xzf backup-agent-<ver>-linux-amd64.tar.gz
   cd backup-agent-<ver>-linux-amd64
   sudo ./install.sh --server https://backup.noi-bo --token <enroll-token>

   Windows — mở PowerShell bằng Run as Administrator:

   .\install.ps1 -Server https://backup.noi-bo -Token <enroll-token>

   Thư mục cần sao lưu nằm trên NAS thì đọc thêm Nguồn trên ổ mạng trước khi cài — có một cái bẫy riêng của Windows ở đó.

   Agent rơi vào trạng thái Chờ duyệt. Máy chờ duyệt không nhận config thật, không nhận khoá kho lưu trữ, không nhận bot token — cắm nhầm một máy lạ vào mạng không làm rò rỉ gì.

   Nâng cấp: chạy lại chính install script đó

   Nó tự dừng service, thay tệp chạy, rồi chạy lại — giữ nguyên danh tính máy và chỉ mục tệp đã sao lưu, nên lượt kế tiếp vẫn chỉ đẩy phần thay đổi. Đừng gỡ ra cài lại: gỡ kèm --purge sẽ xoá danh tính, máy thành máy mới trên danh sách và phải đẩy lại từ đầu.
5. 5
   Duyệt máy và gắn kênh thông báo

   Agent → chip Chờ duyệt → menu cuối dòng → Duyệt máy này. Sau đó tạo ít nhất một kênh ở Cấu hình → Thông báo và bấm Gửi thử.

   Đừng bỏ bước Gửi thử

   Không bấm thử thì lần đầu biết kênh cấu hình sai sẽ đúng vào lúc có sự cố thật.

Ba lớp, lớp sau đè lớp trước:

1. 1.global — mọi máy
2. 2.group — một nhóm máy
3. 3.agent — riêng một máy

Chỉ những mục bật công tắc mới được khai ở lớp dưới. Mục không bật rơi xuống lớp trên — vì vậy không có khái niệm “giá trị mặc định” ở lớp agent.

Với các trường dạng danh sách (nguồn, loại trừ), bắt buộc khai mode:

Bắt khai rõ vì suy đoán ngầm ở đây rất tốn: một lớp group tưởng là append nhưng chạy thành replace sẽ âm thầm ngừng sao lưu mọi thư mục khai ở global.

Hai loại hash

config_hash luôn khác nhau giữa các máy vì đích lưu trữ có id máy trong đó — nên nó không trả lời được câu “hai máy này có cùng chính sách không”. Đó là lý do có hash thứ hai.

Nhóm là lớp group ở trên. Nó tồn tại vì máy Windows và máy Linux gần như không bao giờ dùng chung được thư mục nguồn — mà khai riêng cho từng máy thì tới máy thứ mười là không ai theo nổi.

Cấu hình → Nhóm máy. Mỗi nhóm gom ba thứ vào cùng một chỗ:

Nhóm default không xoá được, và nhóm còn máy cũng không xoá được — xoá được thì những máy đó sẽ lặng lẽ rơi về chính sách global, thường là một chính sách không hợp với chúng.

Gắn máy đã cài vào nhóm

Agent → menu trên thẻ máy → Chuyển nhóm. Máy nhận chính sách mới ở lần gọi về kế tiếp, không cần cài lại và không mất chỉ mục tệp đã sao lưu.

Mã cài đặt

Một mã dùng được cho nhiều máy — cài cả một cụm bằng đúng một dòng lệnh, và cả cụm vào cùng một nhóm.

Mã chỉ hiện đúng một lần lúc tạo; server chỉ giữ bản băm. Mất thì thu hồi rồi tạo mã khác. Thu hồi có hiệu lực ngay, nhưng không đụng tới máy đã cài bằng mã đó — chúng đã có token riêng.

Hết lượt dùng thì lần enroll tiếp theo bị từ chối kèm lý do rõ ràng, chứ không báo “mã sai” — nhầm hai chuyện đó khiến người cài đi tìm lại mã trong khi mã vẫn đúng.

Endpoint, region, bucket, path-style… khai một lần thành một hồ sơ, rồi ở global / nhóm / máy chỉ việc chọn ra từ danh sách. Sửa endpoint một chỗ là mọi lớp đang trỏ tới đó đổi theo.

Cấu hình → Kho lưu trữ → Hồ sơ. Ở trình soạn chính sách, nút Chọn hồ sơ mở danh sách đã tạo sẵn; vẫn khai tay được từng trường nếu một máy cần đi hướng khác.

prefix cố ý không nằm trong hồ sơ: nó là cách chia không gian tên giữa các nhóm máy, nên nó thuộc về lớp chính sách chứ không thuộc về cái kho.

Trước khi xoá một hồ sơ, cột Đang dùng cho biết bao nhiêu lớp đang trỏ tới nó. Xoá một hồ sơ đang dùng là làm những máy đó mất đích lưu trữ.

Ngưỡng multipart

Mặc định tệp trên 5 GiB mới chia mảnh. Hạ ngưỡng khi kho lưu trữ nằm sau một lớp có giới hạn kích thước request.

Ghi thẳng vào ổ mạng thay vì S3

Provider local ghi thẳng vào một đường dẫn đã mount: NFS, SMB/CIFS, iSCSI hay một ổ rời đều dùng chung đường này, vì sau khi mount cả ba đều chỉ là một thư mục. Việc mount thuộc về hệ điều hành (fstab, autofs), không thuộc về agent.

Đường dẫn phải tuyệt đối. Các cờ trên từng nguồn:

Quy tắc loại trừ

Thư mục cần sao lưu nằm trên NAS chứ không nằm trên đĩa của máy là chuyện thường. Agent đọc được, không cần cấu hình gì thêm về giao thức — nhưng trên Windows có một cái bẫy khiến gần như ai cũng vấp đúng một lần.

Luôn khai bằng đường dẫn UNC

Ổ đã ánh xạ (X:) thuộc về phiên đăng nhập của người dùng. Agent chạy như một service ở phiên khác, nên nó không thấy ổ đó dù Explorer của bạn vẫn thấy. Triệu chứng là “The system cannot find the path specified” trên một đường dẫn mở bằng tay vẫn vào được.

Chọn cách theo loại NAS

Service phải có danh tính của riêng nó được NAS chấp nhận. Cách làm khác hẳn nhau tuỳ NAS có tham gia domain hay không:

NAS trong domain — không mật khẩu nào cả

Để nguyên cách cài mặc định. Service chạy bằng LocalSystem, và khi ra mạng nó xác thực với SMB bằng tài khoản máy:

CONGTY\TENMAY$        ← dấu $ ở cuối là bắt buộc

Cấp cho tài khoản đó quyền chỉ đọc trên share nguồn, ở phía NAS. Hết. Không có mật khẩu nào được sinh ra, nên cũng không có mật khẩu nào để lộ, để hết hạn, hay để đi đổi trên ba mươi máy.

Script cài in thẳng tên tài khoản máy ra màn hình sau khi cài xong, vì cái tên đó không hiển nhiên và đoán sai thì người ta quay sang dùng tài khoản admin cho xong chuyện.

NAS đứng riêng — khớp tên và mật khẩu

NAS không tham gia domain không hiểu tài khoản máy, nên cách trên không dùng được. Nó chỉ có danh sách user của riêng nó. Windows xác thực với share bằng tên và mật khẩu của tài khoản đang chạy service, nên cách nối hai bên lại là cho chúng trùng nhau:

1. 1.Trên NAS: tạo (hoặc dùng lại) một user chỉ có quyền ĐỌC trên share nguồn
2. 2.Trên máy Windows: tạo một tài khoản cục bộ TRÙNG cả tên lẫn mật khẩu với user đó
3. 3.Cài agent với -ServiceUser ".\ten-do" -ServicePassword "..."

.\install.ps1 -Server https://backup.noi-bo -Token <token> `
    -ServiceUser ".\svc-backup" -ServicePassword "..."

.\ ở đầu nghĩa là tài khoản cục bộ của máy này. Mật khẩu hai bên lệch nhau là hỏng, kể cả khi tên vẫn trùng — nên khi đổi mật khẩu thì phải đổi cả hai chỗ.

Tài khoản dịch vụ của domain

Khi cả máy lẫn NAS đều trong domain và bạn muốn một danh tính riêng:

.\install.ps1 -Server https://backup.noi-bo -Token <token> `
    -ServiceUser "CONGTY\svc-backup" -ServicePassword "..."

Tài khoản đó cần đúng ba thứ, và không cần là administrator:

• quyền Log on as a service trên máy này
• quyền đọc trên share nguồn
• toàn quyền trên C:\ProgramData\BackupAgent — script tự cấp

Nhiều NAS: khai hồ sơ trên web

Cách khớp tên/mật khẩu ở trên chỉ gọn khi có một NAS. Nhiều NAS với tài khoản khác nhau thì không tạo nổi một tài khoản Windows khớp với tất cả. Lúc đó: chạy service bằng một tài khoản dịch vụ dùng chung, rồi khai từng NAS ở Cấu hình → Truy cập ổ mạng.

Agent kiểm thật sau khi cấp: nó mở một đường dẫn nguồn trên NAS đó chứ không chỉ tin vào việc ghi credential thành công. Không mở được thì nó hạ xuống mức lưu ra đĩa rồi thử lại, và ghi cảnh báo — vì lúc đó mật khẩu nằm lại trên máy được sao lưu, một đánh đổi không được phép âm thầm.

Bật require_mount cho mọi nguồn mạng

Nhắc lại vì đây là chỗ nó có giá trị nhất: NAS mất kết nối trông y hệt một thư mục rỗng. Không bật cờ này thì mỗi đêm hệ thống báo “sao lưu thành công” trong khi không có tệp nào được lưu.

Kiểm bằng đúng danh tính của service

Xem service đang chạy bằng tài khoản nào — thứ quyết định mọi chuyện ở trên:

sc.exe qc backup-agent | findstr SERVICE_START_NAME

PsExec.exe -s -i cmd.exe
dir \\172.16.1.131\Share-SMB

Cron 5 trường (phút giờ ngày tháng thứ). Khi khai cả ngày trong tháng lẫn thứ trong tuần, hai điều kiện là HOẶC — giống cron của Unix.

Server giữ chỉ mục những tệp đã lưu kèm hash nội dung. Mỗi lượt, agent chỉ đẩy tệp mới hoặc đã đổi.

lượt 1:  4 tệp  →  đẩy 4, bỏ qua 0
lượt 2:  4 tệp  →  đẩy 1, bỏ qua 3   (sửa 1 tệp)
lượt 3:  4 tệp  →  đẩy 0, bỏ qua 4   (không đổi gì)

Tệp lớn

S3 chặn 5 GiB cho một lần ghi. Tệp lớn hơn được chia thành các mảnh 64 MiB và ghép lại ở đích — bản dump database vài chục GB đẩy được bình thường.

Sáu loại cảnh báo

Ai gửi: agent hay server

Chống dội tin

Hai lớp, chạy trên chính agent:

Tin bị nén lại được đếm và báo kèm trong tin tiếp theo được phép gửi. Nén im lặng sẽ biến “một máy hỏng” và “hai mươi máy hỏng” thành cùng một dòng thông báo.

Định tuyến

Mỗi kênh chọn Nhận tất cả hoặc Chỉ những loại chọn bên dưới. Tab Cảnh báo → Định tuyến hiện loại nào đi tới kênh nào — và tô đỏ loại nào không kênh nào nhận.

Tách kênh vì “máy im lặng” và “sao lưu lỗi” thường là việc của hai người khác nhau. Gộp chung thì một nhóm sẽ mute kênh, và sau đó cả hai loại cùng chìm.

Tin đã gửi

Agent gửi thẳng, rồi báo bản sao về server ở mức ưu tiên thấp — chỉ khi không có lượt sao lưu nào đang chạy, theo lô nhỏ, cách nhau vài phút. Danh sách vì thế có thể trễ vài phút so với tin thật, nhưng nó không tranh băng thông với dữ liệu.

Trực tuyến = có gọi về trong 5 phút gần nhất. Im lặng quá 15 phút thì sinh cảnh báo no_heartbeat.

Cho nghỉ hay xoá hẳn

Cả hai đều không đụng tới dữ liệu đã nằm trên kho lưu trữ, và cả hai đều không tự gỡ agent trên máy thật — máy đó chỉ mất quyền và sẽ bị từ chối mỗi lần gọi về.

Máy vẫn đang gọi về thì thao tác xoá bị chặn, kèm lý do. Xoá một máy còn sống nghĩa là hệ thống quên nó, còn nó thì vẫn chạy tiếp mà không ai thấy.

Agent gửi bản trích nhật ký về server để trả lời “đêm qua máy này có chuyện gì” mà không phải SSH vào chính cái máy đang hỏng.

Số dòng bị bỏ hiện ngay trên đầu danh sách. Im lặng cắt bớt sẽ khiến người đọc tin nhầm rằng khoảng đó không có gì xảy ra.

Những việc hệ thống chưa làm được. Liệt kê ở đây để không ai phát hiện ra chúng vào lúc cần nhất:

• Chưa có snapshot VSS. Tệp đang bị ứng dụng mở khoá ghi (database đang chạy) có thể không đọc được. Sao lưu ứng dụng sống cần dừng dịch vụ hoặc dump ra trước.
• Chưa có phục hồi từ giao diện. Dữ liệu nằm trên kho lưu trữ theo đường dẫn đọc được, nhưng phải lấy về thủ công.
• Nâng cấp agent từ xa chưa bật. Còn thiếu bước ký và kiểm chữ ký bản cài — phát một bản cài không kiểm chữ ký là biến control plane thành công cụ phát tán mã.
• Chưa có nâng cấp theo đợt. Chưa thử trên một nhóm nhỏ trước khi phát toàn bộ.
• Windows: chưa hỗ trợ gMSA. Tài khoản dịch vụ riêng vẫn phải khai mật khẩu lúc cài. Muốn hoàn toàn không mật khẩu thì dùng tài khoản máy (cách 1).
• Windows: tài khoản dịch vụ không đọc được tệp cục bộ bị chặn ACL. Chưa dùng SeBackupPrivilege, nên tài khoản không phải admin chỉ đọc được những gì ACL cho phép. Nguồn trên SMB không vướng chuyện này.