# ARCHITECTURE — Blanton TTL Script ## Overview **Blanton_TTL_Script** 是 Blanton（Project Helios）交換器平台的**系統層可靠性測試自動化腳本組**。 測試工程師在 Windows 端用 **Tera Term (TTL macro)** 透過 COM port 連上 DUT 的 SONiC console， 由 A / B / C 三支腳本依序驅動一整輪 stress + margin + error-counter 測試，全程自動存 log。 三支腳本的分工就是一輪測試的三個階段： | Script | 階段 | 做什麼 | |--------|------|--------| | `1_Blanton_Script_A.ttl` | **Pre-test / Baseline** | 登入、對時、載入 shell 工具、清 PCIe AER、抓 PCIe tree / margin / PMON / dmesg 基線 | | `2_Blanton_Script_B.ttl` | **Stress / Soak** | 開 CPU / DDR / SSD / USB 壓力程序 + 啟動 SWB loopback 線速流量，之後進無限迴圈每輪抓完整 PMON / margin | | `3_Blanton_Script_C.ttl` | **Post-test / Verdict** | 殺掉壓力程序、停流量並出 per-pair TX/RX 報表、再抓一次 PMON / dmesg / PCIe AER，比對 stress log 判定 | DUT 端的實際取數能力則來自一組 **bash 工具庫**（`Blanton_Script/`），這一層才是真正碰硬體的地方： CB FPGA 的 PCIe BAR（`pcimem`）→ FPGA 內建 I2C / VI2C master → 板上 VRM、溫度感測器、 LTC2980 margin 控制器。TTL 只負責「按順序 `sendln` 並把畫面收進 log」，硬體語意全在 bash 這層。 **使用者**：硬體 / 系統驗證工程師（ETWen、KC、Alan）。 **核心價值**：把一輪要跑數小時、跨 PCIe / DDR / I2C / 電源多個子系統的 reliability run， 壓縮成「開 Tera Term → 跑 A → 跑 B 泡著 → 跑 C 收工」三個動作，且每一筆數據都有 log 可回溯。 --- ## Tech Stack | Layer | Technology | |-------|-----------| | 測試控制端（Host） | Tera Term 5.x **TTL macro**（`.ttl`），Windows | | Host ↔ DUT 通道 | RS-232 / USB-Serial COM port（SONiC console） | | DUT OS | SONiC（Debian-based network OS），bash + busybox/mawk | | DUT 端工具語言 | Bash Shell Script | | 暫存器存取後端 | `pcimem`（mmap PCI sysfs `resource0` + BAR 相對 offset） | | I2C / PMBus 路徑 | CB FPGA F3 OpenCores I2C master、CB FPGA F3 VI2C proxy、CPU 原生 bus（`i2cset`/`i2cget`） | | 電源 margin | LTC2980（= 2 × LTC2977）over PMBus，LINEAR16 編碼 | | 錯誤計數來源 | Linux PCIe AER sysfs（`aer_dev_*`）、EDAC sysfs（`dimm_ce/ue_count`） | | 平台監控 | SONiC `show platform *`（pmon container，含 `leak status` / `leak channels`） | | BMC 存取 | host 端 `bmc-manager run ""`（不需對 BMC 開 SSH，繞開其 busybox 工具鏈） | | 壓力測試 | `mlucas-avx2`（AMD CPU）、`~/hammer/tools/stress_{mem,ssd,usb}.py` | | 資料面流量 | `bcmcmd`（Broadcom drivshell）VLAN loopback + `tx` burst，switch unit 0 / 1 | | 流量報表 | DUT 上 awk（`blanton_traffic_linespeed report`）；離線 `python3 tools/bcm_mibpair_report_V1.1.0.py` | | 版本控制 | Git（NAS + Gitea 私有 remote；**不推 GitHub，含客戶 NDA 資料**） | > ⚠️ **無編譯步驟。** TTL 與 bash 都是直譯執行，「build」等同「把 `src/Script_ABC_Blanton/` 複製到 > Tera Term 工作目錄，並把 `Blanton_Script/` scp 到 DUT 的 `~/`」。 --- ## Architecture Diagram ``` ┌──────────────────────────────────────────────────────────────┐ │ Windows Host — Tera Term 5.x │ │ │ │ 1_Blanton_Script_A.ttl ──┐ │ │ 2_Blanton_Script_B.ttl ──┼─→ include "config.ttl" │ │ 3_Blanton_Script_C.ttl ──┘ (prompt / EN_* 旗標) │ │ │ │ │ └─→ include "utils/*.ttl" (可重用取數片段) │ │ │ │ logopen → Logs/Blanton_Margin_.log (整段 console 存檔) │ └───────────────────────┬──────────────────────────────────────┘ │ COM port：sendln "" / wait "" ▼ ┌──────────────────────────────────────────────────────────────┐ │ DUT — SONiC console (root@sonic:~#) │ │ │ │ ~/Blanton_Script/ (source 進 shell 後成為一組函數) │ │ ├ blanton_fpga_pcimem.sh cb_fpga / pmc_fpga / swb0_fpga │ │ ├ blanton_cb_i2c.sh cb_i2c_* / cb_pmbus_* │ │ ├ blanton_icb_vi2c.sh vi2c_* (ICB/PDB proxy) │ │ ├ blanton_temp_sensor.sh temp_cb / temp_icb / temp_all │ │ ├ blanton_pwr_data.sh pwr_data / pwr_data_pdb │ │ ├ blanton_traffic_linespeed.sh │ │ │ init/clear/show/start/stop/ps/report (bcmcmd) │ │ └ LTC2980_Margin_Script/ margin_init / margin_status ... │ │ │ │ ~/hammer/tools/ 壓力程序（mlucas-avx2, stress_*.py） │ │ bcmcmd -n 0|1 Broadcom drivshell（VLAN loopback / tx） │ │ SONiC CLI show platform fan/temperature/leak/... │ │ Linux sysfs aer_dev_* / edac mc0/rank* │ └───────────────────────┬──────────────────────────────────────┘ │ pcimem /sys/bus/pci/devices/0000:03:00./resource0 ▼ ┌──────────────────────────────────────────────────────────────┐ │ CB FPGA (PCIe EP，4 個 Function；BDF 於 source 時自動偵測) │ │ F0 local regs：RST_CAUSE_REG 0xD90 / SWB 0xD94,0xD98 │ │ F3 I2C master Ch0..Ch17 (base 0x300, stride 0x20) │ │ F3 VI2C→ICB Ch0..Ch4 (base 0x780, stride 0x20) │ │ F2 VSPI 橋接 PMC/ICB/SWB（慢，~18ms/reg，本專案不走） │ └───────────────────────┬──────────────────────────────────────┘ │ I2C / PMBus ▼ TCA9546/9543 mux · MP29816/MP2985B VRM · TMP75/TMP432 溫感 MAX31790 風扇 · LTC2980 margin (CONN13~16 × CB/SWB0/SWB1) PDB：Hotswap / Power brick / EFUSE（走 VI2C ch3/ch4） ``` --- ## Project Structure ``` Blanton_TTL_Script/ │ ├── CLAUDE.md # 專案記憶 & 給 Claude 的指令 ├── ARCHITECTURE.md # 本架構文件 ├── .gitignore # secret/ + For_AI/ + logs + publish 產出 ├── .gitattributes # 換行符政策：.sh/.conf 釘 LF、.ttl 保持 CRLF │ ├── docs/ # 規格與狀態文件（客戶提供 / 專案產出） │ ├── Blantons_FPGA_Registers.md # FPGA 暫存器規格（markdown 正本，查 offset 用） │ ├── Blantons_FPGA_Registers_draft.docx # 同上，客戶原始 docx │ ├── Blantons_FPGA_Registers_Map_draft.xlsx │ ├── Blantons_PCIe_AER_and_DDR_EDAC_checks.pdf # AER / EDAC 檢查點依據 │ ├── TTL_Script_Blanton_Status_20260814.xlsx │ └── TTL_Script_Blanton_Status_20260817.xlsx # ⭐ 最新：三支腳本逐項 Status（OK / On-Going + Owner） │ ├── tools/ # Host / 離線端輔助腳本 │ ├── bcm_mibpair_report_V1.1.0.py # 離線解析 drivshell log → per-pair TX/RX + PASS/FAIL │ ├── traffic_loopback_vlan_setting.txt # bcmcmd VLAN 30..137 建立 + 成對 pbm（cdN <-> cdN+32） │ ├── traffic_loopback_start.txt # bcmcmd tx 100 length=512 VLantag= │ └── traffic_loopback_vlan_remove.txt # bcmcmd vlan remove pbm=... │ # ↑ 三份為手動貼上用的原始指令表， │ # blanton_traffic_linespeed.sh 是其 bash 版 │ ├── secret/ # 🚫 gitignored — DUT 密碼、per-unit BDF、COM 設定 │ ├── README.md # ✅ committed — 用途索引 │ ├── config_secret.ttl.example # ✅ committed — 帳密範本（__CHANGE_ME__） │ └── config_secret.ttl # 🚫 實際帳密，由 config.ttl include │ ├── For_AI/ # 🚫 gitignored — AI 協作素材（波形截圖、草稿） │ ├── publish/ │ ├── publish.sh # ✅ committed — 打包工具（版號讀 Script A 檔頭） │ └── Script_ABC_Blanton_/ # 🚫 產出，gitignored（-z 另出同名 .zip） │ └── src/ └── Script_ABC_Blanton/ # ← Tera Term 的工作目錄（整包給測試員） │ ├── config.ttl # 全域設定：testcase 名、EN_Margin / EN_log、三個 prompt 字串 ├── 1_Blanton_Script_A.ttl # Pre-test：登入 → 對時 → source 工具 → 清 AER → 抓基線 ├── 2_Blanton_Script_B.ttl # Stress：開壓力程序 → while 1 每輪抓 fan/temp/margin ├── 3_Blanton_Script_C.ttl # Post-test：kill → 再抓一次 → 比對 stress log │ ├── utils/ # 可 include 的取數片段（TTL，無狀態、只 wait+sendln） │ ├── pcie_bus.ttl # lspci -tvvv / -vv │ ├── setup_pmon.ttl # show platform summary/fan/temperature/psustatus/voltage/ │ │ # current/ssdhealth/leak status/leak channels（9 項） │ ├── show_dmesg.ttl # date + dmesg grep error/fail/warning │ ├── show_margin_status.ttl # source margin_status_all.sh（掃 9 顆 LTC2980） │ ├── kill_all_process.ttl # kill $(jobs -p) │ ├── wait_init.ttl # 輪詢 show platform temperature 直到 pmon 起來 │ ├── show_pcie_error_reg.ttl # 舊的合併版（已被下列 per-device 版取代） │ ├── show_pcie_error_reg_TH6_SWB0.ttl # EP 01:00.0 + RP 00:01.1 │ ├── show_pcie_error_reg_TH6_SWB1.ttl # EP 02:00.0 + RP 00:01.2 │ ├── show_pcie_error_reg_FPGA.ttl # RP 00:01.5（共用上游） │ ├── show_pcie_error_reg_BMC.ttl # EP 03:00.0 + RP 00:01.4 │ ├── show_pcie_error_reg_I210.ttl # EP 07:00.0 + RP 00:02.4 │ ├── show_pcie_error_reg_SSD.ttl # EP 06:00.0 + RP 00:02.1 │ └── show_pcie_error_reg_DDR.ttl # EDAC mc0 rank0~3 CE/UE │ ├── logs/ # Tera Term logopen 輸出（*.log gitignored） │ └── Blanton_Script/ # ← scp 到 DUT ~/ 的單位（bash 工具庫） ├── blanton_fpga_pcimem.sh # pcimem 後端：cb_fpga/pmc_fpga/icb_fpga/swb0_fpga/swb1_fpga ├── blanton_cb_i2c.sh # CB FPGA F3 I2C master（Ch0~Ch17）+ PMBus helper ├── blanton_icb_vi2c.sh # CB F3 VI2C proxy → ICB/PDB（Ch0~Ch4） ├── blanton_temp_sensor.sh # TMP75 / TMP432 讀溫（CB Ch10 mux + ICB VI2C Ch2） ├── blanton_pwr_data.sh # SWB VRM + PDB brick 的 Vin/Vout/Iout/Temp 表 ├── blanton_traffic_linespeed.sh # SWB loopback 線速流量（bcmcmd unit 0/1） │ # init/clear/show/start/stop/ps/report/run ├── bmc_monitor.sh # BMC 監控：週期跑 free -m，寫輪替 log ├── bmc_monitor_ddr.sh # BMC DDR 壓力：memtester，逾時 3600s │ # ↑ 兩支都要 chmod +x 才能跑（見 Key Constraints） └── LTC2980_Margin_Script/ # 電壓 margin 子專案（另有獨立 repo） ├── margin.sh # margin_init/status/set/apply_profile/save ├── settings/*.conf # 一個 .conf = 一顆 LTC2980（CB + SWB0/1 × CONN13~16） ├── profiles/*.conf # 16-ch 批次組合（comboA/B、high3/5、low3/5、normal、off） ├── script/*_all.sh # 跨 9 顆 LTC2980 的批次 status / apply / save ├── Ref/margin_command_trace.md # 指令追蹤參考（SWB 章節已標過期，見文件內警告） └── logs/ # margin 操作 log # 註：v2.6.0 起不再內含 blanton_cb_i2c.sh / blanton_fpga_pcimem.sh 的複本， # 改由 _swb_find_backend 往上層 Blanton_Script/ 找共用版 ``` --- ## Data Models 本專案沒有資料庫，「資料模型」是**設定檔格式**與**暫存器 / sysfs 語意**。 ### 1. `config.ttl` — 全域測試參數（TTL 變數） ```ini strTestcase = "Margin" ; 測項名，進 log 檔名 project_name = "Blanton" ; 專案名，進 log 檔名 EN_Margin = 1 ; 1=跑 margin 掃描, 0=跳過 EN_log = 1 ; 1=logopen 存檔, 0=不存 prompt_login = "sonic login:" prompt_sonic = "admin@sonic:~$" prompt_sonic_root = "root@sonic:~#" ``` Log 檔名規則：`\Logs\__.log` ### 2. `settings/.conf` — 一顆 LTC2980（16 channel） | 欄位 | 型別 | 說明 | |------|------|------| | `TRANSPORT` | string | `""`/`"i2c"` = CPU 原生 bus（`i2cset`）；`"swb"` = 走 CB FPGA F3 I2C | | `CB_I2C_CH` | int | `TRANSPORT="swb"` 時的 FPGA I2C 通道（6/7/8/9） | | `CHIPS[]` | string[2] | `"bus:addr"`，index 0 → CH0~7、index 1 → CH8~15 | | `CHIP_PRE_CMD[]` / `CHIP_POST_CMD[]` | string[1] | mux 切換等前後置指令，`;` 分隔多筆 | | `CH_VNOM` | string | 標稱電壓（`"-"` = 未使用 / NC） | | `CH_NET` | string | 電路 net name（對照 schematic） | Channel 定址：`ch / 8` → `CHIPS[]` index，`ch % 8` → LTC2977 PMBus PAGE（0x00~0x07）。 **SWB 通道與位址對應（2026-08-19 上機驗證，`ababb2c`）：** | FPGA I2C 通道 | 板 / 接頭 | LTC2977 位址（lo / hi） | |---|---|---| | Ch6 | SWB0 CONN14 / CONN16 | CONN14 `0x5C`,`0x5E` ; CONN16 `0x62`,`0x64` | | Ch8 | SWB0 CONN13 / CONN15 | CONN13 `0x5C`,`0x5E` ; CONN15 `0x62`,`0x64` | | Ch7 | SWB1 CONN14 / CONN16 | CONN14 `0x5C`,`0x5E` ; CONN16 `0x62`,`0x64` | | Ch9 | SWB1 CONN13 / CONN15 | CONN13 `0x5C`,`0x5E` ; CONN15 `0x62`,`0x64` | > 同一顆 LTC2980 的兩個位址**相差 2**（7-bit，由規格書 8-bit 配對除以 2 而來），不是 1。 > 兩張板共用一條通道，所以同通道上的位址必須互斥 —— 上表兩組（`0x5C/0x5E` 與 `0x62/0x64`）不重疊。 ### 3. `profiles/*.conf` — 16-ch 批次 margin 組合 ```bash PROFILE_CHANNELS=( "0:high:8" "1:low:8" ... ) # "channel:operation:change_percent" ``` | operation | PMBus `OPERATION`(0x01) | 說明 | |-----------|------------------------|------| | `high` | `0xA8` | Margin high | | `low` | `0x98` | Margin low | | `nominal` | `0x80` | 回標稱值（跟隨 VOUT_COMMAND） | | `off` | `0x00` | 關閉輸出 | ### 4. FPGA / I2C 暫存器語意（工具庫依賴） | 區塊 | 位置 | 關鍵欄位 | |------|------|----------| | CB F0 local | `cb_fpga 0 0xD90` | `RST_CAUSE_REG`；`0xD94`/`0xD98` = SWB0/SWB1 | | CB F3 I2C（每 ch 0x20 stride，base 0x300） | `+00/04` PRSCL, `+08` CTRL(b7 MOD_EN), `+0C` TX/RX, `+10` CMD/STAT, `+14` MUX_SEL, `+18` RST, `+1C` SEM | | CB F3 VI2C（base 0x780，ICB/PDB） | 同上，但 **`+1C` 無 SEM** | | I2C CMD | `STA=0x80 STO=0x40 RD=0x20 WR=0x10 NACK=0x08 IACK=0x01` | | I2C STAT | `RX_ACK=0x80(1=NACK) BUSY=0x40 ARB_LOST=0x20 TIP=0x02 INT=0x01` | | Prescale @75MHz | `0x88` = 100 kHz、`0x24` = 400 kHz | ### 5. 錯誤計數 sysfs（判定依據） | 類別 | 路徑 | 判定 | |------|------|------| | PCIe AER（EP + 上游 RP 都要看） | `/sys/bus/pci/devices//aer_dev_{correctable,nonfatal,fatal}` | test 前後差值 > 0 即 fail（correctable 需依 spec 設門檻） | | DDR EDAC | `/sys/devices/system/edac/mc/mc0/rank<0-3>/dimm_{ce,ue}_count` | UE > 0 直接 fail；CE 依門檻 | **Blanton PCIe 拓樸對照**（`show_pcie_error_reg_*.ttl` 的來源）： | 裝置 | Endpoint BDF | Upstream Root Port | |------|--------------|--------------------| | TH6 SWB0 | `0000:01:00.0` | `0000:00:01.1` | | TH6 SWB1 | `0000:02:00.0` | `0000:00:01.2` | | CB FPGA | （F0~F3 @ `0000:03:00.x`） | `0000:00:01.5` | | BMC | `0000:03:00.0` | `0000:00:01.4` | | I210 1G NIC | `0000:07:00.0` | `0000:00:02.4` | | NVMe SSD | `0000:06:00.0` | `0000:00:02.1` | > ⚠️ **BDF 是 per-unit 的，而且只解決了一半。** > `blanton_fpga_pcimem.sh`（V1.5.0 起）**已改為 source 時自動偵測**，不再需要每台改檔： > 掃 sysfs 找 `vendor == 0x1590`（HPE）且 `.0`~`.3` 四個 function 都有 `resource0` 的裝置 → > 退回 `lspci -Dnn` 名稱比對 → 再退回 `FPGA_BDF_FALLBACK`（`0000:03:00`）。 > 偵測結果會印一行 `[INFO] CB FPGA BDF = ...`，並存在 `FPGA_BDF_ACTIVE`。 > 換 DUT 後可用 `fpga_rescan` 重測，或 `FPGA_BDF=0000:05:00 fpga_rescan` 手動釘住。 > > **但 `utils/show_pcie_error_reg_*.ttl` 裡的 BDF 仍然是寫死的**（上表那 7 組）， > 自動偵測完全沒有涵蓋到它們。換 DUT 時這些 TTL 還是要人工校對，否則 AER 會讀到錯誤的裝置 > ——甚至讀到不存在的路徑而整段 `No such file or directory`。 --- ## Key Features | 模組 | 進入點 | 功能 | |------|--------|------| | **Script A（Pre-test）** | `1_Blanton_Script_A.ttl` V1.0.3 | root 登入 → `date -s` 對時 → `show boot` → **等 pmon 起來**（`wait_init.ttl`）→ BMC 版本 → source 六個 bash 工具 → 清/讀 7 組 PCIe AER → `lspci` → margin 全掃 → PMON 九項 → dmesg → 100G port 狀態 → **一輪流量基線** → `show uptime` | | **Script B（Stress）** | `2_Blanton_Script_B.ttl` | `mlucas-avx2 -cpu 0:15` + 5 份 `stress_mem.py` + `stress_ssd.py` + `stress_usb.py`（**共 8 個 job**）→ 啟動兩支 BMC monitor → `jobs` → 100G port 狀態 → traffic `ps/init/clear/show/start`（**兩個 unit**）→ `while 1` 每輪完整 PMON + margin | | **Script C（Post-test）** | `3_Blanton_Script_C.ttl` | `kill $(jobs -p)` → PMON + dmesg → 7 組 AER → 停兩支 BMC monitor 並 `cat` 其 log → `cat` mlucas / stress_ssd log → traffic `stop` + `report`（兩個 unit）→ `show reboot-cause` / `show uptime` → 完成 messagebox | | **SWB loopback 流量** | `blanton_traffic_linespeed [-u 0\|1\|all]` | `init`（VLAN 30..137，成對 `cdN`/`cdN+32`）→ `clear` → `start`（`tx 100 length=512`）→ `stop` → `report`（per-pair TX/RX 交叉比對 PASS/FAIL）；另有 `ps`（link/speed）與 `run`（一條龍） | | **FPGA 暫存器存取** | `cb_fpga [data]`、`fpga_rescan` | pcimem 打 `resource0` + BAR 相對 offset，32-bit word；BDF 於 source 時自動偵測；`pmc/icb/swb0/swb1_fpga` 走 VSPI 窗口 | | **CB I2C / PMBus** | `cb_i2c_init/scan/read/write`、`cb_pmbus_read/write/linear16` | FPGA F3 OpenCores master，**讀用 Repeated START**（SMBus/PMBus 裝置必需） | | **ICB / PDB 存取** | `vi2c_init/scan/read/write`、`vi2c_scan_all` | CB F3 VI2C proxy，~3.3 ms/reg，取代 VSPI 的 ~18 ms/reg（後者會踩 SMBus 25–35 ms timeout） | | **溫度** | `temp_cb` / `temp_icb` / `temp_all` | TMP75（12-bit 左靠齊 ×0.0625）、TMP432（含 RANGE bit 的 −64 偏移、remote1/2） | | **電源資料** | `pwr_data` / `pwr_data_pdb` / `pwr_pdb_id` | SWB VRM 全軌 Vin/Vout/Iout/Temp 對齊表；MP29816 解析度**執行期從 `MFR_VOUT_SCALE_LOOP` 讀**，不寫死 | | **電壓 Margin** | `margin_init/status/set/apply_profile/save` + `*_all.sh` | 9 顆 LTC2980（CB CONN13、SWB0/1 CONN13~16）批次 high/low margin 與狀態掃描。v2.6.0 起 SWB 路徑真正接上共用 cb_i2c 後端，並有 `margin_swb_info/probe/scan/reset/sem` 除錯包裝 | | **BMC 監控 / 壓力** | `bmc_monitor.sh` / `bmc_monitor_ddr.sh` `{start\|stop\|status\|fg\|tail\|clear}` | 由 host 端 `bmc-manager run` 週期性打 BMC，背景 detached、log 輪替。前者跑 `free -m`（逾時 30s），後者跑 `memtester`（逾時 3600s），各自獨立 log 與 pid | | **打包交付** | `publish/publish.sh [-v Ver] [-f] [-z] [-n]` | 版號讀 Script A 檔頭，複製成 `publish/Script_ABC_Blanton_/`，排除 `*.log`，可另出 zip | --- ## Data Flow ### 一輪完整測試（端到端） ``` [測試員] 開 Tera Term，連 COM，Control → Macro → 1_Blanton_Script_A.ttl │ ▼ Script A ── logopen Logs/Blanton_Margin_.log ──┐ (之後所有畫面都進這個檔) │ │ ├─ 登入 admin → sudo -i → root@sonic:~# │ ├─ date -s "" ← 讓 DUT 時戳可對照 │ ├─ source 6 個 bash 工具（函數進 shell） │ │ └ 此時 blanton_fpga_pcimem.sh 印出 [INFO] CB FPGA BDF = ...（自動偵測結果） ├─ AER 基線：7 組 EP+RP 的 correctable/nonfatal/fatal ├─ lspci -tvvv / -vv ← 拓樸 + link speed/width ├─ margin_status_all ← 9 顆 LTC2980 × 16ch 的 Vout 與偏差% ├─ show platform × 9 ← fan/temp/psu/voltage/current/ssdhealth/leak status/leak channels ├─ dmesg | grep error/fail/warning ├─ show interfaces status Ethernet513,Ethernet514 ← 100G uplink 狀態 ├─ 一輪流量基線：ps → init → clear → show → start → stop → report └─ show uptime （最前面還有 wait_init.ttl：輪詢 show platform temperature 直到不再回報 "Thermal Not detected"，避免 pmon 還沒起來就抓基線） ▼ [messagebox "Start Script B"] ← 人工確認後手動跑 B │ ▼ Script B ── 同一個 log 檔續寫（logwrite 分隔線） ├─ 背景程序：mlucas-avx2(CPU) ×1, stress_mem ×5, stress_ssd, stress_usb → 共 8 個 job │ （stress_hhmd / stress_pcie 已於 2026-08-17 移除，見 Status 表 ScriptB #5/#7 "KC Remove"） ├─ BMC: bmc_monitor.sh start + bmc_monitor_ddr.sh start ├─ jobs ← 確認全部起來了 ├─ traffic: ps → init → clear → (pause 15) → show → start （unit 0 與 1，VLAN 30..137 loopback） └─ while 1: setup_pmon（9 項）→ margin_status_all （soak 期間持續取樣） ▼ [測試員 Ctrl-C / 停止 macro，接著跑 C] │ ▼ Script C ├─ kill $(jobs -p) ← 收掉所有背景壓力 ├─ show platform × 9 + dmesg ← 收工快照 ├─ AER 再抓一次 ← 與 Script A 基線相減 = 本輪新增錯誤 ├─ BMC: 兩支 monitor stop → cat log/bmc_poll.log + log/bmc_ddr.log ├─ cat mlucas_amm_log / log.stress_ssd ← 壓力程式自身的 pass/fail ├─ traffic: stop → report ← per-pair TX/RX 交叉比對，PASS/FAIL/NA（exit 2 = 有 FAIL/NA） └─ show reboot-cause / show uptime ← soak 期間有沒有意外重開，一眼看得到 ▼ [messagebox "GOOD JOB! Test Case DONE"] → 人工檢查 log ``` ### 硬體讀值路徑（以「讀一顆 SWB VRM 的 Vout」為例） ``` pwr_data └→ cb_pmbus_read 0x8B 2 (blanton_cb_i2c.sh) └→ _cbi2c_xfer_read：STA+WR(slave|W) → WR(reg) → Sr + STA+WR(slave|R) → RD(ACK) → RD(NACK)+STO ← Repeated START └→ cb_fpga 3 <0x300 + ch*0x20 + reg> (blanton_fpga_pcimem.sh) └→ pcimem /sys/bus/pci/devices/0000:03:00.3/resource0 w [data] └→ CB FPGA BAR0 → F3 I2C master → SCL/SDA → MP29816/MP2985B └→ 解碼：MP2985B = 1 mV/LSB；MP29816 = 由 MFR_VOUT_SCALE_LOOP(0x29) bit[12:10] 決定 Vin 一律 31.25 mV/LSB（÷32） ``` --- ## Key Constraints & Business Rules 1. **A → B → C 必須依序跑，且 B 之後才能跑 C。** Script B 的背景 job 只存在於那個 shell session， Script C 的 `kill $(jobs -p)` 依賴同一個 session；中途斷線就得手動收程序。 2. **A / B / C 共用同一個 log 檔**：只有 Script A `logopen`，B / C 用 `logwrite` 續寫分隔線。 跑 B/C 前若關掉了 Tera Term，log 就斷了。 3. **PCIe AER 的判定是「差值」不是「絕對值」**：Script A 抓基線、Script C 抓結果， 兩者相減才是本輪產生的錯誤。EP 與上游 Root Port **兩邊都要看**（錯誤可能只記在 RP）。 4. **BDF 是 per-unit 的，bash 端已自動偵測、TTL 端仍寫死**：`blanton_fpga_pcimem.sh` V1.5.0 起 於 source 時自掃（vendor `0x1590` → `lspci` → fallback），但 `utils/show_pcie_error_reg_*.ttl` 的 7 組 BDF 還是硬編碼，換 DUT 仍需人工校對（見 Data Models §5 註）。 5. **ICB / PDB 一律走 VI2C，不走 VSPI**：VSPI ~18 ms/reg 會讓 I2C byte 相之間拉到 ~50 ms， 踩中 SMBus 25–35 ms timeout，裝置會 NACK register pointer。實測全 5 通道掃描 9.4 s vs 34.0 s。 6. **I2C 讀一律用 Repeated START**（不是 STOP + START）：PMBus / SMBus 裝置（VRM、EFUSE） 只吃 Sr；只有純暫存器裝置兩種都行。 7. **`margin_save`（`STORE_USER_ALL`）會永久寫進 NVM**，斷電保留。測試流程中**絕不執行**， 以免覆蓋客戶出廠 config。`margin.sh` 的 auto-enable 只改 RAM（`ON_OFF_CONFIG`），斷電復原。 8. **操作硬體電壓有損壞 DUT 的風險**：套 profile 前先確認該軌 OV/UV limit 與 servo DAC 注入電阻 有 populate（本板部分 margin 電阻標 PROTO，沒 populate 的軌電壓不會動）。 9. **`ARB_LOST` 不等於裝置存在**：`vi2c_scan` 只看 `RX_ACK`，仲裁失敗會被誤報成「有裝置」。 `blanton_pwr_data.sh` 因此加了 ARB_LOST-aware retry 與 plausibility window （`0xFFFF` 或超出範圍一律回 `NA`）——**寧可 NA 也不要印出一個看起來像數據的錯值**。 10. **`bcmcmd` 成功退出不代表指令成功**：BCM shell 拒絕指令（`VLAN: ERROR: Entry exists` / `Failed to execute the diagnostic command`）時 `bcmcmd` 仍 exit 0。 `blanton_traffic_linespeed.sh` 因此改用輸出比對（`$TL_ERR_PAT`），並把 `vlan create` 的 `Entry exists`（重跑 init）與 `vlan remove` 的 `not found`（init 前先 stop） 當良性情況分開計數。另外 `bcmcmd` 一律以 `:~/ # 佈署後務必補執行權（Windows/隨身碟路徑帶不動 exec bit）： ssh admin@ 'chmod +x ~/Blanton_Script/bmc_monitor*.sh' # 若曾在舊工作區編輯過，先確認沒有 CRLF：grep -rlU $'\r' ~/Blanton_Script ssh admin@ 'sudo -i' # （現場無網路時改用 USB 隨身碟複製到 ~/Blanton_Script） # ── 3. DUT 端：煙霧測試（跑 Script A 之前先手動確認）────────── source ~/Blanton_Script/blanton_fpga_pcimem.sh # → 會印 [INFO] CB FPGA BDF = 0000:0X:00.0-.3 (resource0) ← BDF 自動偵測，不用改檔 # 偵測錯或多顆候選時：FPGA_BDF=0000:05:00 fpga_rescan cb_fpga 0 0xD90 # RST_CAUSE_REG，讀得到值 = BAR 通了 source ~/Blanton_Script/blanton_cb_i2c.sh cb_i2c_init 11 && cb_i2c_scan 11 # Ch11 風扇控制器，應看到 0x20 source ~/Blanton_Script/LTC2980_Margin_Script/margin.sh margin_init Blanton_CB_CONN13 && margin_status source ~/Blanton_Script/blanton_traffic_linespeed.sh blanton_traffic_linespeed ps -u 0 # 對照線的 link/speed blanton_traffic_linespeed init -u 0 -n # -n = dry-run，先看要下哪些 bcmcmd # ── 4. DUT 端：校對 AER 的 BDF（自動偵測沒涵蓋這裡！）───────── lspci -Dnn # 對照 ARCHITECTURE.md 的 PCIe 拓樸表 # 與 src/Script_ABC_Blanton/utils/show_pcie_error_reg_*.ttl 內寫死的 7 組 BDF 比對， # 不符就改 TTL——否則 AER 會讀到別的裝置或不存在的路徑 ``` **Host（Windows）端：** ``` 1. 安裝 Tera Term 5.x 2. 把 src\Script_ABC_Blanton\ 整包複製到本機（路徑不要有空白與非 ASCII） 3. 在該資料夾下建立 Logs\ 目錄（Script A 的 logopen 需要） 4. Tera Term 連上 DUT COM port（預設 115200-8-N-1） 5. Control → Macro → 選 1_Blanton_Script_A.ttl 6. A 跑完出現 messagebox → 手動跑 2_Blanton_Script_B.ttl（soak） 7. Soak 時間到 → 停止 B 的 macro → 跑 3_Blanton_Script_C.ttl 8. 檢查 Logs\Blanton_Margin_.log ``` **打包交付：** ```bash ./publish/publish.sh # 版號讀 Script A 檔頭 → publish/Script_ABC_Blanton_V1.0.3/ ./publish/publish.sh -z # 另外產出同名 .zip ./publish/publish.sh -n # dry run，只印會做什麼 ./publish/publish.sh -f # 覆蓋既有輸出資料夾 ``` 版號**不是參數而是從 Script A 的 `; Version : Vx.y.z` 讀出來的**，所以資料夾名不可能跟 測試員打開 macro 看到的版本不一致。要出新版就先改 Script A 檔頭再跑。 輸出會排除 `*.log`（測試 log 含 DUT 序號，不隨交付外流），但保留空的 `logs/` 供 `logopen` 寫入。 > 註：本專案非 .NET / Blazor / EC2 架構，`aws-ec2-deploy` 與 `vbox-run-deploy` 兩份部署指南不適用，已跳過。 --- ## Development Phases 現況基準：`docs/TTL_Script_Blanton_Status_20260814.xlsx` 已逐項標記 OK / On-Going， 以下 Phase 直接把該表的 On-Going 項目排進來，並補上工程化（版控、密碼外移、打包）的缺口。 ### Phase 1 — 版控化 + 密碼外移（工作量：S） **目標：** 專案進 git（NAS + Gitea），帳密不再躺在腳本裡，任何人 clone 下來照文件就能跑。 **包含：** - [x] `git init` + `.gitignore`（`secret/*`、`For_AI/`、`logs/*.log`、`~$*`、`*.DSN`） - [x] 建 `secret/README.md` + `secret/config_secret.ttl.example`（`__CHANGE_ME__` placeholder） - [ ] `config.ttl` 改為 `include "..\..\secret\config_secret.ttl"`（或現場放同層）， 把 `1_Blanton_Script_A.ttl` 的 `sendln "YourPaSsWoRd"` 換成 `sendln dut_password` **← 唯一未完成項；密碼目前仍寫在腳本裡** - [x] `src/Script_ABC_Blanton/logs/.gitkeep`，既有 `Blanton_Margin_20260814-164122.log` 移出 repo - [x] `CLAUDE.md` + `ARCHITECTURE.md` 進 repo，push `nas` + `gitea`（**不推 GitHub**） **驗收條件：** 在另一台機器 `git clone` → 填 `secret/config_secret.ttl` → Script A 能完整登入並產生 log； `git log -p` 中搜不到任何實際密碼。 --- ### Phase 2 — Script A 補完：Check History + Margin 驗收（工作量：M） **目標：** Script A 的基線資料補齊到「開機原因 + 全部電壓軌」都有紀錄，Status 表的兩個 On-Going 轉 OK。 **包含：** - [ ] 新增 `utils/show_reset_cause.ttl`：`cb_fpga 0 0xD90`（RST_CAUSE_REG）、 `cb_fpga 0 0xD94`（SWB0）、`cb_fpga 0 0xD98`（SWB1），並在註解貼上 bit 定義 （來源 `docs/Blantons_FPGA_Registers.md` §5 RST_CAUSE_REG） - [ ] Script A 的 `; ========== Check History ==========` 區塊改 include 上面這支 - [ ] `utils/show_margin_status.ttl`：清掉已註解的 per-conf 舊寫法，只留 `margin_status_all.sh`；確認 9 顆 LTC2980 都能掃到（含 SWB 的 `TRANSPORT="swb"` 路徑） - [ ] 新增 `utils/show_pwr_data.ttl`（`pwr_data` + `pwr_data_pdb`）與 `utils/show_temp_sensor.ttl`（`temp_all`），把 `blanton_pwr_data.sh` / `blanton_temp_sensor.sh` 真正接進流程（目前 Script A 只 source 沒用） - [x] Script A 開頭加 BDF 自檢 —— 由 `blanton_fpga_pcimem.sh` V1.5.0 的 source 時自動偵測達成， log 內會出現 `[INFO] CB FPGA BDF = ...`（比原本規劃的 `lspci` 一行更完整） **驗收條件：** 跑一次 Script A，log 內同時含 reset cause 三個暫存器值、9 顆 LTC2980 × 16ch 的 margin status、全部 VRM 軌的 Vin/Vout/Iout/Temp、CB + ICB 溫感讀值，且無 `ERR` / `NA` 以外的異常。 --- ### Phase 3 — Script B 壓力層穩固化（工作量：M） **目標：** 壓力程序起得來、起不來看得出來，soak 迴圈有時戳、可控週期。 **包含：** - [ ] 部署 `~/hammer/tools/` 前置檢查：新增 `utils/check_hammer_tools.ttl` （`ls -l ~/hammer/tools/` + `ls ~/hammer/tools/amd/mlucas-avx2`），缺檔就別往下跑 - [ ] 壓力程序 log 加時戳，避免多輪覆蓋： `mlucas_amm_log` → `~/logs/mlucas_amm_log_$(date +%Y%m%d-%H%M%S).log`（Status 表 ScriptB #2 的既定寫法） - [ ] `jobs` 之後加驗證：期望 **8** 個背景 job（1 mlucas + 5 mem + ssd + usb）， 數量不符時 `messagebox` 提示 （`stress_hhmd` / `stress_pcie` 已於 2026-08-17 由 KC 移除，原本的 10 改為 8） - [ ] soak 迴圈改為「每輪先 `date`、跑完 `pause <間隔>`」， 把 `EN_LoopInterval`（預設 600 秒 = 10 min）放進 `config.ttl`，兌現 Status 表的「Get data every 10mins」 **← 目前 `while 1` 仍無 `pause`，實際間隔取決於指令執行時間，不是 10 分鐘** - [x] soak 每輪補 `show platform psustatus` / `voltage` / `current` —— 迴圈已改為 `include "utils/setup_pmon.ttl"`，九項全收 - [ ] 補 `; ========== CLEAR EVENT ==========`（Status 表 ScriptB #1，Owner: Alan） - [x] BMC 納入 soak：`bmc_monitor.sh`（`free -m` 取樣）與 `bmc_monitor_ddr.sh`（`memtester`） 由 Script B 啟動、Script C 停止並把 log 併進 master log - [x] Script A 加開機資訊與就緒等待：`show boot`、BMC `/etc/issue`、`wait_init.ttl` - [x] Script C 加 `show reboot-cause` / `show uptime`，soak 期間意外重開看得見 **驗收條件：** Script B 啟動後 `jobs` 顯示 8 個 job；連續跑 3 輪，log 內三段各自帶正確時戳且間隔 ≈10 min； 故意把 `~/hammer` 改名，Script B 會在前置檢查就停下並提示。 --- ### Phase 4 — Traffic 與 SONiC 介面資料（工作量：M） **目標：** 補齊 Status 表中 Owner=Alan 的三個 traffic 項目，讓測試涵蓋交換晶片的資料面。 > 📌 **實作路線與原規劃不同**：原本設想用 SONiC CLI（`sonic-clear counters` / `show interface counters`）， > 實際落地的是**更底層的 `bcmcmd` drivshell 路線** —— SWB 實體 loopback 線 + VLAN 成對配置 + `tx` burst， > 直接讀 ASIC 的 `MIB_TPOK`/`MIB_RPOK`。好處是能做 per-pair 雙向交叉比對（`cdA.TX == cdB.RX`）， > 比 SONiC CLI 的單向 counter 強得多；代價是綁定 Broadcom SDK 與那條 loopback 線。 **包含：** - [x] `blanton_traffic_linespeed.sh`（V0.4.0）：`init` / `clear` / `show` / `start` / `stop` / `ps` / `report` / `run`，unit 0 與 1，VLAN 30..137 對應 `cdN` ↔ `cdN+32` （取代原規劃的 `utils/traffic_setup.ttl`） - [x] per-pair TX/RX 報表與 PASS/FAIL 判定：DUT 上 awk（`report`）+ 離線 `tools/bcm_mibpair_report_V1.1.0.py`，同版面同判定規則 （取代原規劃的 `utils/show_traffic_counters.ttl`） - [x] Script B 接上 `ps → init → clear → show → start`、Script C 接上 `stop → report` - [x] 原始 bcmcmd 指令表留檔：`tools/traffic_loopback_{vlan_setting,start,vlan_remove}.txt` - [x] **Script A 的流量基線** —— 原本的空區塊已改成完整一輪 （`ps → init → clear → show → start → stop → report`，含 15 秒沉澱） - [ ] `utils/show_interface_detail.ttl`：`show interface transceiver eeprom/dom`、 `show interface link-training`（Status 表 ScriptC #4，仍 On-Going） - [ ] `utils/show_tech.ttl`：`show techsupport`（Script C 收工快照，Status 表 ScriptC #4） - [ ] `config.ttl` 加 `EN_Traffic` 旗標，未接 loopback 線的站點可整段跳過 （現在 B/C 是無條件執行，沒接線會整批 bcmcmd 失敗） - [x] `-u 0` 已從三支腳本移除，全部沿用工具預設 `TL_UNITS="0 1"`，兩塊 switch board 都測到 - [x] 100G uplink 狀態：`show interfaces status Ethernet513,Ethernet514`（A 與 B 各一次） **驗收條件：** `EN_Traffic=1` 時，Script C 的 `report` 印出 108 對的 TX/RX 表且全 PASS； 拔掉一條 loopback 線重跑，該對顯示 FAIL 或 NA 且 exit code 為 2；`EN_Traffic=0` 時整段不執行且不報錯。 --- ### Phase 5 — Log 解析與自動判定（工作量：L） **目標：** 不用人眼掃幾 MB 的 console log，跑完自動吐一張 PASS/FAIL 摘要。 **包含：** - [ ] `tools/parse_blanton_log.py`：吃 `Logs/*.log`，切出 ScriptA / ScriptB / ScriptC 三段 （靠 `logwrite` 的 `#####` 分隔線） - [ ] AER / EDAC 差值計算：抽出 A 與 C 兩次的 `aer_dev_*` 與 `dimm_{ce,ue}_count`，輸出增量表， UE > 0 或 fatal/nonfatal > 0 直接標 FAIL - [ ] Margin 表解析：把 9 顆 × 16ch 的 Vout / 偏差% 收成 CSV，標出超出 ±(profile 設定值 + 容差) 的軌 - [ ] 溫度 / 風扇 / 電源趨勢：soak 期間逐輪取樣 → CSV（可直接畫圖） - [ ] Stress 判定：`mlucas_amm_log` 與 `log.stress_ssd` 的錯誤關鍵字掃描 - [ ] Traffic 判定：**直接複用 `tools/bcm_mibpair_report_V1.1.0.py`**（它已能吃 console log 的 `show c` 段落並輸出 PASS/FAIL），不要重寫一套解析 - [ ] 產出 `Logs/_summary.md`：一頁 PASS/FAIL + 每個子系統一行結論 **驗收條件：** 拿一份既有 log（如 `Blanton_Margin_20260814-164122.log`）跑解析器， 產出 summary 與 CSV；人工植入一筆假的 `dimm_ue_count=1` 後，summary 正確翻成 FAIL。 --- ### Phase 6 — 打包、Runbook 與交付（工作量：S） **目標：** 產出可直接交給現場測試員（或客戶）的一包，含操作手冊，不需要看原始碼。 **包含：** - [x] `publish/publish.sh`：把 `src/Script_ABC_Blanton/` 打包成 `publish/Script_ABC_Blanton_/`（`-z` 另出 zip）。版號讀 Script A 檔頭， 排除 `*.log` 但保留空的 `logs/`。工具本身進 git，產出被 gitignore - [ ] `README.md`（現場用）：Tera Term 設定、A→B→C 操作順序、常見錯誤（BDF 不符、 margin 掃不到、hammer 工具缺檔）與對應處理 - [ ] `CHANGELOG.md`：延續三支腳本頂端的 Version History，集中成一份 - [ ] 三支腳本的 header 版號與 `CHANGELOG.md` 對齊，`config.ttl` 加 `script_version` 並寫進 log 開頭 - [ ] `docs/TTL_Script_Blanton_Status_*.xlsx` 更新為全 OK，或把剩餘項目移進 Future Extensions - [ ] 打 git tag `v1.1.0`，push `nas` + `gitea` **驗收條件：** 從 zip 解壓到一台乾淨的測試 NB，照 README 操作，不看原始碼就能完成一輪 A→B→C 並產出 summary；`publish/` 內容與 git tag 一致。 --- ## Future Extensions - **Script B 的 eye measurement**：Status 表 ScriptB「Take one round of eye measurement on uplink ports」 目前是空區塊，待 TH6 SDK 的 eye scan 指令確認後補上。 - **PDB 電源轉換值驗證**：`blanton_pwr_data.sh` 的 PDB 段落在第一台 DUT（COM39）因 ch4 仲裁問題無法驗證， COM36 才拿到部分結果；`READ_VIN` 已知不是真的輸入電壓（跟隨 `READ_VOUT`）。待拿到 brick 的 `MFR_ID`/`MFR_MODEL` 後對照 datasheet 定案。 - **`show_pcie_error_reg.ttl` 淘汰**：舊的合併版已被 7 支 per-device 版取代，確認無人引用後刪除。 - ✅ **BDF 自動偵測** —— 已於 `blanton_fpga_pcimem.sh` V1.5.0（2026-08-17）完成。 下一步是把同樣的偵測結果餵給 `utils/show_pcie_error_reg_*.ttl`， 讓 AER 那 7 組 BDF 也不用手改（目前仍是硬編碼）。 - **`stress_hhmd` / `stress_pcie` 的替代**：兩者已於 2026-08-17 移除，I2C／PCIe 的持續讀取壓力 目前沒有替代品。若仍需覆蓋這塊，可考慮用 `blanton_cb_i2c.sh` / `cb_fpga` 寫一支輕量 loop。 - **SSH / 網路模式**：目前全走 COM console。若 DUT 管理網路可用，可改用 `plink`/`ssh` 執行同一組 bash 工具，速度與可靠度都比 serial 好，TTL 只保留開機階段。 - **多 DUT 併行**：多台 DUT 同時 soak 時，Tera Term 每台開一個 macro window； 可考慮改成 Python（`pyserial`）統一排程與集中收 log。 - ✅ **margin 子專案的重複檔** —— v2.6.0 已移除內含的 `blanton_cb_i2c.sh` / `blanton_fpga_pcimem.sh` 複本，改由 `_swb_find_backend` 往上層找共用版，漂移風險解除。 與獨立 repo `LTC2980_Margin_Script` 的同步機制（submodule 或 vendored 腳本）仍待評估。 - **`Ref/margin_command_trace.md` 需重新產生**：SWB 章節的 1223 條 `cb_pmbus_*` 指令是依 修正前的通道／位址展開的（其中 487 條用到已不存在的 `0x5D`/`0x5F`/`0x63`/`0x65`）， 文件已加過期警告但內文未動。第 1~4 章不受影響。 - **`wait_init.ttl` 沒有逾時出口**：若 pmon 一直起不來，`result` 既非 1 也非 2，迴圈會無限重試， Script A 既不往下走也不報錯。可加最大重試次數 + `messagebox` 提示。 - **`bmc_monitor*.sh` 的執行權**：目前需人工 `chmod +x`。可在 Script B 起它們之前補一行 `chmod +x`（比照既有的 `chmod +x ~/hammer/tools/amd/mlucas-avx2`），或在 publish 時處理。 - **`bmc_monitor_ddr.sh` 的壓力強度**：`memtester 500M 1` 配 `INTERVAL_SEC=5` 等於整個 soak 近乎不間斷壓 BMC 記憶體，而 BMC 同時還要服務 host 的 `show platform` 查詢。 若 PMON 取數變慢，先調大 `INTERVAL_SEC` 或縮小 memtester 的量。