diff --git a/ARCHITECTURE.md b/ARCHITECTURE.md index 28864a6..43bb6b2 100644 --- a/ARCHITECTURE.md +++ b/ARCHITECTURE.md @@ -11,8 +11,8 @@ | Script | 階段 | 做什麼 | |--------|------|--------| | `1_Blanton_Script_A.ttl` | **Pre-test / Baseline** | 登入、對時、載入 shell 工具、清 PCIe AER、抓 PCIe tree / margin / PMON / dmesg 基線 | -| `2_Blanton_Script_B.ttl` | **Stress / Soak** | 開 CPU / DDR / SSD / USB / PCIe / I2C 壓力程序，之後進無限迴圈每輪抓 fan / temp / margin | -| `3_Blanton_Script_C.ttl` | **Post-test / Verdict** | 殺掉壓力程序、再抓一次 PMON / dmesg / PCIe AER，比對 stress log 判定 | +| `2_Blanton_Script_B.ttl` | **Stress / Soak** | 開 CPU / DDR / SSD / USB 壓力程序 + 啟動 SWB loopback 線速流量，之後進無限迴圈每輪抓完整 PMON / margin | +| `3_Blanton_Script_C.ttl` | **Post-test / Verdict** | 殺掉壓力程序、停流量並出 per-pair TX/RX 報表、再抓一次 PMON / dmesg / PCIe AER，比對 stress log 判定 | DUT 端的實際取數能力則來自一組 **bash 工具庫**（`Blanton_Script/`），這一層才是真正碰硬體的地方： CB FPGA 的 PCIe BAR（`pcimem`）→ FPGA 內建 I2C / VI2C master → 板上 VRM、溫度感測器、 @@ -36,8 +36,10 @@ LTC2980 margin 控制器。TTL 只負責「按順序 `sendln` 並把畫面收進 | I2C / PMBus 路徑 | CB FPGA F3 OpenCores I2C master、CB FPGA F3 VI2C proxy、CPU 原生 bus（`i2cset`/`i2cget`） | | 電源 margin | LTC2980（= 2 × LTC2977）over PMBus，LINEAR16 編碼 | | 錯誤計數來源 | Linux PCIe AER sysfs（`aer_dev_*`）、EDAC sysfs（`dimm_ce/ue_count`） | -| 平台監控 | SONiC `show platform *`（pmon container） | -| 壓力測試 | `mlucas-avx2`（AMD CPU）、`~/hammer/tools/stress_*.py`（DDR / SSD / USB / PCIe / I2C） | +| 平台監控 | SONiC `show platform *`（pmon container，含 `leak status` / `leak channels`） | +| 壓力測試 | `mlucas-avx2`（AMD CPU）、`~/hammer/tools/stress_{mem,ssd,usb}.py` | +| 資料面流量 | `bcmcmd`（Broadcom drivshell）VLAN loopback + `tx` burst，switch unit 0 / 1 | +| 流量報表 | DUT 上 awk（`blanton_traffic_linespeed report`）；離線 `python3 tools/bcm_mibpair_report_V1.1.0.py` | | 版本控制 | Git（NAS + Gitea 私有 remote；**不推 GitHub，含客戶 NDA 資料**） | > ⚠️ **無編譯步驟。** TTL 與 bash 都是直譯執行，「build」等同「把 `src/Script_ABC_Blanton/` 複製到 @@ -70,16 +72,19 @@ LTC2980 margin 控制器。TTL 只負責「按順序 `sendln` 並把畫面收進 │ ├ blanton_icb_vi2c.sh vi2c_* (ICB/PDB proxy) │ │ ├ blanton_temp_sensor.sh temp_cb / temp_icb / temp_all │ │ ├ blanton_pwr_data.sh pwr_data / pwr_data_pdb │ +│ ├ blanton_traffic_linespeed.sh │ +│ │ init/clear/show/start/stop/ps/report (bcmcmd) │ │ └ LTC2980_Margin_Script/ margin_init / margin_status ... │ │ │ │ ~/hammer/tools/ 壓力程序（mlucas-avx2, stress_*.py） │ -│ SONiC CLI show platform fan/temperature/... │ +│ bcmcmd -n 0|1 Broadcom drivshell（VLAN loopback / tx） │ +│ SONiC CLI show platform fan/temperature/leak/... │ │ Linux sysfs aer_dev_* / edac mc0/rank* │ └───────────────────────┬──────────────────────────────────────┘ │ pcimem /sys/bus/pci/devices/0000:03:00./resource0 ▼ ┌──────────────────────────────────────────────────────────────┐ -│ CB FPGA (PCIe EP，4 個 Function) │ +│ CB FPGA (PCIe EP，4 個 Function；BDF 於 source 時自動偵測) │ │ F0 local regs：RST_CAUSE_REG 0xD90 / SWB 0xD94,0xD98 │ │ F3 I2C master Ch0..Ch17 (base 0x300, stride 0x20) │ │ F3 VI2C→ICB Ch0..Ch4 (base 0x780, stride 0x20) │ @@ -108,9 +113,16 @@ Blanton_TTL_Script/ │ ├── Blantons_FPGA_Registers_draft.docx # 同上，客戶原始 docx │ ├── Blantons_FPGA_Registers_Map_draft.xlsx │ ├── Blantons_PCIe_AER_and_DDR_EDAC_checks.pdf # AER / EDAC 檢查點依據 -│ └── TTL_Script_Blanton_Status_20260814.xlsx # ⭐ 三支腳本逐項 Status（OK / On-Going + Owner） +│ ├── TTL_Script_Blanton_Status_20260814.xlsx +│ └── TTL_Script_Blanton_Status_20260817.xlsx # ⭐ 最新：三支腳本逐項 Status（OK / On-Going + Owner） │ -├── tools/ # Host 端輔助腳本（log 解析、報表產生） +├── tools/ # Host / 離線端輔助腳本 +│ ├── bcm_mibpair_report_V1.1.0.py # 離線解析 drivshell log → per-pair TX/RX + PASS/FAIL +│ ├── traffic_loopback_vlan_setting.txt # bcmcmd VLAN 30..137 建立 + 成對 pbm（cdN <-> cdN+32） +│ ├── traffic_loopback_start.txt # bcmcmd tx 100 length=512 VLantag= +│ └── traffic_loopback_vlan_remove.txt # bcmcmd vlan remove pbm=... +│ # ↑ 三份為手動貼上用的原始指令表， +│ # blanton_traffic_linespeed.sh 是其 bash 版 │ ├── secret/ # 🚫 gitignored — DUT 密碼、per-unit BDF、COM 設定 │ ├── README.md # ✅ committed — 用途索引 @@ -131,7 +143,8 @@ Blanton_TTL_Script/ │ ├── utils/ # 可 include 的取數片段（TTL，無狀態、只 wait+sendln） │ ├── pcie_bus.ttl # lspci -tvvv / -vv - │ ├── setup_pmon.ttl # show platform summary/fan/temperature/psu/voltage/current/ssd + │ ├── setup_pmon.ttl # show platform summary/fan/temperature/psustatus/voltage/ + │ │ # current/ssdhealth/leak status/leak channels（9 項） │ ├── show_dmesg.ttl # date + dmesg grep error/fail/warning │ ├── show_margin_status.ttl # source margin_status_all.sh（掃 9 顆 LTC2980） │ ├── kill_all_process.ttl # kill $(jobs -p) @@ -152,6 +165,8 @@ Blanton_TTL_Script/ ├── blanton_icb_vi2c.sh # CB F3 VI2C proxy → ICB/PDB（Ch0~Ch4） ├── blanton_temp_sensor.sh # TMP75 / TMP432 讀溫（CB Ch10 mux + ICB VI2C Ch2） ├── blanton_pwr_data.sh # SWB VRM + PDB brick 的 Vin/Vout/Iout/Temp 表 + ├── blanton_traffic_linespeed.sh # SWB loopback 線速流量（bcmcmd unit 0/1） + │ # init/clear/show/start/stop/ps/report/run └── LTC2980_Margin_Script/ # 電壓 margin 子專案（另有獨立 repo） ├── margin.sh # margin_init/status/set/apply_profile/save ├── settings/*.conf # 一個 .conf = 一顆 LTC2980（CB + SWB0/1 × CONN13~16） @@ -235,9 +250,16 @@ PROFILE_CHANNELS=( "0:high:8" "1:low:8" ... ) # "channel:operation:change_perc | I210 1G NIC | `0000:07:00.0` | `0000:00:02.4` | | NVMe SSD | `0000:06:00.0` | `0000:00:02.1` | -> ⚠️ **BDF 是 per-unit 的**。`blanton_fpga_pcimem.sh` 的 `FUNCT0..3_RES` 已經改過三次 -> （04:00.x → 03:00.x → 05:00.x → 03:00.x）。換 DUT 一定要先 `lspci -Dnn | grep -i fpga` 重新確認， -> 同理 `show_pcie_error_reg_*.ttl` 裡的 BDF 也要跟著校。 +> ⚠️ **BDF 是 per-unit 的，而且只解決了一半。** +> `blanton_fpga_pcimem.sh`（V1.5.0 起）**已改為 source 時自動偵測**，不再需要每台改檔： +> 掃 sysfs 找 `vendor == 0x1590`（HPE）且 `.0`~`.3` 四個 function 都有 `resource0` 的裝置 → +> 退回 `lspci -Dnn` 名稱比對 → 再退回 `FPGA_BDF_FALLBACK`（`0000:03:00`）。 +> 偵測結果會印一行 `[INFO] CB FPGA BDF = ...`，並存在 `FPGA_BDF_ACTIVE`。 +> 換 DUT 後可用 `fpga_rescan` 重測，或 `FPGA_BDF=0000:05:00 fpga_rescan` 手動釘住。 +> +> **但 `utils/show_pcie_error_reg_*.ttl` 裡的 BDF 仍然是寫死的**（上表那 7 組）， +> 自動偵測完全沒有涵蓋到它們。換 DUT 時這些 TTL 還是要人工校對，否則 AER 會讀到錯誤的裝置 +> ——甚至讀到不存在的路徑而整段 `No such file or directory`。 --- @@ -245,10 +267,11 @@ PROFILE_CHANNELS=( "0:high:8" "1:low:8" ... ) # "channel:operation:change_perc | 模組 | 進入點 | 功能 | |------|--------|------| -| **Script A（Pre-test）** | `1_Blanton_Script_A.ttl` | root 登入 → `mkdir ./logs` → `date -s` 對時 → source 五個 bash 工具 → 清/讀 7 組 PCIe AER → `lspci -tvvv/-vv` → margin 全掃 → PMON 七項 → dmesg 三 grep → `messagebox` 提示接 Script B | -| **Script B（Stress）** | `2_Blanton_Script_B.ttl` | `mlucas-avx2 -cpu 0:15` + 5 份 `stress_mem.py` + `stress_hhmd/ssd/pcie/usb.py` 全部背景執行 → `jobs` 確認 → `while 1` 每輪 `show platform fan` / `temperature` / margin | -| **Script C（Post-test）** | `3_Blanton_Script_C.ttl` | `kill $(jobs -p)` → PMON + dmesg 再抓一次 → 7 組 AER 再抓一次 → `cat` mlucas / stress_ssd log → 完成 messagebox | -| **FPGA 暫存器存取** | `cb_fpga [data]` | pcimem 打 `resource0` + BAR 相對 offset，32-bit word；`pmc/icb/swb0/swb1_fpga` 走 VSPI 窗口 | +| **Script A（Pre-test）** | `1_Blanton_Script_A.ttl` | root 登入 → `mkdir ./logs` → `date -s` 對時 → source **六個** bash 工具 → 清/讀 7 組 PCIe AER → `lspci -tvvv/-vv` → margin 全掃 → PMON 九項 → dmesg 三 grep → `messagebox` 提示接 Script B | +| **Script B（Stress）** | `2_Blanton_Script_B.ttl` | `mlucas-avx2 -cpu 0:15` + 5 份 `stress_mem.py` + `stress_ssd.py` + `stress_usb.py` 背景執行（**共 8 個 job**）→ `jobs` 確認 → traffic `ps/init/clear/show/start -u 0` → `while 1` 每輪完整 PMON + margin | +| **Script C（Post-test）** | `3_Blanton_Script_C.ttl` | `kill $(jobs -p)` → PMON + dmesg 再抓一次 → 7 組 AER 再抓一次 → `cat` mlucas / stress_ssd log → traffic `stop` + `report -u 0` → 完成 messagebox | +| **SWB loopback 流量** | `blanton_traffic_linespeed [-u 0\|1\|all]` | `init`（VLAN 30..137，成對 `cdN`/`cdN+32`）→ `clear` → `start`（`tx 100 length=512`）→ `stop` → `report`（per-pair TX/RX 交叉比對 PASS/FAIL）；另有 `ps`（link/speed）與 `run`（一條龍） | +| **FPGA 暫存器存取** | `cb_fpga [data]`、`fpga_rescan` | pcimem 打 `resource0` + BAR 相對 offset，32-bit word；BDF 於 source 時自動偵測；`pmc/icb/swb0/swb1_fpga` 走 VSPI 窗口 | | **CB I2C / PMBus** | `cb_i2c_init/scan/read/write`、`cb_pmbus_read/write/linear16` | FPGA F3 OpenCores master，**讀用 Repeated START**（SMBus/PMBus 裝置必需） | | **ICB / PDB 存取** | `vi2c_init/scan/read/write`、`vi2c_scan_all` | CB F3 VI2C proxy，~3.3 ms/reg，取代 VSPI 的 ~18 ms/reg（後者會踩 SMBus 25–35 ms timeout） | | **溫度** | `temp_cb` / `temp_icb` / `temp_all` | TMP75（12-bit 左靠齊 ×0.0625）、TMP432（含 RANGE bit 的 −64 偏移、remote1/2） | @@ -269,30 +292,33 @@ Script A ── logopen Logs/Blanton_Margin_.log ──┐ (之後所有畫 │ │ ├─ 登入 admin → sudo -i → root@sonic:~# │ ├─ date -s "" ← 讓 DUT 時戳可對照 │ - ├─ source 5 個 bash 工具（函數進 shell） │ + ├─ source 6 個 bash 工具（函數進 shell） │ + │ └ 此時 blanton_fpga_pcimem.sh 印出 [INFO] CB FPGA BDF = ...（自動偵測結果） ├─ AER 基線：7 組 EP+RP 的 correctable/nonfatal/fatal ├─ lspci -tvvv / -vv ← 拓樸 + link speed/width ├─ margin_status_all ← 9 顆 LTC2980 × 16ch 的 Vout 與偏差% - ├─ show platform × 7 ← fan/temp/psu/voltage/current/ssdhealth + ├─ show platform × 9 ← fan/temp/psu/voltage/current/ssdhealth/leak status/leak channels └─ dmesg | grep error/fail/warning ▼ [messagebox "Start Script B"] ← 人工確認後手動跑 B │ ▼ Script B ── 同一個 log 檔續寫（logwrite 分隔線） - ├─ 背景程序：mlucas-avx2(CPU) ×1, stress_mem ×5, - │ stress_hhmd(I2C/LSB/PCIe), stress_ssd, stress_pcie, stress_usb + ├─ 背景程序：mlucas-avx2(CPU) ×1, stress_mem ×5, stress_ssd, stress_usb → 共 8 個 job + │ （stress_hhmd / stress_pcie 已於 2026-08-17 移除，見 Status 表 ScriptB #5/#7 "KC Remove"） ├─ jobs ← 確認全部起來了 - └─ while 1: fan → temperature → margin_status_all （soak 期間持續取樣） + ├─ traffic: ps → init → clear → (pause 3) → show → start （unit 0，VLAN 30..137 loopback） + └─ while 1: setup_pmon（9 項）→ margin_status_all （soak 期間持續取樣） ▼ [測試員 Ctrl-C / 停止 macro，接著跑 C] │ ▼ Script C ├─ kill $(jobs -p) ← 收掉所有背景壓力 - ├─ show platform × 7 + dmesg ← 收工快照 + ├─ show platform × 9 + dmesg ← 收工快照 ├─ AER 再抓一次 ← 與 Script A 基線相減 = 本輪新增錯誤 - └─ cat mlucas_amm_log / log.stress_ssd ← 壓力程式自身的 pass/fail + ├─ cat mlucas_amm_log / log.stress_ssd ← 壓力程式自身的 pass/fail + └─ traffic: stop → report ← per-pair TX/RX 交叉比對，PASS/FAIL/NA（exit 2 = 有 FAIL/NA） ▼ [messagebox "GOOD JOB! Test Case DONE"] → 人工檢查 log ``` @@ -321,8 +347,9 @@ pwr_data 跑 B/C 前若關掉了 Tera Term，log 就斷了。 3. **PCIe AER 的判定是「差值」不是「絕對值」**：Script A 抓基線、Script C 抓結果， 兩者相減才是本輪產生的錯誤。EP 與上游 Root Port **兩邊都要看**（錯誤可能只記在 RP）。 -4. **BDF 是 per-unit 的**，換 DUT 必須重新確認並改 `blanton_fpga_pcimem.sh` 的 `FUNCT0..3_RES` - 與 `utils/show_pcie_error_reg_*.ttl`（見 Data Models §5 註）。 +4. **BDF 是 per-unit 的，bash 端已自動偵測、TTL 端仍寫死**：`blanton_fpga_pcimem.sh` V1.5.0 起 + 於 source 時自掃（vendor `0x1590` → `lspci` → fallback），但 `utils/show_pcie_error_reg_*.ttl` + 的 7 組 BDF 還是硬編碼，換 DUT 仍需人工校對（見 Data Models §5 註）。 5. **ICB / PDB 一律走 VI2C，不走 VSPI**：VSPI ~18 ms/reg 會讓 I2C byte 相之間拉到 ~50 ms， 踩中 SMBus 25–35 ms timeout，裝置會 NACK register pointer。實測全 5 通道掃描 9.4 s vs 34.0 s。 6. **I2C 讀一律用 Repeated START**（不是 STOP + START）：PMBus / SMBus 裝置（VRM、EFUSE） @@ -334,9 +361,15 @@ pwr_data 9. **`ARB_LOST` 不等於裝置存在**：`vi2c_scan` 只看 `RX_ACK`，仲裁失敗會被誤報成「有裝置」。 `blanton_pwr_data.sh` 因此加了 ARB_LOST-aware retry 與 plausibility window （`0xFFFF` 或超出範圍一律回 `NA`）——**寧可 NA 也不要印出一個看起來像數據的錯值**。 -10. **DUT 密碼不得進 git**：`1_Blanton_Script_A.ttl` 目前的 `sendln "YourPaSsWoRd"` 是 placeholder， +10. **`bcmcmd` 成功退出不代表指令成功**：BCM shell 拒絕指令（`VLAN: ERROR: Entry exists` / + `Failed to execute the diagnostic command`）時 `bcmcmd` 仍 exit 0。 + `blanton_traffic_linespeed.sh` 因此改用輸出比對（`$TL_ERR_PAT`），並把 + `vlan create` 的 `Entry exists`（重跑 init）與 `vlan remove` 的 `not found`（init 前先 stop） + 當良性情況分開計數。另外 `bcmcmd` 一律以 `:~/ ssh admin@ 'sudo -i' # （現場無網路時改用 USB 隨身碟複製到 ~/Blanton_Script） -# ── 3. DUT 端：確認 FPGA BDF（每台不同！）──────────────────── -lspci -Dnn | grep -i fpga # 例：0000:03:00.0 -ls -d /sys/bus/pci/devices/0000:*:00.3 -# 若不是 0000:03:00.x，改 ~/Blanton_Script/blanton_fpga_pcimem.sh 的 FUNCT0..3_RES -# 以及 src/Script_ABC_Blanton/utils/show_pcie_error_reg_*.ttl 內的 BDF - -# ── 4. DUT 端：煙霧測試（跑 Script A 之前先手動確認）────────── +# ── 3. DUT 端：煙霧測試（跑 Script A 之前先手動確認）────────── source ~/Blanton_Script/blanton_fpga_pcimem.sh +# → 會印 [INFO] CB FPGA BDF = 0000:0X:00.0-.3 (resource0) ← BDF 自動偵測，不用改檔 +# 偵測錯或多顆候選時：FPGA_BDF=0000:05:00 fpga_rescan cb_fpga 0 0xD90 # RST_CAUSE_REG，讀得到值 = BAR 通了 source ~/Blanton_Script/blanton_cb_i2c.sh cb_i2c_init 11 && cb_i2c_scan 11 # Ch11 風扇控制器，應看到 0x20 source ~/Blanton_Script/LTC2980_Margin_Script/margin.sh margin_init Blanton_CB_CONN13 && margin_status +source ~/Blanton_Script/blanton_traffic_linespeed.sh +blanton_traffic_linespeed ps -u 0 # 對照線的 link/speed +blanton_traffic_linespeed init -u 0 -n # -n = dry-run，先看要下哪些 bcmcmd + +# ── 4. DUT 端：校對 AER 的 BDF（自動偵測沒涵蓋這裡！）───────── +lspci -Dnn # 對照 ARCHITECTURE.md 的 PCIe 拓樸表 +# 與 src/Script_ABC_Blanton/utils/show_pcie_error_reg_*.ttl 內寫死的 7 組 BDF 比對， +# 不符就改 TTL——否則 AER 會讀到別的裝置或不存在的路徑 ``` **Host（Windows）端：** @@ -416,12 +453,13 @@ margin_init Blanton_CB_CONN13 && margin_status **目標：** 專案進 git（NAS + Gitea），帳密不再躺在腳本裡，任何人 clone 下來照文件就能跑。 **包含：** -- [ ] `git init` + `.gitignore`（`secret/*`、`For_AI/`、`logs/*.log`、`~$*`、`*.DSN`） -- [ ] 建 `secret/README.md` + `secret/config_secret.ttl.example`（`__CHANGE_ME__` placeholder） +- [x] `git init` + `.gitignore`（`secret/*`、`For_AI/`、`logs/*.log`、`~$*`、`*.DSN`） +- [x] 建 `secret/README.md` + `secret/config_secret.ttl.example`（`__CHANGE_ME__` placeholder） - [ ] `config.ttl` 改為 `include "..\..\secret\config_secret.ttl"`（或現場放同層）， 把 `1_Blanton_Script_A.ttl` 的 `sendln "YourPaSsWoRd"` 換成 `sendln dut_password` -- [ ] `src/Script_ABC_Blanton/logs/.gitkeep`，既有 `Blanton_Margin_20260814-164122.log` 移出 repo -- [ ] `CLAUDE.md` + `ARCHITECTURE.md` 進 repo，push `nas` + `gitea`（**不推 GitHub**） + **← 唯一未完成項；密碼目前仍寫在腳本裡** +- [x] `src/Script_ABC_Blanton/logs/.gitkeep`，既有 `Blanton_Margin_20260814-164122.log` 移出 repo +- [x] `CLAUDE.md` + `ARCHITECTURE.md` 進 repo，push `nas` + `gitea`（**不推 GitHub**） **驗收條件：** 在另一台機器 `git clone` → 填 `secret/config_secret.ttl` → Script A 能完整登入並產生 log； `git log -p` 中搜不到任何實際密碼。 @@ -442,7 +480,8 @@ margin_init Blanton_CB_CONN13 && margin_status - [ ] 新增 `utils/show_pwr_data.ttl`（`pwr_data` + `pwr_data_pdb`）與 `utils/show_temp_sensor.ttl`（`temp_all`），把 `blanton_pwr_data.sh` / `blanton_temp_sensor.sh` 真正接進流程（目前 Script A 只 source 沒用） -- [ ] Script A 開頭加 BDF 自檢：`lspci -Dnn | grep -i fpga`，log 裡看得到本台的實際 BDF +- [x] Script A 開頭加 BDF 自檢 —— 由 `blanton_fpga_pcimem.sh` V1.5.0 的 source 時自動偵測達成， + log 內會出現 `[INFO] CB FPGA BDF = ...`（比原本規劃的 `lspci` 一行更完整） **驗收條件：** 跑一次 Script A，log 內同時含 reset cause 三個暫存器值、9 顆 LTC2980 × 16ch 的 margin status、全部 VRM 軌的 Vin/Vout/Iout/Temp、CB + ICB 溫感讀值，且無 `ERR` / `NA` 以外的異常。 @@ -458,14 +497,17 @@ margin status、全部 VRM 軌的 Vin/Vout/Iout/Temp、CB + ICB 溫感讀值， （`ls -l ~/hammer/tools/` + `ls ~/hammer/tools/amd/mlucas-avx2`），缺檔就別往下跑 - [ ] 壓力程序 log 加時戳，避免多輪覆蓋： `mlucas_amm_log` → `~/logs/mlucas_amm_log_$(date +%Y%m%d-%H%M%S).log`（Status 表 ScriptB #2 的既定寫法） -- [ ] `jobs` 之後加驗證：期望 10 個背景 job（1 mlucas + 5 mem + hhmd/ssd/pcie/usb）， +- [ ] `jobs` 之後加驗證：期望 **8** 個背景 job（1 mlucas + 5 mem + ssd + usb）， 數量不符時 `messagebox` 提示 + （`stress_hhmd` / `stress_pcie` 已於 2026-08-17 由 KC 移除，原本的 10 改為 8） - [ ] soak 迴圈改為「每輪先 `date`、跑完 `pause <間隔>`」， 把 `EN_LoopInterval`（預設 600 秒 = 10 min）放進 `config.ttl`，兌現 Status 表的「Get data every 10mins」 -- [ ] soak 每輪補 `show platform psustatus` / `voltage` / `current`（目前只有 fan + temperature） + **← 目前 `while 1` 仍無 `pause`，實際間隔取決於指令執行時間，不是 10 分鐘** +- [x] soak 每輪補 `show platform psustatus` / `voltage` / `current` + —— 迴圈已改為 `include "utils/setup_pmon.ttl"`，九項全收 - [ ] 補 `; ========== CLEAR EVENT ==========`（Status 表 ScriptB #1，Owner: Alan） -**驗收條件：** Script B 啟動後 `jobs` 顯示 10 個 job；連續跑 3 輪，log 內三段各自帶正確時戳且間隔 ≈10 min； +**驗收條件：** Script B 啟動後 `jobs` 顯示 8 個 job；連續跑 3 輪，log 內三段各自帶正確時戳且間隔 ≈10 min； 故意把 `~/hammer` 改名，Script B 會在前置檢查就停下並提示。 --- @@ -474,19 +516,31 @@ margin status、全部 VRM 軌的 Vin/Vout/Iout/Temp、CB + ICB 溫感讀值， **目標：** 補齊 Status 表中 Owner=Alan 的三個 traffic 項目，讓測試涵蓋交換晶片的資料面。 -**包含：** -- [ ] `utils/traffic_setup.ttl`：Blanton/SONiC 版的 port 起始設定與 counter 清零 - （對照 Carlsbad 的 `clear int stat global`，改用 SONiC `sonic-clear counters`） -- [ ] `utils/show_traffic_counters.ttl`：`show interface counters`、 - `show interface counters errors`、`show interface status` -- [ ] `utils/show_interface_detail.ttl`：`show interface transceiver eeprom/dom`、 - `show interface link-training`（對照 Carlsbad `sho int transceiver detail`） -- [ ] `utils/show_tech.ttl`：`show techsupport`（Script C 收工快照，Status 表 ScriptC #4） -- [ ] Script A 的 TRAFFIC-SETUP-STAGE 與 Script C 的 CHECK Traffic counters 接上這些片段 -- [ ] `config.ttl` 加 `EN_Traffic` 旗標，未接線的站點可整段跳過 +> 📌 **實作路線與原規劃不同**：原本設想用 SONiC CLI（`sonic-clear counters` / `show interface counters`）， +> 實際落地的是**更底層的 `bcmcmd` drivshell 路線** —— SWB 實體 loopback 線 + VLAN 成對配置 + `tx` burst， +> 直接讀 ASIC 的 `MIB_TPOK`/`MIB_RPOK`。好處是能做 per-pair 雙向交叉比對（`cdA.TX == cdB.RX`）， +> 比 SONiC CLI 的單向 counter 強得多；代價是綁定 Broadcom SDK 與那條 loopback 線。 -**驗收條件：** `EN_Traffic=1` 時，Script A log 有清零後的 counter 基線、Script C log 有結束時的 -counter 與 error-counter，兩者可直接相減；`EN_Traffic=0` 時整段不執行且不報錯。 +**包含：** +- [x] `blanton_traffic_linespeed.sh`（V0.4.0）：`init` / `clear` / `show` / `start` / `stop` / + `ps` / `report` / `run`，unit 0 與 1，VLAN 30..137 對應 `cdN` ↔ `cdN+32` + （取代原規劃的 `utils/traffic_setup.ttl`） +- [x] per-pair TX/RX 報表與 PASS/FAIL 判定：DUT 上 awk（`report`）+ 離線 + `tools/bcm_mibpair_report_V1.1.0.py`，同版面同判定規則 + （取代原規劃的 `utils/show_traffic_counters.ttl`） +- [x] Script B 接上 `ps → init → clear → show → start`、Script C 接上 `stop → report` +- [x] 原始 bcmcmd 指令表留檔：`tools/traffic_loopback_{vlan_setting,start,vlan_remove}.txt` +- [ ] **Script A 的 TRAFFIC-SETUP-STAGE 仍是空區塊** —— 目前流量只在 B/C，A 沒有基線 +- [ ] `utils/show_interface_detail.ttl`：`show interface transceiver eeprom/dom`、 + `show interface link-training`（Status 表 ScriptC #4，仍 On-Going） +- [ ] `utils/show_tech.ttl`：`show techsupport`（Script C 收工快照，Status 表 ScriptC #4） +- [ ] `config.ttl` 加 `EN_Traffic` 旗標，未接 loopback 線的站點可整段跳過 + （現在 B/C 是無條件執行，沒接線會整批 bcmcmd 失敗） +- [ ] 兩支腳本目前都寫死 `-u 0`，另一塊 switch board（unit 1）沒被測到； + 工具本身預設是 `TL_UNITS="0 1"`，要決定是照工具預設跑兩塊，還是維持只測 unit 0 + +**驗收條件：** `EN_Traffic=1` 時，Script C 的 `report` 印出 108 對的 TX/RX 表且全 PASS； +拔掉一條 loopback 線重跑，該對顯示 FAIL 或 NA 且 exit code 為 2；`EN_Traffic=0` 時整段不執行且不報錯。 --- @@ -502,6 +556,8 @@ counter 與 error-counter，兩者可直接相減；`EN_Traffic=0` 時整段不 - [ ] Margin 表解析：把 9 顆 × 16ch 的 Vout / 偏差% 收成 CSV，標出超出 ±(profile 設定值 + 容差) 的軌 - [ ] 溫度 / 風扇 / 電源趨勢：soak 期間逐輪取樣 → CSV（可直接畫圖） - [ ] Stress 判定：`mlucas_amm_log` 與 `log.stress_ssd` 的錯誤關鍵字掃描 +- [ ] Traffic 判定：**直接複用 `tools/bcm_mibpair_report_V1.1.0.py`**（它已能吃 console log 的 + `show c` 段落並輸出 PASS/FAIL），不要重寫一套解析 - [ ] 產出 `Logs/_summary.md`：一頁 PASS/FAIL + 每個子系統一行結論 **驗收條件：** 拿一份既有 log（如 `Blanton_Margin_20260814-164122.log`）跑解析器， @@ -537,8 +593,11 @@ counter 與 error-counter，兩者可直接相減；`EN_Traffic=0` 時整段不 COM36 才拿到部分結果；`READ_VIN` 已知不是真的輸入電壓（跟隨 `READ_VOUT`）。待拿到 brick 的 `MFR_ID`/`MFR_MODEL` 後對照 datasheet 定案。 - **`show_pcie_error_reg.ttl` 淘汰**：舊的合併版已被 7 支 per-device 版取代，確認無人引用後刪除。 -- **BDF 自動偵測**：把 `blanton_fpga_pcimem.sh` 註解中的 auto-detect 片段轉正， - 用 `lspci -Dnn | grep -i fpga` 動態填 `FUNCT0..3_RES`，讓換 DUT 不用改檔。 +- ✅ **BDF 自動偵測** —— 已於 `blanton_fpga_pcimem.sh` V1.5.0（2026-08-17）完成。 + 下一步是把同樣的偵測結果餵給 `utils/show_pcie_error_reg_*.ttl`， + 讓 AER 那 7 組 BDF 也不用手改（目前仍是硬編碼）。 +- **`stress_hhmd` / `stress_pcie` 的替代**：兩者已於 2026-08-17 移除，I2C／PCIe 的持續讀取壓力 + 目前沒有替代品。若仍需覆蓋這塊，可考慮用 `blanton_cb_i2c.sh` / `cb_fpga` 寫一支輕量 loop。 - **SSH / 網路模式**：目前全走 COM console。若 DUT 管理網路可用，可改用 `plink`/`ssh` 執行同一組 bash 工具，速度與可靠度都比 serial 好，TTL 只保留開機階段。 - **多 DUT 併行**：多台 DUT 同時 soak 時，Tera Term 每台開一個 macro window； diff --git a/CLAUDE.md b/CLAUDE.md index e915ad6..a4b3be3 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -17,6 +17,8 @@ DUT 端的取數能力由一組 **bash 工具庫** 提供（CB FPGA `pcimem` → - **I2C/PMBus**：CB FPGA F3 I2C master（Ch0~Ch17，base 0x300 stride 0x20）、 CB F3 VI2C proxy → ICB/PDB（Ch0~Ch4，base 0x780）、CPU 原生 bus（`i2cset`/`i2cget`） - **Margin**：LTC2980（= 2 × LTC2977）over PMBus，LINEAR16 +- **資料面流量**：`bcmcmd`（Broadcom drivshell）SWB loopback，VLAN 30..137 成對 `cdN`/`cdN+32`， + `tx 100 length=512`；判定讀 ASIC `MIB_TPOK`/`MIB_RPOK` 做 per-pair 雙向交叉比對 - **判定資料源**：PCIe AER sysfs（`aer_dev_*`）、EDAC sysfs（`dimm_{ce,ue}_count`）、SONiC `show platform *` - **無編譯步驟**：TTL 與 bash 都直譯執行 @@ -26,17 +28,19 @@ DUT 端的取數能力由一組 **bash 工具庫** 提供（CB FPGA `pcimem` → # ── 部署 bash 工具庫到 DUT ────────────────────────── scp -r src/Script_ABC_Blanton/Blanton_Script admin@:~/ -# ── DUT 上先確認 FPGA BDF（每台不同！）─────────────── -lspci -Dnn | grep -i fpga -ls -d /sys/bus/pci/devices/0000:*:00.3 - -# ── DUT 上載入工具（Script A 也是做這五件事）───────── -source ~/Blanton_Script/blanton_fpga_pcimem.sh +# ── DUT 上載入工具（Script A 也是做這六件事）───────── +source ~/Blanton_Script/blanton_fpga_pcimem.sh # ← 會自己印出偵測到的 CB FPGA BDF source ~/Blanton_Script/blanton_cb_i2c.sh source ~/Blanton_Script/blanton_icb_vi2c.sh source ~/Blanton_Script/blanton_pwr_data.sh +source ~/Blanton_Script/blanton_traffic_linespeed.sh source ~/Blanton_Script/LTC2980_Margin_Script/margin.sh +# ── FPGA BDF：自動偵測，不用改檔；必要時手動釘 ─────── +fpga_rescan # 換 DUT / 重新列舉後重測 +FPGA_BDF=0000:05:00 fpga_rescan # 偵測到多顆或選錯時，指定 domain:bus:dev（不含 .fn） +echo $FPGA_BDF_ACTIVE # 目前生效的 BDF + # ── 煙霧測試 ──────────────────────────────────────── cb_fpga 0 0xD90 # RST_CAUSE_REG，讀得到 = BAR 通了 cb_i2c_init 11 && cb_i2c_scan 11 # Ch11 風扇控制器，應看到 0x20 @@ -45,9 +49,23 @@ temp_all # CB + ICB 溫感 pwr_data # SWB VRM 全軌 margin_init Blanton_CB_CONN13 && margin_status +# ── SWB loopback 流量（bcmcmd，unit 0/1）───────────── +blanton_traffic_linespeed ps -u 0 # 對照線的 link/speed +blanton_traffic_linespeed init -u 0 # VLAN 30..137，cdN <-> cdN+32 +blanton_traffic_linespeed clear -u 0 # clear c +blanton_traffic_linespeed start -u 0 -tx 100 -length 512 +blanton_traffic_linespeed stop -u 0 # 移除 VLAN 成員（--destroy 連 VLAN 一起砍） +blanton_traffic_linespeed report -u 0 # per-pair TX/RX + PASS/FAIL（exit 2 = 有 FAIL/NA） +blanton_traffic_linespeed run -u 0 # ps → init → clear → start → report 一條龍 +blanton_traffic_linespeed init -u 0 -n # -n dry-run：只印要下的 bcmcmd，不碰 DUT +blanton_traffic_linespeed report -f # 離線重解一份存下來的 console log + +# 離線版報表（開發機上跑，選項更多） +python3 tools/bcm_mibpair_report_V1.1.0.py -a + # ── 各工具的 help ─────────────────────────────────── blanton_fpga_help ; blanton_cb_i2c_help ; vi2c_help -temp_sensor_help ; pwr_data_help +temp_sensor_help ; pwr_data_help ; blanton_traffic_linespeed_help ``` **Host 端跑一輪測試：** @@ -69,8 +87,11 @@ Tera Term 連 COM port (115200-8-N-1) - **新增取數項目** = 新增一支 `utils/show_xxx.ttl`，再在主腳本 `include`，不要往主腳本塞指令 - **bash 命名**：公開函數 `cb_i2c_* / vi2c_* / temp_* / pwr_* / margin_*`，內部 helper 一律底線開頭 （`_cbi2c_* / _vr / _ts_* / _pwr_*`） -- **版本紀錄**：每支 `.ttl` 與 `.sh` 檔頭都有 `Version History` 區塊，改動時**在檔頭補一行** - （`V1.0.2 YYYY-MM-DD <做了什麼>`），不要只改版號 +- **版本紀錄**：`.sh` 每支檔頭都有 `Version History` 區塊，改動時**在檔頭補一行** + （`V1.0.2 YYYY-MM-DD <做了什麼>`），不要只改版號。 + TTL 這邊 **2026-08-17 起改為集中制**：`1_Blanton_Script_A.ttl` 的 History 記錄 A/B/C 三支的 + 所有變更，B 與 C 的檔頭版本區塊已移除。⚠️ 這是待確認的慣例變更 —— + 若要回到「每支各自記錄」，B/C 的 History 需要補回去 - **Commit**：Conventional Commits，**英文**。scope 用 `ttl` / `fpga` / `i2c` / `vi2c` / `margin` / `pwr` / `temp` / `docs` - **Status 表**：`docs/TTL_Script_Blanton_Status_*.xlsx` 是逐項進度的正本（OK / On-Going + Owner）， @@ -81,9 +102,12 @@ Tera Term 連 COM port (115200-8-N-1) - 🔒 **NDA：本 repo 只推 `nas` + `gitea`，絕不推 GitHub。** `docs/` 內含客戶 FPGA 規格。 - 🔒 **DUT 帳密不進 git**。`1_Blanton_Script_A.ttl` 的 `sendln "YourPaSsWoRd"` 是 placeholder， 實際值放 `secret/config_secret.ttl`（gitignored）。**任何 commit 前先 grep 一次確認沒帶到真密碼。** -- ⚠️ **PCIe BDF 是 per-unit 的**。`blanton_fpga_pcimem.sh` 的 `FUNCT0..3_RES` 已經改過三次 - （04:00.x → 03:00.x → 05:00.x → 03:00.x）。換 DUT 一定先 `lspci -Dnn | grep -i fpga`， - `utils/show_pcie_error_reg_*.ttl` 內的 BDF 也要一起校。 +- ⚠️ **PCIe BDF 是 per-unit 的 —— bash 端已自動化，TTL 端還沒**。 + `blanton_fpga_pcimem.sh` V1.5.0（2026-08-17）起 source 時自動偵測（sysfs vendor `0x1590` → + `lspci` → `FPGA_BDF_FALLBACK`），**不用再每台改檔**；印一行 `[INFO] CB FPGA BDF = ...`， + 可用 `fpga_rescan` 重測、`FPGA_BDF=... fpga_rescan` 手動釘住。 + **但 `utils/show_pcie_error_reg_*.ttl` 裡的 7 組 BDF 仍是寫死的**，換 DUT 還是要人工校對 —— + 不校就會讀到別的裝置，或整段 `No such file or directory`。 - ⚠️ **AER 判定看差值不看絕對值**：Script A 抓基線、Script C 抓結果，相減才是本輪錯誤。 **Endpoint 與上游 Root Port 兩邊都要讀**，錯誤可能只記在 RP。 - ⚠️ **ICB/PDB 一律走 VI2C（`blanton_icb_vi2c.sh`），不要走 VSPI**：VSPI ~18 ms/reg 會讓 I2C @@ -99,12 +123,24 @@ Tera Term 連 COM port (115200-8-N-1) shell；log 也只有 A 會 `logopen`，B/C 是續寫。中途關掉 window 就得手動收程序、log 也斷了。 - ⚠️ **MP29816 的 Vout 解析度不是固定值**，由 `MFR_VOUT_SCALE_LOOP(0x29)` bit[12:10] 決定， `blanton_pwr_data.sh` 執行期從晶片讀；xlsx 上寫的 `/5mV` 與 MP2985B 的 `+49` offset **都是錯的**。 +- ⚠️ **`bcmcmd` 就算失敗也 exit 0**（`VLAN: ERROR: Entry exists` / + `Failed to execute the diagnostic command` 都照樣回 0），所以 `blanton_traffic_linespeed.sh` + 是**比對輸出**而非看 exit code。另外 `bcmcmd` 一律要 `_/` + zip） - `secret/` — 🚫 gitignored（除 `README.md` 與 `*.example`）：DUT 帳密、per-unit BDF 覆寫、COM 設定 - `For_AI/` — 🚫 gitignored：AI 協作素材（波形截圖、草稿筆記）