ricelodging-mtl_2019_trainval_512px_4288samples.h5
資料集檔案說明（HDF5）
ricelodging-mtl_2019_trainval_512px_4288samples.h5
- 任務型態：多任務（MTL）
- 資料切分：訓練／驗證
- 來源區塊數：67 幅；圖磚數 N：4,288 張
- 包含之 dataset：images、masks、masks_paddy、filenames
- 檔案大小：約 2.70 GB
補充說明：
- 單任務版與 MTL 版之關係：同一切分下，兩版之
images、masks、filenames逐筆完全相同（順序一致），MTL 版僅多一個由masks轉換而來之masks_paddy。因此兩版為同一批資料之不同封裝，擇一使用即可；案例數 6,464 = 4,288（trainval）+ 2,176（test），MTL 檔不構成額外案例。四檔合計約 8.1 GB（約 7.6 GiB，即「總容量」欄所列數值）。 - trainval 與 test 之切分：以 4096×4096 區塊（大圖）為單位切分，同一區塊之 64 張圖磚只會出現在其中一個檔案，兩者區塊編號完全不重疊，避免相鄰圖磚造成資訊洩漏。測試集區塊編號為：007、010、012、016、022、023、026、031、101、102、105、106、108、109、110、187、276、292、297、310、314、327、336、341、347、357、379、390、401、417、457、461、480、509；其餘 67 幅屬於 trainval。
- 驗證集：檔案中未另存驗證集，訓練時由 trainval 檔隨機切出（訓練程式預設
val_split=0.2、seed=42，約 3,430 張訓練、858 張驗證）。
1. HDF5 內部結構
所有 dataset 皆以 gzip（level 4）壓縮，chunk 大小為單張圖磚（如 images 為 1×512×512×3），可高效率隨機讀取單筆資料。
Datasets：
images：形狀 (N, 512, 512, 3)，uint8；可見光 RGB 圖磚，通道順序 HWC，數值 0~255。masks：形狀 (N, 512, 512)，uint8；五類語意標籤，值域 {0, 1, 2, 3, 4, 255}，類別定義見「其他說明」。masks_paddy：形狀 (N, 512, 512)，uint8；水稻田二元遮罩，值域 {0, 1, 255}（僅 MTL 版）。filenames：形狀 (N,)，UTF-8 字串；圖磚名稱，與images、masks同索引一一對應。
根層級屬性（attrs）：
num_samples：圖磚數 N（4288 或 2176）。height、width：4096（切分前區塊大圖尺寸）；sample_height、sample_width、tile_size：512；channels：3。num_classes：5；ignore_label：255；mask_value_range：[0,4] + ignore=255；image_dtype、mask_dtype：uint8。- MTL 版另有
multitask（True）、paddy_mask_classes、paddy_mask_mapping，記錄水稻田遮罩之類別定義與轉換規則。 - 各檔皆未寫入影像均值／標準差（
image_mean、image_std）屬性。
2. 圖磚命名與排列順序
filenames格式為{區塊編號}_r{列}_c{行}，例如007_r03_c05代表區塊 007 第 3 列、第 5 行之圖磚（列、行皆為 00~07）。區塊編號即原始 TIFF／PNG 之檔名主檔名。- 檔案內依區塊編號遞增排列，同一區塊之 64 張圖磚連續存放，並以列優先（row-major）排序：區塊內第 k 張（k = 0~63）對應 r = k // 8、c = k % 8。
- 因此可由連續 64 筆還原 4096×4096 區塊大圖：
images[i:i+64].reshape(8, 8, 512, 512, 3).transpose(0, 2, 1, 3, 4).reshape(4096, 4096, 3)（masks同理，去掉最後一維）。
3. 水稻田遮罩 masks_paddy（僅 MTL 版）
masks_paddy 由 masks 逐像元轉換（datasets_segmentation.py --multitask），用於多任務模型之水稻田（Paddy）分支監督，對應「倒伏必然發生於水稻田內」之規則約束：
- 類別 1（正常水稻）與 4（倒伏水稻）→ 1（水稻田 paddy）
- 類別 0、2、3（背景、道路、耕地）→ 0（非水稻田 non-paddy）
- 255 → 255（忽略值，維持不變）
4. 類別像素分布（全量統計）
各類別像素占比，依序為 trainval（4,288 張）／test（2,176 張）／全資料集（6,464 張）：
masks
- 0 背景：39.90%／41.96%／40.59%
- 1 正常水稻：42.41%／41.80%／42.21%
- 2 道路：6.62%／8.01%／7.09%
- 3 耕地：3.65%／1.65%／2.98%
- 4 倒伏水稻：6.38%／6.19%／6.32%
- 255 忽略值：1.04%／0.39%／0.82%
masks_paddy（僅 MTL 版）
- 0 非水稻田：50.17%／51.62%／50.66%
- 1 水稻田：48.79%／47.99%／48.52%
- 255 忽略值：1.04%／0.39%／0.82%
道路、耕地與倒伏水稻為少數類別，訓練時建議搭配類別權重或 Focal／Dice 等不平衡損失函數。
5. 使用方式
選檔建議
- 單任務語意分割模型：以
ricelodging_2019_trainval_512px_4288samples.h5訓練與驗證，以ricelodging_2019_test_512px_2176samples.h5進行最終測試。 - 多任務模型（同時預測五類語意與水稻田遮罩）：改用
ricelodging-mtl_2019_trainval_512px_4288samples.h5與ricelodging-mtl_2019_test_512px_2176samples.h5。 - test 檔僅供最終評估，不應參與訓練或超參數調整；同一切分之單任務版與 MTL 版內容重複，不應合併使用。
以 h5py 直接讀取
- 以 Python 套件 h5py 唯讀開啟檔案：h5py.File("ricelodging-mtl_2019_trainval_512px_4288samples.h5", "r")，以下以 f 代表開啟後之檔案物件。
- 讀取檔案屬性：dict(f.attrs)。
- 讀取第 i 張影像：f["images"][i]，回傳形狀 (512, 512, 3) 之 uint8 RGB 陣列。
- 讀取第 i 張標註：f["masks"][i]，回傳形狀 (512, 512) 之 uint8 陣列，值域 {0~4, 255}。
- 讀取第 i 張水稻田遮罩（僅 MTL 版）：f["masks_paddy"][i]，回傳形狀 (512, 512) 之 uint8 陣列，值域 {0, 1, 255}。
- 讀取第 i 張圖磚名稱：f["filenames"][i].decode()，例如 000_r00_c00。
於 PyTorch 訓練時之注意事項
- 標籤 255 為忽略值，損失函數需設定
ignore_index=255，評估指標亦應排除該像元。 - 影像為 0~255 之 uint8，需自行轉為浮點數並正規化；本團隊訓練程式（
Model/ConvNeXt-Based/dataset_loader.py之HDF5SegmentationDataset）先除以 255，再以 mean = std = 0.5 正規化至 [-1, 1]。 - 資料增強若使用翻轉、旋轉等幾何變換，
images、masks、masks_paddy須套用同一組隨機參數以維持像元對齊。 - 多程序 DataLoader 下，建議於各 worker 內延遲開啟 h5 檔案控制代碼，避免多程序共用同一個 h5py 物件。
重新產製 HDF5
原始區塊影像與標註位於 2019/train-val/{image,annotation} 與 2019/test/{image,annotation}（影像為 TIFF、標註為 PNG，以主檔名配對）。以產製 MTL 版 trainval 檔為例，執行 python datasets_segmentation.py 並帶入下列參數（產製 test 檔時將 train-val 改為 test、輸出檔名改為對應名稱；省略 --multitask 即為單任務版）：
- --image_dir 2019/train-val/image
- --annotation_dir 2019/train-val/annotation
- --output_h5 ricelodging-mtl_2019_trainval_512px_4288samples.h5
- --num_classes 5
- --ignore_label 255
- --tile_size 512
- --multitask
其他資訊
| 欄位 | 值 |
|---|---|
| 最後更新資料 | 2026年10月14日 |
| 最後更新的後設資料 | 2026年10月22日 |
| 建立 | 2026年10月14日 |
| 格式 | HDF5 |
| Id | 1567098c-063b-4594-a622-18ff924c8dfb |
| Nchu ddl resource filetype | 影像檔案 |
| On same domain | True |
| Package id | 85fa2fcf-ae3c-4691-9d42-11be3236e4bf |
| Position | 4 |
| State | active |