跳至內容

變更

View changes from to

On 2025年12月8日 下午3:18:37 [+0800], ncblab7041 朱彥煒:

  • Updated description of RGB轉多光譜水稻田模型 from

    # 🌾 生成式光譜重建模型（Generative Spectral Reconstruction Model） **Model Name**：`model_SGN_bands12_feat31_20250825_172824.pth` **Model Task**：Image-to-Multispectral Translation **Application Domain**：Smart Agriculture｜Irrigation Management｜Early Pest Detection --- ## 🧠 模型簡介 本模型以 **生成式人工智慧（Generative AI）** 將一般 **RGB 影像** 轉換為近似 **多光譜影像**，重建四個關鍵波段：**Green、Red、Red Edge、NIR（近紅外）**。 採用 **條件生成對抗網路（Conditional GAN, cGAN）**，並結合 **光譜映射校正模組（Spectral Mapping Correction Module）**，在**無需多光譜相機**的前提下，產生高擬真的對應波段影像，可於田間即時部署，提供可視化與定量化的植生資訊，支援智慧農業決策與永續耕作。 --- ## 🔧 技術特點 - **多波段光譜重建**：以生成式網路學習光譜反射特徵，模擬不可見波段（Red Edge／NIR）並維持與可見光的一致性。 - **條件式訓練（cGAN）**：以作物生長階段、環境光照與植生指數作為條件，使生成影像具**生理一致性**與跨期穩定性。 - **光譜映射校正（SMC）**：融合物理光譜曲線與統計特徵，降低 **波段間偏移** 與 **高亮區飽和** 所導致的失真。 - **多時期支援**：適用於分蘖期、孕穗期、抽穗期等稻作時期之跨期重建與監測。 --- ## 🧪 輸入／輸出 - **Input**：標準 RGB（8-bit / 12-bit 皆可；建議含拍攝中繼資訊以利校正） - **Output**：近似多光譜的 4 波段匯接影像（G／R／RE／NIR），可直接餵入下游分析 --- ## 📈 可計算之植生指數（例） - **NDVI** = (NIR − Red) / (NIR + Red) - **NDWI** = (NIR − Green) / (NIR + Green) - **GNDVI** = (NIR − Green) / (NIR + Green) - **EVI2** = 2.5 × (NIR − Red) / (NIR + 2.4×Red + 1) > 指數可直接由輸出波段計算，支援**早期水分壓力偵測**、**區塊級病蟲害熱點辨識**與**灌溉決策**。 --- ## 🚜 典型部署情境 - **UAV／手機近地拍攝**：以固定高度與時段週期性拍攝，進行田間趨勢追蹤 - **邊緣端推論**：輕量化後在農機或手機端即時重建與上傳 - **平台整合**：與灌溉控制與告警模組串接，形成**早期預警流程** --- ## ⚠️ 限制與注意 - **域轉移（Domain Shift）**：鏡頭光譜響應、白平衡與曝光差異可能影響重建品質；建議導入**相機-特定校正**與少量在地微調。 - **極端光照**：強反光或陰影高占比場景需搭配**照度正規化／HDR 合成**。 - **定量評估**：建議以同步多光譜真值進行 **MAE / RMSE / SAM / ΔIndex** 等指標檢驗，以確保跨季一致性。 - ⚠️ 資料不足，建議補充：標定樣本數、拍攝裝置型號、採樣季別、主客觀評估指標與數值。 --- ## ✅ 推薦最小操作流程（MVP） 1) 固定路徑定時拍攝 RGB → 2) 以本模型重建 G/R/RE/NIR → 3) 計算 NDVI/NDWI/GNDVI → 4) 以門檻＋時序平滑標出異常區 → 5) 檢核後回饋至灌溉／巡檢任務單 --- 附圖可用（示意）： ![北溝田區多光譜生成圖](https://i.meee.com.tw/HhSmfjx.jpg) </p>
    to
    ### RGB-to-Pseudo-Multispectral Reconstruction Model 本模型旨在利用一般 RGB 影像推估 12 個可見光窄波段反射值，生成 **pseudo-multispectral 影像**以取代昂貴多光譜感測設備的部分功能。輸出為基於深度學習迴歸方式重建之類多光譜資訊，**並非真正的高光譜重建**。目前資料來源僅含水稻遮罩影像，因此模型適用範圍以 **水稻田場景為主**，不建議直接外推至其他作物或場域。 模型架構屬 **監督式回歸網路**，透過 encoder–decoder 模組與多層殘差特徵融合將三通道 RGB 特徵映射至十二波段空間，輸入影像大小與光譜標記一致，使像素反射值能逐波段對齊。此過程可視為由 3 個觀察波段推估 12 個窄波段反射值的近似問題，強調光譜趨勢與能量分布重建，而非物理量測替代。 模型輸出格式為 `[12, H, W]` pseudo-multispectral tensor，可供後續植生資訊提取與指數計算使用，但需理解其 **屬推估值**，結果會受到光照、鏡頭響應與資料來源差異影響。為強化穩定性，訓練資料均採 ENVI 影像格式並保留波長資訊： 模型評估以 **PSNR 為核心指標**，並輔以 RMSE、UIQI 與 Spectral-PSNR，衡量亮度誤差與光譜一致性。訓練結果顯示： - PSNR 由 19–20 dB 提升至約 **28–29 dB（收斂）** - Spectral-PSNR 約 **33–34 dB** - RMSE 自約 0.11 降至 **約 0.04** - UIQI 逐步提升至 **約 0.9** 結果顯示模型能有效逼近 12 波段能量分布，推估影像具有可解析的光譜差異，可支援後續水稻病蟲害偵測、水分觀測與時序變化分析，但仍建議搭配 **少量實測樣本做誤差校正**以提升跨田區泛化能力。 > **特性摘要** > - Task：RGB → 12-band pseudo-multispectral reconstruction > - 性質：近似重建、非高光譜還原 > - 限制：限定水稻田影像，域轉移需校正 > - 評估方式：PSNR 為主，RMSE/UIQI/PSNR-Spectral 輔助 > - 可用於：植生指數推估、稻作監測、田間趨勢分析 附圖可用（示意）： ![北溝田區多光譜生成圖](https://i.meee.com.tw/V8ZgNqB.png)


  • Changed value of field nchu_texarea_dataset_other to - 使用 Conditional GAN 架構，結合 U-Net 編碼器與多層 skip connection - 搭配光譜特徵對齊損失（Spectral Consistency Loss）以強化生成準確度 - 主要訓練資料來源：BeiGo北溝大田多光譜資料集 in RGB轉多光譜水稻田模型


  • Changed value of field nchu_texarea_dataset_purpose to 本模型旨在建立低成本 RGB 攝影影像轉多光譜波段的生成能力，協助研究人員與農民在無多光譜相機的情況下，仍能獲取近似光譜資訊，用於生理指標（NDVI、NDWI）估算與健康監測。 本模型的功能是： 從 RGB 影像（實際上來自 12 波段感測器中的 3 個顯示波段）逼近重建對應的 12 個狹帶光譜通道，輸出「類多光譜影像」，不是真正的高光譜重建。 in RGB轉多光譜水稻田模型