斯坦福大學,曼徹斯特大學和蘇黎世的IBM Research發表了論文“神經傳感器:使用可編程傳感器學習HDR成像和視頻壓縮感測的像素曝光”,作者:Julien N.P. Martel, Lorenz K. Mueller, Stephen J. Carey, Piotr Dudek, and Gordon Wetzstein.
論文中顯示,相機傳感器依靠全局或滾動快門功能來曝光圖像。這種固定功能的方法嚴重限制了傳感器捕捉高動態范圍(HDR)場景并解析高速動態的能力。作為功能強大的計算攝影方法,已經引入了空間變化的像素曝光,以對傳感器上的輻照度進行光學編碼并通過計算恢復場景的其他信息,但是現有方法依賴于啟發式編碼方案和龐大的空間光調制器以光學方式實現這些曝光功能。
在這里,我們將神經傳感器作為一種方法來以端到端的方式與可區分的圖像處理方法(例如神經網絡)一起優化每個像素的快門功能。此外,我們演示了如何利用新興的可編程和可重新配置的傳感器處理器來直接在傳感器上實現優化的曝光功能。我們的系統將傳感器的特定限制考慮在內,以優化物理上可行的光學代碼,并在仿真和實驗結果中展示了HDR和高速壓縮成像的最新性能。