斜坡函數
外觀
斜坡函數是一個一元實函數,因此其圖形類似斜坡,故得其名,斜坡函數有許多不同的定義方式,例如「負值時為0,其他值的輸出等於輸入」。斜坡函數的斜率以及斜坡的位置也可以調整,此條目中的斜坡函數是單位斜坡函數(斜坡斜率為1,從0的位置開始)。
在機器學習中,常會稱斜坡函數為ReLU激活函數[1][2],或是線性整流函數,類似電子工程中的半波整流器。若用在統計學的似然函數,會稱為Tobit模型。
斜坡函數在數學以及工程上有許多的應用,依使用的情境不同,也有不同的名稱。也有不少類似斜坡函數的函數。
定義
[編輯]斜坡函數()可以用許多的解析方式來定義。以下是一些定義:
或
- 單位階躍函數乘以x:
- 單位階躍函數和其本身的卷積:
- 單位階躍函數的積分:
解析性質
[編輯]非零性質
[編輯]此函數在整個定義域中的值都是非負值,因此其絕對值都是其自身。
及
導數
[編輯]斜坡函數的導數為單位階躍函數
傅里葉變換
[編輯]斜坡函數的傅里葉變換如下
拉普拉斯變換
[編輯]斜坡函數的傅里葉變換如下
單邊的拉普拉斯變換定義如下:
代數性質
[編輯]迭代不變性
[編輯]斜坡函數的每個迭代函數都是其自身:
.
- 證明:
.
此處應用到非零性質。
參考資料
[編輯]- ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. (原始內容存檔於2024-07-05).
- ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021]. (原始內容存檔於2024-08-24) (英語).