ちょっと雑なソースですみません。
所得税施行規則15条です

これは源泉に限定した話ではないと考えられます。
ただ、出国日から非居住者と推定とまでは書いていないのかな。
https://www.zeiken.co.jp/hourei/HHTOK000010/15.html