電池抜いたカードキーを持ち歩けばいいでしょ
緊急時はメカニカルキー使う

それでも心配なら生体認証を待つしかないw