秘密鍵さえあればウォレットにアクセスした際にアドレスはわかるし、コインも動かせるので、秘密鍵だけ持ってればオーケー。全く問題なし。
アドレスも知ってればウォレットを開いてアドレスを調べるという手間が省けるという程度でしかない。

アドレスだけ知っているが秘密鍵はわからないという場合、どれくらいコインがあるかや取引履歴はわかるがコインを動かすことはできず、もはや自分のコインとは言えなくなります。

つまり、秘密鍵は絶対誰にも知らせてはならない。
一方、アドレスはコインを送ってもらうために誰かに知らせる必要あります。