少なくとも男女隔てず寝泊まりしてるのは事実なんだからそれだけで噂になるには十分でしょ
そこからヤッてるんだろうな→ヤッてるに違いないになるのも理解できる