離席で相手の時間を奪う自分はマナー違反じゃないのか?