ダメじゃないけど村の恩恵は受けられなくなる

守るのが面倒くさいとか村人が気の毒とか思わないなら、
作物やチェストの中身を強奪して後は放置でも良い
初プレイでスタート直後なら、どうせ大した違いはない

村の要素で遊びたくなってから他の村を探して見つけてもいい