パニア付けたまますり抜けしてたライダーが途中で詰まり、続いて抜けてきた爆音バイクの兄ちゃんがブチ切れてレブ珍かましてるのなら見たことある・・・。
まぁ、普通に邪魔にならないように気を付けていれば嫌われる理由はないと思うよ。
自分の場合はパニア付けてる時、駐輪場ではできる限り角っこの枠を使って他のバイクと離して置くし、すり抜けは一切しない。