法律分析：

在取保候审期间，保释人被限制交往的情况下，是否应该更换保释人是需要权衡利益的。首先，保释人因为被限制交往会受到心理上的压力，同时也可能会影响正常的社交生活和工作。但是，如果更换保释人的话，也可能会面临重新申请保释的麻烦和费用成本的问题。

法律依据：

《刑事诉讼法》

第一百零五十六条取保候审期间，被告人可以与外界保持必要联系，但有关机关可以限制其交往。

第一百零五十七条保释人应当遵守保释期间的规定，不得违反保释义务；有保释义务的，应当履行保释义务。

第一百零五十八条保释人违反保释义务的，有关机关可以采取责令改正、限制交往、变更保释方式、撤销保释等措施。

综上所述，有关机关可以在一定程度上限制保释人在取保候审期间的交往，但是否更换保释人需要根据具体情况权衡利益。同时，保释人应当遵守保释义务，不得违反规定。