离婚时彩礼是否要退给男方，需要视情况而定。如果存在以下情形之一的，彩礼要退给男方：

1.双方办理结婚登记手续但确未共同生活的;

2.婚前给付并导致给付人生活困难的。

【本文关联的相关法律依据】

《《中华人民共和国民法典》婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持:

（一）双方未办理结婚登记手续;

（二）双方办理结婚登记手续但确未共同生活;

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。