律师分析：

留置期间家属该退赃。犯罪分子非法占有、处置被害人财产而使其遭受物质损失的，人民法院应当依法予以追缴或者责令退赔。被追缴、退赔的情况，人民法院可以作为量刑情节予以考虑。

【法律依据】：

《中华人民共和国刑法》 第二百七十条 将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金；数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。将他人的遗忘物或者埋藏物非法占为己有，数额较大，拒不交出的，依照前款的规定处罚。本条罪，告诉的才处理。