不算，遗弃罪是指负有扶养义务的人，对年老、年幼、患病或者其他没有独立生活能力的人拒绝抚养，情节恶劣的行为。而对于正常人跟残疾人离婚并没有限制，只是在离婚时，法院会考虑残疾人的实际情况，在财产方面会更多的照顾生活困难的一方。

法律依据:《民法典》第一千零七十九条 夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。

人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。

有下列情形之一，调解无效的，应当准予离婚：

（一）重婚或者与他人同居；

（二）实施家庭暴力或者虐待、遗弃家庭成员；

（三）有赌博、吸毒等恶习屡教不改；

（四）因感情不和分居满二年；

（五）其他导致夫妻感情破裂的情形。

一方被宣告失踪，另一方提起离婚诉讼的，应当准予离婚。

经人民法院判决不准离婚后，双方又分居满一年，一方再次提起离婚诉讼的，应当准予离婚。