伪满洲国成立前，奉系军阀掌控的海军共有舰艇21艘。九一八事变后，1932年，日本控制下的伪满洲国接收了滞留在东北的原海军官兵和剩余的江河巡逻舰艇，组建江防舰队。

1932年4月，伪满洲国政府决定在黑龙江和松花江成立舰队。1933年5月，这支舰队以原北洋政府的江防舰队为基础，正式成立了伪满洲国江防舰队。1939舰队被改编为伪满洲国江上军。

江上军是负责伪满洲国境内河川警备的军队，主要控制了松花江、黑龙江、乌苏里江等江湖河川流域地带，负责治安防卫、缉捕巡逻等任务。伴随伪满洲国“建国”的步伐，伪满洲国的“海军”也得以改编，并由旧日本海军派遣军事顾问。

江防舰队成立时，共有舰艇10只，包括原东北军江防舰队的五艘旧舰利绥、利济、江通、江平、江清，以及新添造的五艘大同、利民、恩民、惠民、普民。1934年又增加了三艘新舰顺天、养民、济民。兵力为700人。1935年9月，溥仪抵达哈尔滨时，在伪满洲国军将领的护拥下检阅了江防舰队。

江防舰队是专为负责满洲国内河航运警备而设立的，对于海上作战并无任何实际能力。因此在太平洋战争结束阶段，为应对盟军海上力量，日本对一些商船进行了武装改造，并将其称为海上警备队。

1945年，随着盟军在太平洋战场的胜利以及苏联红军在东北地区的迅速推进，日本政府被迫宣布无条件投降，这宣告了伪满洲国的解体，伪满江上军也因此消亡。