黄维因为为人方正，又带着几分书生意气，在军中一直以老实人著称，所以人送外号“书呆子”，不过他也有不老实的时候。

民国时期虽然出现了自由婚姻的思想，不过传统的包办婚姻还是非常常见的。黄维早年在家乡当小学老师的时候，他的母亲就给他订了一门亲事。黄维尽管对这门婚事不大乐意，但是他父亲早逝，全靠母亲抚养才得以成人，孝顺母亲的黄维无奈，只能和母亲看中的桂仙梅结婚。

当时不少对包办婚姻不满的人都在结婚以后，另寻真爱，再组一个家庭。黄维自然也不例外，他从军以后，桂仙梅留在老家照顾他的母亲和孩子，孤身一人的黄维得以有机会去寻找自己称心的意中人。

黄维第一次自由恋爱是在1929年。当时他奉命在陆军大学进行深造，成为特别班的第一期学员，期间结识了教官的女儿赵泽芸。赵泽芸是受过现代教育的新女性，和黄维之间颇有共同语言，而且人也长得青春靓丽，黄维对她一见钟情，于是立刻展开了爱的攻势。

黄维那会还是年轻帅小伙，而且接受深造前已经是团长，又颇受上司陈诚的器重，可谓前途无量。所以一开始的时候，黄维和赵泽芸之间的感情进展极为顺利。可是随着两人关系的不断发展，已经开始考虑谈婚论嫁之时，黄维将自己已有发妻和孩子的事情一说，赵泽芸并不希望成为他人婚姻的破坏者，最终决定放弃这段感情。赵泽芸后来嫁给了黄维的校友戴之奇，让黄维也是黯然神伤了很久。

也许是吸取了这次感情失败的经验教训，所以1933年黄维再次遇到让他心动的新式女性蔡若曙的时候，他决定不厚道一些，先上车再补票。在谈恋爱时丝毫不提自己已经结婚，直到都同居了，黄维才将自己早有妻小这事告知蔡若曙。

和赵泽芸一样，蔡若曙同样不想当别人婚姻中的第三者，可是这会都有既成事实了，倒也不可能像赵泽芸那么洒脱防守，最后经过一番思想斗争，还是勉强同意嫁给黄维。当然，蔡若曙也提出了自己的条件，就是不可能做小，而且黄维必须先离婚，两人才能正式结婚。

这个要求非常合理，所以黄维也答应了下来，并付诸行动，亲自回老家求母亲同意自己和桂仙梅离婚。老太太这么多年一直是桂仙梅照顾，两人相处融洽，开始自然是不答应黄维离婚的请求，还大骂了他一顿。

不过黄维也知道，如果没有离婚的话，蔡若曙那边过不了关，所以只能一再苦苦哀求。最后老太太无法，这才答应下来，让黄维得以回去交差。否则黄维骗婚之余，还白白耽误蔡若曙的青春，就更说不过去了。