1929年1月10日，杨宇霆与常荫槐去见张学良时，被枪杀于“老虎厅”。蒋介石的“文胆”陈布雷得知后，惊讶的说：“杨宇霆精干有才能，竟然突兀被杀。”

张作霖在时，杨宇霆被倚为左右手，担任奉军参谋长、总参议等要职。张作霖心情好的时候，把私人印章都交给杨宇霆保管，可见他受信任之深。

在北洋军阀中，奉军的装备水平是数一数二的，这和奉军拥有沈阳兵工厂是离不开的。沈阳兵工厂，设立于1921年，在1928年扩建完成后，成为国内最大的兵工厂。

杨宇霆自1923年被张作霖任命为兵工厂总办后，长期控制奉军的装备、弹药发放。奉军将领为了多要武器弹药，纷纷逢迎杨宇霆，使得本就自视甚高的杨宇霆，更加的目空一切。

张作霖在皇姑屯被炸身死后，张学良主持东北军政。此后，杨宇霆反对张学良的“东北易帜”，拒绝了多个委任给他的职务，但却牢牢将兵工厂握在手中。

杨宇霆的铁杆常荫槐，在担任黑龙江省长后，未请示张学良，擅自以训练“山林警备队”的名义，扩编了二十个营的武装，所需武器弹药，由杨宇霆从兵工厂暗中拨付。

不仅如此，杨宇霆还以兵工厂的名义，从捷克的斯柯达兵工厂购买了一批机枪，交给了常荫槐。

黑龙江督军万福麟很是忌惮，怀疑这是杨宇霆、常荫槐联手，要将他挤走。万福麟不敢和杨宇霆公开作对，便去找张学良求助。

张学良非常生气，叫来常荫槐质问说：“黑龙江的部队够用，你为何要私自编练山林警备队？”

常荫槐敷衍一番后，回去反而加紧了扩军练兵的速度，在不到半年时间内就将二十个营近万人的“山林警备队”编组完成，由于有杨宇霆的支持，装备水平比万福麟的省防军还要好。

张学良气极了，有一次当面问杨宇霆：“常荫槐的山林队，连正规军都算不上，为何不用兵工厂的机枪，要花钱从捷克购买？”

杨宇霆不以为然的说：“人家的机枪好嘛。”

若从捷克购买机枪，装备给正规部队，张学良不会有这么大反应。可这批机枪，给了由常荫槐一手控制的“山林警备队”，张学良怎么可能不心生警惕呢。

杨宇霆一方面，拒绝了张学良让他去黑龙江或吉林任职的建议；另一方面却又不甘寂寞，整日在沈阳的住所，频繁接待各方人士。

原五省联军总司令孙传芳，在被北伐军打败失去地盘后，跑到东北担任政务委员，他和杨宇霆往来密切，称兄道弟。

1929年1月5日，杨宇霆在住所大摆筵席，为父亲祝寿。这天，杨府门外车水马龙，前往道贺的宾客如云。

张学良和妻子于凤至带着礼物到杨府时，担任总管的孙传芳，在接待两人时和普通宾客一般。杨宇霆在向宾客敬酒时，到了张学良夫妇坐的这一桌，并无特殊的礼节。

前来给杨父祝寿的，除了东北的各界人士外，桂系、晋系等军阀，也都派了代表前来。遭到冷遇的张学良，在坐了一会后，和于凤至提前离席，返回了帅府。

1月10日，杨宇霆带着常荫槐大摇大摆的走进帅府，拿出提前拟好的任命文件，让张学良在上面签字，文件内容是成立东北铁路公署，由常荫槐兼任督办。

张学良表示，公署的成立及督办的选定，都要从长计议。杨宇霆不依不饶，非要张学良在上面签字。

张学良看了一下表，说：“马上到晚饭时间了，饭后再商量吧。”

杨宇霆、常荫槐拒绝了张学良一同吃饭的邀请，表示家里已留了饭，饭后再来找张学良。在两人走后，张学良打电话将警务处长高纪毅叫来，说明原委后，让高纪毅带卫兵在杨、常再来时，将两人处死。

高纪毅问：“在哪里执行？”

张学良说：“就在老虎厅，他们两人身上带有手枪，你务必要小心。”

随后，高纪毅去找了谭海（张学良的侍卫副官）和六个可靠的卫士。为了以防万一，张学良让卫队团长刘多荃，负责帅府外警戒，只许进人，不许出人。

傍晚七点多，杨宇霆、常荫槐再次来到帅府，被副官带进了帅府会客的老虎厅。两人刚坐下，高纪毅、谭海带着六个卫兵进入。

在卫兵三人一组，将杨、常控制住后，高纪毅宣布了对两人的处决命令。一切来的这么突然，杨、常面如土色，直至被杀时，都未能说出一句话来。

在杀掉杨、常后，张学良在第二天一大早，召集张作相、王树翰、孙传芳等政务委员会的委员到帅府开会。

众人得知杨、常被杀后，无不震惊莫名，尤其是孙传芳，吓得是满头大汗。张学良以雷霆手段杀掉杨、常，对东北的其他军政大员起到了很大的震慑作用，此后发布的命令，执行变得顺畅许多。

关于杨、常被杀，还有一个说法，称两人是去帅府和张学良打牌，期间在休息吃西瓜的时候被枪杀。

这个说法源于江湖术士的胡诌，原来，杨、常被杀当晚，帅府封锁消息。杨宇霆的家人到了凌晨还不见杨宇霆回来，担心有事，便找了一个江湖术士打问。术士装模作样一番后，告诉杨家人，说杨宇霆正在帅府打牌。杨家人不疑有假，便安然入睡，等第二天传来杨宇霆的死讯后，外界便讹传说张学良借邀请打牌，处死了杨、常。

杨、常被杀后，消息传到南京，蒋介石的“文胆”陈布雷大为震惊，认为杨宇霆以智计深沉闻于世，如此突兀被杀实在是可惜。