相传唐朝时，山东黄巢进京赶考中了状元。皇太后本想招他附马，面见后因他长得太丑，受了惊吓，就斩了监考官，免了黄巢的状元，并将黄巢赶出京城。

没办法，又羞又恼的黄巢只得返程。一日，黄巢经过赵州，天就要黑了，还下着雨，无奈中，他走到赵州城西的一座寺院，老和尚见他被雨淋湿，又中风寒，身体虚弱，就将他留在寺中治疗。

半年后，黄巢身体已完全康复。他思前想后，愈发对民不聊生的现状感到不满，他下定决心再造王朝，当看到经霜盛开的菊花后，不禁以诗明志:“待到来年九月八，我花开后百花杀。冲天香阵透长安，满城尽带黄金甲”。

筹谋已久后，这一天，他对老和尚说:“唐王无道，我打算举兵起事！”老和尚先是一惊，后知黄巢主意已定，实难劝返，又身为出家之人，不打算参与造反，便不在做声。

黄巢从此就在附近积极动员穷苦百姓一同举事。感到各项条件成熟时，一天晚上，黄巢对老和尚说:“恩人，我明天就要起兵了。你既然不愿和我一起造反，就请天明时躲避一下吧，兵荒马乱的，省得连累了你。”

老和尚听了黄巢的话，第二天一早就去寻找藏身之地。他藏来藏去，觉得都不保险，最后走出寺门，看见门前那棵空心的老槐树，就钻进去躲了起来。起兵之前要祭刀，黄巢在寺里住了多半年，对这里的一草一木都有了感情，什么东西也不忍损坏。他走出庙门，看见那棵老槐树，心想，就用它祭刀吧！于是挥刀就向树身砍去,只听“咔嚓”一声，老槐树应声断为两截，老和尚的人头也滚落在地。黄巢这才知道恩人就藏在树里面，他悔恨交加，但也更坚定了造反的决心。

为了感念老和尚，黄巢把祭刀起兵的这座寺院改名为刀寺。后来，寺南那个村子马姓多叫马刀寺，寺北村赵姓多，就叫赵刀寺。只是寺庙早就不见了，只留下了这个传说，这两个村。