唐代著名诗人诗奴贾岛曾隐居于清凉寺，在清凉寺的河对岸，有一个村庄，是张姓建村，故名张庄，在这里朱元璋留下了一首“诅咒诗”，据说十分灵验。
明朝初期，张庄出了一位张姓的大财主，当地人称之为“张百万”，据说他家产丰厚，没人知道他到底有多少钱，只知道他名下有很多房子，方圆数十里都是他的佃户。张百万让手底下的佃农在村子的南边挖了一条八沟河，这条河长约十二里，西起蒋庄，东至赫沟，引来的昆水可以灌溉河两岸的将近八百亩农田。张百万因此在当地声名大噪。
这个张百万是个大款，还是个自负无比的大款，他在自家门楼上题了一首诗，诗是这样写的：“七盘龙拽磨，八顷不靠天；要想饿死张百万，除非天塌龙叫唤。”来往过路的人读了这首诗都能感受到这个张百万的“膨胀”。
有一天，明太祖朱元璋微服私访，恰恰来到了张庄，不巧，他也拜读了这首诗。朱元璋本来就是贫苦农民出身，对于张百万这样的地主土豪那是具有“仇富”心理的。再说了他读过诗后，认为这首诗的作者口气太大，不知天高地厚，大手一挥就把诗文改为了：“三年两头遭天祸，人命官司打不完。天不塌来龙不叫，一定饿死张百万！”
张百万还不知道自己的诗被皇帝给改了，不久以后，张百万的门前就有一个乞丐上吊自尽了。这乞丐也是走投无路，才起了自尽的念头，但是他偏偏死在了张百万的大门口，张百万有口说不清，大家都认为他与这乞丐有什么瓜葛，说不定还是他害死了乞丐呢！因为此事，张百万吃了官司，官府经过调查，还了张百万的清白，但是埋葬死者的事情也就落到了张百万的头上。张百万没办法啊，这人的尸体就在他家门口，他不出钱谁出钱。
这件事只是个开头，张百万万万没有想到，接下来的事情一件比一件更糟糕。张百万家办喜事，他家的猫调皮捣蛋，叼了一条鱼就跑了，厨师抽出一根烧火棍就去追猫，结果火星子点燃了干柴，大风一吹，张百万的家就被烧了个精光。最后，张百万带着家人住进了清凉寺。可是老天爷在那之后下了很长一段时间的大暴雨，河水猛涨，张百万的田被淹了，他居住的清凉寺因为地势高没有被淹，但是周围一片汪洋，他被孤立起来了。
张百万在寺中吃光了存粮，焦急的等待着救援人员，由于多天没有进食，亲友们就把蒸馍串在箭上打算射给张百万，结果距离太远，箭都落在了河里。最后，张百万活活饿死在清凉寺里。
张百万的倒霉，都是从明太祖朱元璋写了那首诗之后开始的，朱元璋的那首“诅咒诗”真的太灵验了！
这个故事只是民间传说，但是历史上的确存在过清凉寺，虽然寺院高墙已经不在了，但是还有个大土丘在那里。