关于土佛的由来传说也很多。相传，三国时期，诸葛亮西征擒孟获，来到永德驻扎在忙令河北岸。这里长期受战乱所扰，诸葛亮见状，觉得此地龙脉太硬，需破它龙穴之处，取宝镇压并朝拜侍奉之，方可保一方平安。当晚他并率兵来到山脉龙穴处，把战死的士兵用坡上的黄土塑起来，并告诫当地百姓要经常烧香朝奉，这样不但破了龙穴之土，还用战死的士兵镇压住这里以守卫边疆。从那以后这里就过上太平祥和的日子，这个龙穴就是今天我们的土佛群所在地。从此，地方百姓们烧香朝拜、磕头祈愿，就逐渐形成了每年农历正月十五和三月十五的土佛盛会，每到这个传统的日子，当地群众和游人都会自发到土佛山赶集、旅游和祭拜，大家杀牛、宰猪、杀鸡敬奉心中的神灵，许下心中的愿望，祈求来年健康、平安、富裕发达和幸福。 没有峰的挺拔，没有山的夯厚，更没有“小桥、流水、人家”的景致，就是这群最普通的土柱，穿破山的枝节，拔地而起，在观阅峰的挺拔，在分享山的夯厚，于是半睡半醒间，被赋予了新的生命。 一柱柱“土佛”究竟是风雨剥削而成，还是时间碉刻而成？人们不得而知。只是由于对自然的敬仰，这里便成为无数朝拜者的圣地。
