1928年3月21日晚上，张绍曾正在天津的彩凤班与人饮茶聊天，聊到兴头之际，有个仆役模样的人手持信件，说有函件要交到他的手中，张绍曾则闻讯从内屋走出，一边问：“哪里的信？”一边伸手去接，然而令他万万没有想到的是，这个送信人竟趁他不备，掏出手枪迎面便射。第一枪打中张绍曾的手掌，第二枪打中耳部，第三枪则击中肺部。张绍曾当即血流如注，昏倒在地！


1924年，在北洋政府中担任要职的张绍曾与曹锟政见不合，愤然选择去职，寓居于天津，张绍曾闲居天津后，不甘寂寞，曾出头露面，想要再度出山，但却一无所获，令他十分失望。


1928年初，蒋介石与冯玉祥等人联袂筹划北伐奉张，张绍曾为支持冯玉祥率部北伐，不仅拿出5000大洋购置电台向冯提供军事情报，还和冯玉祥私下不断有信使往还，频繁进行联系。


然而后续有一天，冯玉祥秘密派来天津送信的人在到了天津城内，钱袋、信件丢失后，竟落到了军警督察处”，直隶督军褚玉璞在看到信件后，大惊，赶忙去往北京，将这个事情上报给奉系军阀首领张作霖，张作霖在获悉张绍曾购置电台秘密向冯提供军事情报的事情后，害怕张绍曾成为冯玉祥北上的内应，便与直隶督军褚玉璞商量一番后，决定派遣邢士谦和北京宪兵司令专程来天津刺杀张绍曾，以绝后患。

1928年3月21日，直隶办公署总参议赵景云按照奉系军阀首领张作霖以及直隶督办褚玉璞的指令，在天津秘密布置暗杀张绍曾的计划，当时，直隶办公署总参议赵景云以个人的名义邀请张绍曾到天津市南市天和玉饭庄吃饭，张绍曾不知是鸿门宴，便欣然接受准备前往，就在他出门准备乘车赴宴时，乘坐的汽车的前轮竟突然坏了，张绍曾见此一幕，觉得兆头不好，便言身体不适，准备辞掉宴会，但赵景云安排来的人竟百般劝说，使得张绍曾不得让下人给小汽车换上新轮胎，继续前往赴宴。

张绍曾到了宴会场所到天津市南市天和玉饭庄，与在场的赵景云，靳云鹏、李厚基吃饭，聊天，逐渐放下了戒惕之心，宴会结束后，赵景云又邀请包括张绍曾在内的十余人，到天津南市彩凤班饮茶，聊天，张绍曾没有多想，便接受邀请，去了彩凤班饮茶。


结果到了彩凤班不久，赵景云事先安排好的刺客伪装成送信人，在给张绍曾递信件时，突然掏出怀里的手枪对着张绍曾连开了三枪，第一枪穿过张绍曾手掌，第二枪穿过耳部，第三枪击中他的肺部，张绍曾则当场伤重晕死了过去，被闻讯赶来的家里人匆忙送回家中进行救治，但无奈他的枪伤太重，最终在第二天的早上死去，


张绍曾遇刺身死后，他的亲属和家里人怀着悲痛的心情为他料理了后事，将他安葬在北京西山卧佛寺旁的风景山林之地，与滦州起义烈士王金铭、施从云等的陵园仅一山脊之隔。