1872 年，作为第一批官费留美幼童赴美留学，抵美后先入读哈特福德小学，后在哈特福德高中毕业，考入耶鲁大学学习法律。1894 年，参与创办天津北洋大学堂，出任学堂总办，为该校初期建设做了大量工作。1900 年，八国联军侵华，北洋大学堂校舍被占，学校被迫停办，蔡绍基利用自己直隶总督府署理外交事务官的身份，与侵略者反复交涉，争取复校无果后，选择清军废弃的西沽武库重新建校。1903 年，北洋大学建成复校，他继续主持校务。1907 年，出任天津海关兼北洋大学堂督办（校长），在兼任北洋大学校长期间，以美国哈佛大学、耶鲁大学为蓝本，在学科设置、办学方向等多方面进行规划，使北洋大学成为当时中国兴办新式大学的楷模，被誉为 “东方的康奈尔”。
