劉建德出生于安徽宿縣一個貧農(nóng)家庭，從小身體贏弱，但聰慧伶俐。只讀了2年私塾，就因家貧而輟學(xué)，只能在家砍柴、干力氣活。16歲那年（1939年），劉建德與5個青年農(nóng)民一起投奔了新四軍。離休前是蘭州軍區(qū)后勤部副政委，戰(zhàn)功卓著。

劉建德加入新四軍第4支隊，不久當(dāng)了班長，又加入了共產(chǎn)黨，并擔(dān)任排的黨小組長。淮海戰(zhàn)役時，他任187團(tuán)3營教導(dǎo)員，營長是華東一級人民英雄魯銳，和他一起參軍的5個同鄉(xiāng)都先后犧牲了，只有他從死亡線上挺了過來。

劉建德的部隊——新四軍第4支隊是一支勁旅，原為鄂豫皖紅28軍，皖南事變后編人新四軍第2師，師長是羅炳輝。解放戰(zhàn)爭時，這支勁旅又編入陳毅、粟裕指揮的華東野戰(zhàn)軍(后改名第三野戰(zhàn)軍)第二縱隊，韋國清任司令員兼政委，經(jīng)歷過孟良崮戰(zhàn)役、淮海戰(zhàn)役等血戰(zhàn)。1949年2月改編為第7兵團(tuán)第21軍，軍長滕海清，政委康志強。4月，全軍參加渡江戰(zhàn)役，解放杭州后，進(jìn)軍溫州、寧波、奉化、象山等地。后來在溫州灣戰(zhàn)役、舟山戰(zhàn)役中以及浙東、浙南和閩北地區(qū)的海防任務(wù)中建功立業(yè)。