祖冲之的祖父名叫祖昌，在宋朝做了一个管理朝廷建筑的长官。祖冲之长在这样的家庭里，从小就读了不少书，人家都称赞他是个博学的青年。他特别爱好研究数学，也喜欢研究天文历法，经常观测太阳和星球运行的情况，并且做了详细记录。
宋孝武帝听到他的名气，派他到一个专门研究学术的官署“华林学省”工作。他对做官并没有兴趣，但是在那里，可以更加专心研究数学、天文了。
我国历代都有研究天文的官，并且根据研究天文的结果来制定历法。到了宋朝的时候，历法已经有很大进步，但是祖冲之认为还不够精确。他根据他长期观察的结果，创制出一部新的历法，叫做“大明历”（“大明”是宋孝武帝的年号）。这种历法测定的每一回归年（也就是两年冬至点之间的时间）的天数，跟现代科学测定的相差只有五十秒；测定月亮环行一周的天数，跟现代科学测定的相差不到一秒，可见它的精确程度了。
公元４６２年，祖冲之请求宋孝武帝颁布新历，孝武帝召集大臣商议。那时候，有一个皇帝宠幸的大臣戴法兴出来反对，认为祖冲之擅自改变古历，是离经叛道的行为。
祖冲之当场用他研究的数据回驳了戴法兴。戴法兴依仗皇帝宠幸他，蛮横地说：“历法是古人制定的，后代的人不应该改动。”
祖冲之一点也不害怕。他严肃地说：“你如果有事实根据，就只管拿出来辩论。不要拿空话吓唬人嘛。”
宋孝武帝想帮助戴法兴，找了一些懂得历法的人跟祖冲之辩论，也一个个被祖冲之驳倒了。但是宋孝武帝还是不肯颁布新历。直到祖冲之死了十年之后，他创制的大明历才得到推行。
尽管当时社会十分动乱不安，但是祖冲之还是孜孜不倦地研究科学。他更大的成就是在数学方面。他曾经对古代数学著作《九章算术》作了注释，又编写一本《缀术》。他的最杰出贡献是求得相当精确的圆周率。经过长期的艰苦研究，他计算出圆周率在３．１４１５９２６和３．１４１５９２７之间，成为世界上最早把圆周率数值推算到七位数字以上的科学家。
祖冲之在科学发明上是个多面手，他造过一种指南车，随便车子怎样转弯，车上的铜人总是指着南方；他又造过“千里船”，在新亭江（在今南京市西南）上试航过，一天可以航行一百多里。他还利用水力转动石磨，舂米碾谷子，叫做“水碓磨”。
祖冲之死后，他的儿子祖暅（音ｇèｎｇ）、孙儿祖皓都继承了祖冲之的事业，刻苦研究数学和历法。据说祖暅在研究学问的时候，全神贯注，连天上打响雷也听不到。他常常一面走路，一面思考问题。有一次，他在路上走，前面来了个大官僚徐勉。祖暅根本没有发觉，一头就撞在徐勉身上。等到徐勉招呼他，祖暅才像梦中惊醒一样，慌忙答礼。徐勉知道他研究出了神，也没有责怪他。
祖冲之晚年的时候，掌握宋朝禁卫军的萧道成灭了宋朝。
公元４７９年，萧道成称帝，建立南齐。他就是齐高帝。
