1960年初,他参与红旗渠工程设计。为了尽快绘制出红旗渠施工蓝图,确保工程顺利动工,他和其他工程技术人员一起,不畏艰险,爬山越岭,实地勘测,翻阅大量资料,精心设计,每天工作到深夜。在短短的时间内,拿出第一本蓝图—— 《林县引漳入林灌溉工程初步设计书》。红旗渠要通过山崖河涧,地形地貌十分复杂,他和同事们在工作中解决了许多难题,设计出一些切合实际的建筑物。如青年洞一段,原拟绕山挖明渠,工程量大,施工难度大,经过反复考虑比较,吴祖太改进设计方案,采用凿隧洞,让渠道通过天险绝壁。在总干渠跨越浊河的地方,他昼夜思考,拜访附近山村老人。掌握河道地质基础和水文资料后,和其他工程技术人员研究,科学地设计出“空心坝”,让渠水从坝心通过,河水从坝顶溢流,解决渠水与河水交叉的矛盾。1960年2月,红旗渠工程动工后,吴祖太担任工程股副股长,负责工程设计,既要依据勘测实况,绘制每项工程设计图纸,还要考虑每个工段施工的安全措施,工作十分忙碌,但他不叫一声苦。他没明没夜地在工地上奔波,总感力不从心,恨不能生出三头六臂。有一天他跑到盘阳村南边的凤凰山工地,发现已经挖了五六天的渠道,竟不是测定的渠线,自己感到非常内疚,及时讲明情况,予以纠正。这件事引起的教训,深深地刻在他的心里。