柴油机汽缸盖和汽缸体中都铸有冷却水套。冷却液经水泵加压以后，经分水管进入气缸水套内，冷却液在流动的同时吸收气缸壁的热量，温度升高，然后流入气缸盖水套，经节温器及散热器进入水管进入散热器，与此同时，由于风扇的旋转抽吸，空气从散热器芯吹过，使流经散热器芯的冷却液的热量不断散到大气中去，温度降低。最后又经水泵加压后再一次流入缸水套，如此不断循环，柴油机转速升高。为了使多缸柴油机前后各缸冷却均匀，一般柴油机在缸体水太重设置有分水管或铸出配水室。分水管是一根金属管，沿纵向热感出水孔，离水泵越大，这样就可以使前后各缸的冷却强度相近，整机冷却均匀。
水冷系统还设置有水温传感器和水温表，水温传感器安装在汽缸盖出水管处，将出水管的水温传给水温表。操作人员可借助水温表随时了解冷却系统的工作情况，正常工作水温一般在80-90℃。冷却液与防冷液，柴油机使用的冷却液应该是清洁的软水，如果使用硬水，其中的矿物质在高温时沉析出来，附着在管道、水套和散热器芯中生成水垢，降低了散热能力，易使柴油机过热，还会是散热器芯毒死，加速水泵叶轮和泵壳的磨损。对含矿物质较多的硬水，则需经过软化处理后，方可加入冷却系统使用，硬水软化常用的方法是：在1L水中加入碳酸钠0.5-1.5g，或加入氢氧化钠0.5-0.8g，待生成的杂质沉淀后，取上面的清洁水注入冷却系统中。
