建厂至今流传着一句俗话：“横钢、横钢、三年土方”。这是建设横钢的人们，在一片荆棘丛生，坟墓累累的黄土山岗上，为建设起一个年产十万吨的特钢厂，他们吃大苦，耐大劳，战天斗地三年历程的写照。
建厂先筑路，从寿昌火车站到横山庙要开建一条长近10公里的铁路专用线是建厂的关键项目。从四面八方云集而来的数千名建厂大军，于1960年4月26日起铁路专用线路基工程，在寿昌镇东王庙首批破土动工。开始只有四、五百人，9月达2400余人。铁路专用线所经过的这带地势是“两头高硬，中间低软”。当时工具简陋，只有靠山斧、钉钯、畚箕、箩筐、手拉车等工具进行开挖，他们用肩挑，手拉，一铲铲、一筐筐，挑土方量由每人每天两方，逐步增加到四方、五方（立方米），有的小组创造了每人每天挑土11.5方的最高记录。
铁路大桥的建德又是铁路专用线路基工程中最艰巨，最关键的任务，首先是装沙包，拦江水，围堰筑基日夜不息。5月15日因连降暴雨，冲走木桩100多根，围 堰沙包1000余只，河下土方500多方。雨后重整场地，又连续奋战，如此反复进行，直至六月中旬桥基建成。在架设铁路大桥时需要吊装每片重达60吨的桥梁，在缺乏技术力量和吊装设备的情况下，由领导、工人、技术人员三结合共同研讨制定了土法架桥方案。起重工李宝光提出土法自制胶木卷杨机用滚筒法牵引，只要用15%的拉力拉动每片重60吨的桥梁，很快解决了吊装难题，为提前一年生产创造了条件。
在兴建铁路专用线的同时，三车间，四车间，五车间的基础工程，变电所，大食堂，老三楼宿舍，招待所等项工程的施工亦相继展开。当时职工的生活条件十分艰苦，4000余人的建设者们分散居住在寿昌河南里，螺丝山，卜家蓬，黎家蓬等废弃的民房，简易茅棚和横山 庙猪舍，危房里。睡觉均为统铺，因房屋低矮夏天闷热，蚊子成群，冬天寒气逼人，雨天室外下大雨，屋内下小雨。生活用水较困难，住在横山庙的七、八百人吃水靠一口井，夏天干旱时，打上来的都是泥浆水，半清半混的就喝了。职工没有任何劳保用品，每人每天只发四分钱的草鞋费。挖土方不分晴雨天，不分昼夜、经常是白天挖土方，晚上步行到新安江大坝去背木头。到李家挑煤的工人天天是头带草帽，身着蓑衣，脚穿草鞋，肩挑畚箕来回百余里。宋秀村、顾传明等厂领导，整天在工地上挖土、挑土，还指挥战斗，经常值夜班。厂部每天广播，宣传各班劳动成绩，表扬先进班组和个人，一些同志听到自己白天比别人少挑土，晚上就偷偷地去加班拉土。由于过度的劳累和艰苦的生活，民工卢志龙、马玉林就是带着泥土和汗水牺牲在铁路路基工程。值得横铁后人永远追忆。