1968年12月，在国家“上山下乡”的号召下，祁俊作为“老三届”来到陕西渭南地区的一个小县城，在这里挥洒了三年青春岁月。1971年陕西黄河工程机械厂招工，作为知识青年，祁俊随同其他将近400名知青一同被招进工厂。陕西黄河工程机械厂建立于1964年，是国家建设的三线企业，当时工程机械行业的三线企业除了黄河工程机械厂外，还有浦沅工程机械厂、长江起重机厂、长江挖掘机厂、长江液压件厂、天水风动工具厂。一机部给黄河工程机械厂的定位是中马力推土机厂。祁俊进入工厂时，厂里正在搞基础建设，还没有厂房。所以进厂之后祁俊的工作是操作工程机械设备，也就是工程机械操作员。1974年黄河工程机械厂开办了721工大，祁俊又作为第一批721工大的学员办理了脱产手续进入工人大学学习，当初选择的专业是机制工艺（机械制造）。1976年毕业之后分配到黄河厂的柴油机车间做技术员，首先是编制工艺。后又被调任到车间做计划和调度工作。后来升为厂里生产科的技术调度员，管理全厂冷加工的计划和调度。再后来又回到车间做车间副主任、主任、支部书记，经过一段时间的锻炼又回到厂里做总调度室主任，厂长助理，副厂长，直到1991年。祁俊的爱人是北京知青，1991年为了解决孩子上学的问题已经回到北京，随后祁俊被调到机械部人事司的企业劳资处。
黄河工程机械厂的工作经验，让祁俊对基层的每一个环节有了详细的了解。特别是在管理的时候，不管冷加工和热加工，包括每一个班组和加工工具的使用和具体要求，祁俊都亲身经历过，对企业也有了更深的认识。而在部委的工作则让祁俊从宏观上、从国家政策和大局层面用宏观的角度去看待问题，这些对祁俊的工作有很大的影响和提高。
