他被调往38军任职初时心存迟疑，军长政委和领导多次劝解，最终让他主抓作战工作吗？
1947年初春，陕北米脂城外的窑洞里，一支番号为暂编第三十七师的国民党部队扯下青天白日旗，举起西北民主联军的新红旗。从此，这支后来被编号为第38军的队伍，成了人民解放军序列里最年轻、也最特殊的一员——官兵大多刚脱离旧军队，摸不清“新家”的脾气，却马上要投入鏖战。留给上级的难题只有一个：谁来带？
晋冀鲁豫野战军正忙着南下。8月初，刘伯承、邓小平部已插至大别山；陈赓、谢富治统领的9纵、4纵整装待发；38军则在黄河西岸做准备。集团南渡，目标是豫西与陕南的旷远山河，用突袭把国民党中原集群拖得分身乏术。兵力凑齐不难，关键在能否立刻形成合力。缺口出在38军：军长孔从洲虽有战功，却是刚刚倒戈，政治、训练皆需磨合；政委汪锋深谙政治工作，却不主战术。于是，前线总部把目光投向了一个熟悉西北山川的人——陈先瑞。
陈先瑞此刻正在陕北前线，原是红军出身，抗日烽火里南北转战，又在中原突围后两度转入秦岭一带，山路几乎熟记于心。不过，面对这次新任命，他并不轻松。起义部队底子杂、旧风难除，缺乏严整作风，他担心一旦开仗“拧不成一股绳”。电报发来两封，上级只用一句话打消顾虑：“经验干部去指挥，正是为了让新部队少走弯路。”短短十四字，道出临战时的筹算和信任。

几天后，陈先瑞抵达38军指挥所。夜色里，孔从洲主动迎出帐外，一句“老陈，你来，咱们一起把这摊子带好！”打破隔阂。三人旋即对分工拍板：孔从洲统揽全局，汪锋抓政治，陈先瑞专司作战训练。文件上写得清楚，副军长在另一位副军长之前列名，寓意再明显不过——这支队伍的枪口要由他来指挥。
渡黄河那夜秋风劲烈，9纵打头阵，38军居中，4纵殿后。船只悄无声息滑过河面，月光照得白茫茫。豫西的山川丘陵成了天然屏障，三路大军拉开突破口，几十里外的洛阳、潼关铁路要道警笛长鸣。38军两师一团初战即要担负钳形攻势一翼，陈先瑞把刚整训过的17师拨到侧翼，亲自冒雨夜行前推，确保进攻节奏不乱。首战虽只是一场中等规模的攻坚，却让新兵尝到“新式打法”的滋味：炮火先行，穿插迂回，配合9纵的正面突击，将一支守敌全歼于山谷。
不久，西进的号角再响。根据陈赓、谢富治的意图，38军55师北上牵制洛阳，17师则折向商洛山区，携4纵12旅开辟陕南。这个决策暗合了陈先瑞的老底子——他在红二十五军时期就吃过秦岭的草根，翻过秦巴的雪岭。山路难行，却是绝佳屏障；只要拿下几处关垭，就能把敌人的机械化部队晾在谷外。

陕南行动开始于1947年冬。17师从卢氏、内乡一线出动，十二天连拔十数据点，把兵站物资投向穷困山村。地方百姓见惯了兵来兵去，可头一回碰到部队留粮、修路、开夜校，山谷里传开一句顺口溜：“穿灰衣的不拿鸡，搬石修桥也出力。”对照旧军阀抽丁抓壮丁的作派，这种变化来得刺眼，群众很快递粮、递情报，联袂迎接“自家军”。
1948年初春，陕南军区在镇巴小城宣告成立，司令员刘金轩、政治委员陈先瑞。不久，他将职务调整为副司令员，专心抓建制、军事、后勤。新军区所辖数县散布于秦岭腹地，道路断裂、通信闭塞，最缺的是被服与盐巴。陈先瑞干脆把17师的被服厂拆成三处，分头支援各县自给；同时调运豫西缴获的食盐翻山入境。战场硝烟之外，一套完整的地方武装、征粮、民运、卫生体系逐渐搭起脚手架。

陕南根据地巩固后，战争重心东移。4纵12旅奉命随刘邓主力转向襄樊，再挥师入中原大地参加淮海会战。38军则留下骨干，补充新兵，兼顾守地和培训。从这时开始，西北局势已出现明显拐点：外线大兵团决战逐步收网，后方各军区承担的任务由运动歼敌转向稳固地盘、筹集粮草、扩充兵源。38军在山谷里埋头练兵的同时，源源不断抽调连排干部补充前线，成为西北野战军的“训练基地”。
1949年春，解放大军踏入川陕要隘，兵锋已不可阻挡。陕南军区的临时机构撤销，与陕西军区合署办公。陈先瑞奉命留下，担任副司令员，继续统筹地方武装和治安。昔日起义部队改造的经验，此时用在收编改编的新部队上游刃有余；战地转安区，条例、队列、纪律日渐成型。
短短两年，38军从杂牌转作精兵，陕南从游击场变出稳固后方。经验干部与地方熟悉度，成了把起义之师锻造成正规主力的两大支点。放眼当时，类似案例还有东北的不少“挺进纵队”、华东的盐阜部队，皆印证同一个道理：战争不仅靠槍口对准前方，还要有人在后方把山川、百姓与部队拧成一股绳。