1936年7月17日，西班牙独裁者弗朗哥在纳粹德国和意大利的支持下发动了政变，至此西班牙内战正式打响。7月19日，左翼共和党领袖何塞·西拉尔政府成立。此时苏联领袖斯大林号召着全世界的共产党人前往西班牙，协助西班牙人民抵抗叛军以及外国入侵者。在斯大林的提议下，我国将旅德支部党员谢唯指派到西班牙协助共产国际进行战斗。

谢唯曾经在英国的哈格罗特军事学校中就读，主要精通炮兵战术。当他提来到西班牙，他就被任命为西班牙共和国军35师重炮队的队长。谢唯带着自己的重炮队参与进了著名的马德里保卫战，在此战中成为了重要的火力支援力量，有着卓越的军功。在敌方步兵强大，我方步兵弱小的情况下，狠狠的打击了敌军的进攻势头，取得了优异的战绩。

数月之后，谢唯被调往国际总队新组建的炮兵纵队担任政治委员。这支炮兵纵队的人员来自50多个国家，而谢唯是为数极少能够精通英语、德语、法语和西班牙语的指挥官。1937年3月，在瓜达拉哈拉的战斗中，谢唯所在阵地遭到了敌机的轰炸。谢唯被爆炸产生的弹片击中头部身负重伤，入国际总队野战医院进行治疗。在伤势恢复后继续带领着炮兵纵队参与进了马德里市区的巷战之中。

1938年末，谢唯再一次身负重伤，被送进了第七医院进行治疗。1939年1月，谢唯与所有国际纵队的伤员一起被国际联盟监察撤退外国志愿军委员会所软禁。在集中营里，谢唯与其他9名来自中国的同志组成了中国支队，并担任队长。在集中营生活的日子里，谢唯以及其他人都遭受到了非人的折磨，直到1939年8月31日纳粹德国入侵波兰，9月3日英法对德宣战，二战全面爆发后，谢唯等人才获得了法国的批准返回祖国。