古当涂位于今天怀远县境内。怀远县城关东南7里有涂山，又称东山，今称土山，今地名为马城镇，此乃当涂地名起源地。

先秦时期，怀远地区为古涂山国，是古老的邑地，大禹治水三过家门而不入的故事就发生在这里。《尚书 益稷篇》记载，大禹娶涂山氏国部落首领之女为妻，得子启。可见禹时代涂山国就已经存在了，涂山氏国亡败后，涂山邑作为历史名邑却长期存在。大禹治水以疏导之术，将涂山之谷掘凿疏水，经过13年的努力终于成功，淮水过涂山，东为涂山，又称东山，西为荆山，两山隔水相对，此乃大禹劈山引水之故事来源。涂山又是殷商王朝发源之地，古代中原文化、政治、经济发达的地区，可见，涂山地区的历史沉淀之深厚。。

当涂地名始用于西汉时期，则有正当淮水入涂山口语得。汉武帝时期，公元前91年，魏不害等四人挫败一起反叛而立功，汉武帝封魏不害为康侯，将古涂山邑六百户为魏不害邑地，改称当涂国，时迁到王莽败亡，去国改县，称当涂县。

东晋时，匈奴，羯，氐，羌，鲜卑五个少数民族统称胡人侵犯中原，史称五胡乱华，为避难，大量北方难民渡江南迁，为安置北方南流的民众，沿用北方原郡、县之名在江南侨置郡、县。淮水之当涂之士大夫、大家族随当涂长也侨迁江南置当涂县，初在石台、铜陵、泾县一带游弋，后来驻扎春谷境内（今南陵境内）。晋安帝义熙九年（413），淮水当涂实地土断，于是将于湖县南部之地及芜湖县、宛陵县部分之地割让给侨置当涂县，县治于今天南陵郊外，侨置当涂始有实土，而淮水之当涂城则为空城，改称马头城，即今天的马城镇。 隋开皇九年（公元589年）正月一日，庐州总管韩擒虎率精兵五百人夜渡横江拔采石、次日半日破姑孰。不久将侨置当涂县治所从春谷（南陵）移至姑孰，又将襄垣、于湖、繁昌西部四个乡归属当涂县，从此侨置当涂为实土当涂，当涂自此正式成为本地县名。