Родился в графстве Lanarkshire. Начал свою карьеру как мастер по изготовлению париков. Одновременно он собрал и переписал огромную коллекцию старинных шотландских песен и баллад, которая была опубликована в 1724 году. В следующем году он опубликовал сборник под названием "Благородный пастух", где в ярких красках описал сельскую жизнь и природу. Успех в этой области подтолкнул его к открытию в Эдинбурге ряда книжных магазинчиков и одной из первых в Британии библиотеки, в которой собирались многие литераторы тех дней. Он также открыл театр (который, правда, был закрыт эдинбургскими городскими властями) и аукционную палату. Рядом c эдинбургским замком он построил дом, там где сейчас находятся сады Рэмси. Он не был великим поэтом, но его деятельность оказала огромное влияние на творчество Роберта Бёрнса и Вальтера Скотта.
Сын поэта Аллана Рэмси, он родился в Эдинбурге, ездил в Лондон и Рим изучать живопись. Вернувшись в Эдинбург, он стал признанным художником-портретистом. Он переехал в Лондон, где у него появились знатные клиенты, включая Джорджа III, знаменитую Флору Макдоналд (сподвижницу Принца Чарльза), Дэвида Хьюма, Гиббона и Руссо (хотя тому не понравился его портрет). Его работы выставлены в национальных галлереях в Лондоне и Эдинбурге.
