Jedną z najbardziej znanych w średniowieczu zabaw z udziałem drewnianej piłki i kija było tzw. pallemaille. Początkowo grano w to m.in. we Włoszech i Francji, a z nastaniem XVII wieku zabawa przeniosła się także do Anglii. W stolicy kraju zbudowano nawet specjalne miejsce do gry zwane Pall Mall. Równie znaną grą średniowieczną z udziałem kija i piłki był chole, w którego grali głównie Belgowie. Zabawa obywała się na otwartych przestrzeniach, a zawodnicy używali metalowego kija w kształcie łyżki, którym starali się trafić do celu, wykonując przy tym jak najmniej uderzeń. Kolejną ze średniowiecznych gier podobnych do golfa była także holenderska colf, z tą jednak różnicą, że najczęściej rozgrywaną ją nie na trawie, a na lodzie. To właśnie od nazwy tej gry, oznaczającej ''kij'', najprawdopodobniej pochodzi nazwa dzisiejszego golfa.


Prawdziwą kolebką golfa jest Szkocja. Pierwsze zdania o golfie można przeczytać w szkockich pismach z XV wieku, w których pojawiła się wzmianka o tym, że gra odciągała łuczników od ćwiczeń. W 1457 roku James IV, król Szkocji, wydał nawet dekret, w którym zabraniał swoim poddanym gry w golfa, która była według niego stratą czasu w trakcie wojen z Anglią. Narodziny golfa w zbliżonej do dzisiejszej formie wiąże się najczęściej z XVI wiekiem, kiedy to już nawet król Szkocji uprawiał ten rodzaj sportu. W 1552 roku powstało pierwsze pole golfowe znane do dziś pod nazwą St. Andrews of Scotland, a w 1604 roku założono pierwszy klub sportowy Royal Lackheath Club, nad którym patronat objął król Szkocji Jakub I. Od XVI wieku golf cieszył się w Szkocji ogromną popularnością, głównie wśród arystokracji. Początkowo była to gra przeznaczona jedynie dla mężczyzn, jednak jak odnotowują kroniki w 1567 roku na polu golfowym pojawiła się także królowa Szkocji Maria Stuart. W 1754 roku w Szkocji opracowano pierwsze reguły gry w golfa. Zawodnicy z tego kraju najczęściej grywali na obszarach znajdujących się pomiędzy polami uprawnymi, a nadbrzeżem, gdzie panowały idealne warunki do gry. Ukształtowanie pola było zależne od natury, a dołki, znajdujące się na nim leżały w bliskiej odległości. Najbardziej płaskie tereny były wykorzystywane jako green.


Golf stopniowo podbijał inne państwa i w 1786 roku dotarł do Ameryki Północnej, dokąd przywieźli go żołnierze ze Szkocji. Początkowo gra rozwijała się w Nowym Jorku i Południowej Karolinie, gdzie powstał pierwszy klub golfowy, jednak w ciągu 100 lat podbiła całą Amerykę i inne kontynenty. Do rozpowszechnienia tego sportu przyczyniła się głównie brytyjska polityka imperialna. Stopniowo gra opanowała także wschód i stała się popularna w Indiach, gdzie w 1829 roku powstał Calcutta Golf Club, a w 1842 klub w Bombaju. 29 lat później powstał także klub w Nowej Zelandii, w 1873 roku w Montrealu zaczął działać pierwszy amerykański klub golfowy z prawdziwego zdarzenia, a 12 lat po nim założono klub w Afryce. W Australii pierwszy klub powstał w 1981 roku. Golf stał się niezwykle popularny także w Japonii, gdzie do dziś jest nieodłącznym elementem spotkań towarzyskim. W samym Tokio istnieje aż 13 klubów golfowych.


Golf swoją popularność zawdzięcza między innymi wprowadzeniu dwóch popularnych turniejów – Open Championship i Amateur Championship. Pierwszy z nich został przekształcony w British Open i jest rozgrywany od 1860 roku, a drugi zaczął się odbywać 25 lat później i był przeznaczony dla amatorów. British Open jest rozgrywany do dnia dzisiejszego i stanowi jeden z czterech najważniejszych turniejów golfowych na świecie. Pozostałe to US Open, US PGA Championship i US Masters. Pierwszy z nich jest rozgrywany od 1895 roku, drugi od 1916, a trzeci od 1934 roku.