Het is eind jaren veertig. Don Vito Corleone  is het hoofd van een New Yorkse maffiafamilie. Tradities en respect zijn de codewoorden in deze wereld. Mensen die echter de familie in de weg zitten, krijgen te maken met meedogenloos geweld. Ter gelegenheid van de bruiloft van zijn zus Connie  met Carlo Rizzi komt Michael  de jongste zoon van Don Vito Corleone, terug naar huis vanuit Europa, waar hij gediend heeft in de Tweede Wereldoorlog bij de mariniers. Michael wil niets met de illegale praktijken van de familie te maken hebben, in tegenstelling tot zijn oudere broer Sonny. Hij wordt op de bruiloft vergezeld door zijn jeugdliefde, de niet-Italiaanse Kay (Diane Keaton).

Op een dag vraagt drugsdealer Virgil Sollozzo aan Don Vito Corleone om bescherming. Don Vito houdt echter vast aan zijn oude normen en waarden en is zeer tegen drugs. Hij weigert dan ook, tegen het advies van zijn advocaat en pleegzoon Tom Hagen Duval in. Omdat Sonny tijdens de ontmoeting zijn mond voorbij praat, ziet Sollozzo zijn kans om met Sonny als Don wél tot een overeenkomst te komen. Daarom beraamt hij een aanslag op Don Corleone.

Als Don Vito Corleone rond Kerstmis zwaargewond raakt bij deze aanslag, neemt Michael wraak door de aanstichters (Sollozzo en zijn handlanger Politiechef McCluskey) te doden. Hij vlucht naar Sicilië, waar hij verliefd wordt en trouwt. Zijn vrouw wordt echter gedood door een autobom die voor hem bedoeld was. Don Vito Corleone is inmiddels hersteld en heeft vrede gesloten met zijn rivalen. Broer Sonny is verraden door Connies echtgenoot en wordt vermoord in een scène die doet denken aan het einde van Bonnie and Clyde (1967). Als Michael terugkeert naar New York trouwt hij met Kay. Michael is na de dood van Sonny de enige die de leiding van zijn vader kan overnemen. Tegen wil en dank aanvaardt hij deze taak en belooft Kay dat de familie binnen vijf jaar legaal zal zijn.