Das Stück ist von Isaac Hayes co-geschrieben und wurde inspiriert durch die Rassenunruhen in den späten 60er Jahren in den USA – besonders durch die sogenannten '12th Street Riots“ in Detroit. Hayes sah im Fernsehen, dass viele nicht zerstörte Häuser mit dem Wort „Soul“ gekennzeichnet waren. Damit wurde signalisiert, dass diese Häuser von Afroamerikanern bewohnt wurden und so von den Unruhen verschont blieben. Diese Tatsache floss in den Text ein, der somit eine Geschichte über die die Bemühungen des Einzelnen ist, der versucht, sich unter widrigen Umständen zu behaupten – eine Frage des Stolzes. I'm a Soul Man eben.
Sam & Dave nahmen das Stück 1967 zusammen mit der Stax Houseband auf. Teil der Band waren natürlich Steve Cropper und Duck Dunn. Die Aussage 'Play it, Steve' im Stück referenziert auf Steve Cropper, der zusammen mit Duck Dunn viele Stücke für Sam & Dave instrumentierte und das Stück live immer noch spielt – genau so wie die Three Orange Whips, die sich mit diesem Klassiker vor Sam & Dave verbeugen. Das Stück ist übrigens auch die absolut erfolgreichste Single des Stax Labels geworden.