"Take Me With You When You Go" adalah lagu yang dinyanyikan oleh Jack White, menarasikan kisah seseorang yang terjebak dalam pergolakan batin dan mencari pelarian. Lagu ini dimulai dengan kait yang kuat, di mana sang protagonis memohon untuk dibawa pergi oleh kekasihnya ke mana pun, karena ia merasa hampa tanpa kehadirannya. Syair-syair berikutnya melukiskan gambaran yang gamblang tentang kekacauan mental dan rasa sakit yang dialami sang protagonis, serta perasaan bersalah dan pertentangan moral yang mereka hadapi.