Sy Baumgartners leven is getekend door zijn diepe, blijvende liefde voor zijn vrouw Anna, die negen jaar geleden bij een zwemongeluk om het leven is gekomen. Baumgartner is inmiddels 71 jaar oud en gaat binnenkort met pensioen, na een roemruchte carrière als fenomenoloog en professor in de filosofie. Hij raakt in toenemende mate verstrikt in spiralen van herinneringen. Die strekken zich uit van 1968, wanneer Sy en Anna elkaar ontmoeten als studenten in New York, via hun gepassioneerde relatie in de daaropvolgende veertig jaar, tot terug naar Baumgartners jeugd in Newark en het leven van zijn in Polen geboren vader, een mislukte revolutionair en eigenaar van een kledingwinkel.
In Baumgartner, geschreven met Paul Austers kenmerkende scherpe oog voor schoonheid in de meest vergankelijke ogenblikken van het dagelijks leven, wordt de vraag gesteld: waarom onthouden we bepaalde momenten en vergeten we andere?