2 марта 1821 года Жан Лафитт вынужден был выполнить требование американских властей и сжечь поселение на острове Галвестон, превратившееся в пиратскую базу.
Лафитту удалось основать пиратскую базу на острове летом 1817 года. И уже через год американское правительство, ощутив на себе «все прелести» нахождения у самого берега пиратской базы, выслало приказ освободить остров и бухту. Но братья Лафитты продолжали использовать остров вплоть до 3 января 1821 года, когда на остров прибыла американская военная шхуна «Энтерпрайз». Капитан-лейтенант Кирни передал Лафиттам требование американского правительства освободить остров и уничтожить пиратский поселок. Пираты съехали со всем имуществом только к 2 марта, и Жан Лафитт собственноручно поджег корсарский поселок.
Фактически, эта потеря привела к завершению пиратской карьеры знаменитых корсаров. Осенью этого же года у берегов Юкатана умер его брат, а в начале, следующего судно Лафитта было обстреляно и затонуло. Сам корсар вплавь добрался до берега Кубы, где был пойман и некоторое время провел в заключении. Удачный побег и нелегальная торговля рабами упрочили его славу удачливого пирата, но вся эта деятельность не приносила былого дохода. По мнению ряда исследователей Лафитт выбрал спокойную и мирную жизнь, тайно обвенчавшись в Чарлстоне и открыв торговлю орудийным порохом в Сент-Луисе. Со временем Лафитт стал преуспевающим торговцем и даже спонсировал издание книг и брошюр, посвященных осуждению рабства.
Умер бывший пират от простуды, после того как встречал тайный транспорт с беглыми рабами.