به گزارش تجسمی آنلاین، پدر و مادر آنری دو تولوز لوترک از خانواده‌های قدیمی و اشرافی فرانسه بودند که از سال ۱۵۲۷ در آنجا می‌زیستند.
 لوترک اولین فرزند خانواده بود. برادر کوچکترش نیز در ۲۸ اوت ۱۸۶۷ متولد شد، اما سال بعد درگذشت. بعد از مرگ برادرش، پدر و مادرش از هم جدا شدند؛ که البته پرستار بچه مراقبت از او را بر عهده گرفت. در هشت سالگی به قصد زندگی با مادرش به پاریس رفت و شروع به طراحی و کاریکاتور در کتاب‌های مدرسه‌اش کرد. 
خانواده‌اش سریعاً به استعداد او در طراحی و نقاشی پی بردند، یکی از دوستان پدرش به نام رنه پرینستو گاهگاهی به صورت غیررسمی به او درس‌هایی می‌داد. بعضی از نقاشی‌های اولیهٔ او از اسب‌ها است که تخصص پرینستو محسوب می‌شد.

در ۱۸۷۵ به البی برگشت به‌خاطر اینکه مادرش پی به مریضی او برد. او به‌خاطر بیماری بسیار ضعیف بود و مادرش با دکترهای بسیاری برای یافتن راهی برای بهبود رشد فرزندش مشورت می‌کرد.

پدر و مادر لوترک با هم نسبت فامیلی نزدیکی داشتند و مشکلات مادرزادی آنری بدین خاطر بود. او در سیزده سالگی استخوان ران راستش شکست و در چهارده‌سالگی استخوان ران چپش شکست. 
او هیچ‌وقت به طور کامل بهبود نیافت. فیزیوتراپ‌های معاصر علت این مشکل را اختلال ناشناختهٔ ژنتیکی‌ای که، پیکنودیسوستوز (که به اسم سندرم تولوزلوترک نیز معروف است) یا تعدادی اختلال مختلف مانند استئوپتروزیس، آکندروپلازی، اختلال استخوان‌زایی می‌دانند. بالاتنه‌ی او به اندازه‌ی یک بزرگسال بود درحالی‌که رشد پاهای او متوقف شد و دارای پاهایی به اندازه یک کودک بود. به طوری که او به عنوان یک بزرگسال تنها یک متر و پنجاه و چهار سانت قد داشت و به همین دلیل برخی به او لقب غول کوچک (Little giant) داده‌اند.

چون از لحاظ فیزیکی قادر به انجام بسیاری از فعالیت‌های عادی مردان همسن خود نبود، تولوز خود را در هنر غوطه‌ور کرد. او از نقاشان مهم پست امرسیونیست، تصویرگر هنر نو، و چاپ سنگی شد؛ و در آثارش جزئیات بسیاری از زندگی غیرمتعارف و آزادانهٔ مردم پاریس در اواخر قرن نوزدهم را به تصویر کشیده است. در اواسط دههٔ ۱۸۹۰ میلادی لوترک تعدادی تصویرسازی به مجله لوریر تقدیم کرد.

بعد از اینکه او در اولین امتحان ورودی کالجش رد شد، توانست در دومین تلاشش موفق شود و درسش را تمام کند. در طول اقامتش در شهر نیس، ترقی او در نقاشی و طراحی پرینستو را تحت تأثیر قرار داد، پرینستو پدر و مادر آنری را متقاعد کرد که بگذارند او به پاریس برگردد و تحت تعلیم نقاش تحسین شده لئون بونا قرار بگیرد. مادر آنری به خاطر جاه‌طلبی‌های خود و هدف آنری در تبدیل شدن به یک نقاش محترم، از نفوذ خانوادهٔ خود برای وارد کردن آنری در استودیو بونا استفاده کرد.