فقدت كيلر بصرها وسمعها في عمر 19 شهرًا فقط، وفي عام 1882، أصيبت بمرض أطلق عليه طبيب الأسرة اسم "حمى الدماغ" أدى إلى ارتفاع درجة حرارة الجسم ولا تزال الطبيعة الحقيقية للمرض لغزًا حتى يومنا هذا، على الرغم من أن بعض الخبراء يعتقدون أنه ربما كان الحمى القرمزية أو التهاب السحايا.
وفي غضون أيام قليلة بعد اندلاع الحمى، لاحظت والدة كيلر أن ابنتها لم تظهر أي رد فعل عندما قرع جرس العشاء، أو عندما تلوح بيدها أمام وجهها، وعندما كبرت كيلر في مرحلة الطفولة، طورت طريقة محدودة للتواصل مع رفيقتها مارثا واشنطن، الابنة الصغيرة لطاهي العائلة ولقد ابتكر الاثنان نوعًا من لغة الإشارة، وبحلول الوقت الذي كانت فيه كيلر في السابعة من عمرها، اخترعوا أكثر من 60 علامة للتواصل مع بعضهم البعض.
وخلال هذا الوقت، أصبحت كيلر متوحشة جدًا وغير منضبطة، وكانت ترفس وتصرخ عندما تغضب، وتضحك بلا حسيب ولا رقيب عندما تكون سعيدة وعذبت مارثا وأحدثت نوبات غضب شديدة على والديها وشعر العديد من أقارب الأسرة أنه يجب إيداعها في مؤسسة.