Simpson'ın az bir şarkı söyleme yeteneğine sahip "manifaktüre" bir şarkıcı olduğu yönünde tartışmalar vardır. Hakkındaki olumsuz eleştiriler genelde SNL ve Orange Bowl olaylarına dayanmaktadır.
2006 Altın Ahududu (Razzie) Ödüllerinde Undiscovered'daki rolüyle "En Kötü Yardımcı Kadın Oyuncu" dalında aday gösterilmiştir.
Marie Claire dergisinin 2006 ortalarında bir sayısında "Ashlee Simpson;Hollywood'un çarpık güzellik anlayışına karşı çıkıyor." başlığıyla kapakta yer almış ve kadınların kendi bedenlerinden memnun olmaları gerektiğini anlatmıştı, fakat aynı ay içinde kendisi estetik operasyon yaptırarak okuyucuların tepkisine yol açmıştı. (Aynı röportaj derginin Türkçe basımının Ağustos 2006 sayısında da yer almıştır.)
Son zamanlarda gittikçe ablası Jessica'ya benzemek istiyor olduğu söylenerek eleştirilmektedir. Saçlarını tekrar sarı yapması ve geçirdiği estekik operasyonlar bu eleştirilere yol açmıştır. Özellikle kendi hayran kitlesi tarafından fazlasıyla eleştirilmiş ve "artık eskisi gibi olmamak"la suçlanmıştır. ismiyle 28.07.2006'da vizyona sokuldu. remixi ile desteklendi.