Modernizr es una librería javascript que nos permite conocer la compatibilidad del navegador con tecnologías HTML5 y CSS3, para hacer sitios web que se adaptan a cada browser.
Modernizr es una herramienta, entre otras, que te permite cubrir la falta de soporte a ciertas características con un polyfill, es decir, una forma alterna (ya sea en ja o CSS) que cubra esa deficiencia de alguna forma.
Modernizr se basa en el principio de detectar características y no navegadores. Que es básicamente un estándar de facto para estas situaciones.
De esta manera no hace falta crear mil vueltas de tuerca para cada navegador y cada versión (y no me refiero simplemente a IE) sino enfocándose en la característica que necesitas concretamente. Un acercamiento mucho más flexible y efectivo.
No es que Modernizr se haga necesario en cada situación, si sólo vas a usar un par de características es posible que no se justifique la carga de otra librería -aunque lo normal es que en cada proyecto crees un archivo Modernizr que cubra sólo las características que quieres utilizar y no la librería completa-, pero sí es una buena alternativa, probada y bastante ligera a medida de esas características que no están disponibles en todos los navegadores son más utilizadas en tu proyecto.
Velo como una herramienta de la que puedes echar mano, no como algo que debas usar o no.