Nędznicy łączą elementy powieści realistycznej z silnymi elementami romantycznymi, ale także fragmentami o charakterze eseistycznym. Można wręcz powiedzieć, że jest to synteza gatunków: powieści przygodowej, obyczajowej, kryminału oraz umoralniającej „powieści o bohaterach”.

W planach Wiktora Hugo utwór miał być panoramicznym obrazem całego społeczeństwa francuskiego XIX wieku oraz wykładnią poglądów autora na kwestie sprawiedliwego porządku społecznego, walki z nędzą i wykluczeniem. Na kartach Nędzników, poprzez główne wątki fabularne oraz liczne dygresje o charakterze filozoficznym i historycznym, Hugo prezentuje swój program polityczny i społeczny, oparty na wierze w możliwość pozytywnej przemiany każdego człowieka oraz w ciągły, obejmujący wszystkie dziedziny życia postęp. Praca nad utworem trwała blisko dwadzieścia lat, jego szczegółowa koncepcja ulegała w tym okresie wielokrotnym zmianom i rozszerzeniom.

Akcja powieści rozpoczyna się w 1815 w prowansalskim miasteczku Digne opisem życia prowadzonego przez biskupa Myriel, zwanego przez mieszkańców diecezji Mile Widzianym (fr. Bienvenu). Biskup ten dobrowolnie zrezygnował z mieszkania w przeznaczonym dla siebie pałacu, oddając go na szpital. Dawał przykład skromności i dobroci, wspierał dobroczynność.

Któregoś dnia w miasteczku zjawił się wypuszczony z więzienia galernik Jean Valjean. Jedyną osobą, która przyjęła go przychylnie, był biskup. Valjean ucieka jednak w nocy, kradnąc srebrną zastawę stołową Myriela. Zostaje zatrzymany przez policję i zawrócony, jednak biskup zapewnia, że sam podarował mu srebra. Po odejściu policjantów stwierdza, że w ten sposób wykupił duszę Valjeana od sił zła i oddał Bogu. Opuszczając Digne, zszokowany minionymi wydarzeniami Valjean spotyka na gościńcu nastoletniego kominiarza z Sabaudii i kradnie mu monetę 40 sous, po czym pojmując swój błąd, woła „Jestem nędznikiem!” i postanawia zmienić swoje życie.

Akcja przenosi się do Paryża, dwa lata później czterech młodzieńców żyje w wolnych związkach z czterema dziewczętami, z których jedna, Fantyna, zostaje porzucona z małą córeczką. Kobieta postanawia opuścić Paryż i szukać pracy. Nie chcąc, aby wyszła na jaw historia jej romansu, zostawiła córeczkę Kozetę u przypadkowo spotkanej rodziny oberżystów z Montfermeil koło Paryża.

Fantyna trafiła do miasta przeżywającego prawdziwy rozkwit. Stało się tak za sprawą nieznanego nikomu przemysłowca, Madeleine'a. Dzięki wprowadzeniu nowinek technologicznych do zakładów produkujących sztuczne szkło mógł nie tylko wzbogacić się sam, ale i sfinansować budowę szkół, ochronek i przytułków. Otoczony powszechnym szacunkiem został wreszcie merem miasta. W Montreuil tylko inspektor policji Javert mu nie ufa. Jego podejrzenia zwiększyły się jeszcze po tym, gdy Madeleine, chcąc ratować woźnicę Faucheleventa, podniósł na barkach ciężki wóz. Javert stwierdził wówczas, że znał tylko jednego człowieka o takiej sile: galernika nazwiskiem Valjean…