Seita muere de inanición el 21 de setiembre de 1945, ya terminada la Segunda Guerra Mundial, en una estación de trenes japonesa ante la indiferencia de la gente, que no atina a hacer nada. Más tarde, los empleados de limpieza del lugar lo recogen y tratan como a un vil perro muerto, y toman de entre sus ropas una pequeña lata de caramelos que luego arrojan al jardín. De ella salen los recuerdos y el espíritu de Seita y su hermanita Setsuko para recorrer la trágica historia que los llevó a una muerte tan prematura e inmerecida. Seita y su hermana vivían con su madre. El padre, oficial de la marina japonesa, luchaba junto a la flota del sol naciente contra los aliados. En uno de los tantos ataques con bombas incendiarias, Seita y Setsuko se separan de su madre. Ésta es alcanzada por las llamas y queda totalmente quemada. Al enterarse de lo ocurrido, Seita se lo oculta a su hermana, y poco después la madre expira. Completamente solos, los chicos buscan alojamiento en la casa de una tía que los acoge, aunque Seita tampoco no le dice nada de su madre. En una de tantas, Seita confiesa su pena a la señora, pero le pide no decirle nada a su hermana. La escasez de alimentos debido a la guerra es muy grave, por lo que Seita empieza a vender las cosas de su progenitora para ayudar con la comida. Su tía se alegra por ello y utiliza la comida que los chicos habían ocultado, pero da de comer más y mejor a su propia familia antes que a ellos. Estas ventas forzadas sólo alargan la carestía, y por último todas las pertenencias de Seita se agotan. Esto aumenta la tensión entre la señora y los niños, sobre todo por que Seita no hace absolutamente nada por conseguir un trabajo y ayudar así a conseguir comida. Setsuko llora de noche recordando a su madre. La situación se vuelve insostenible cuando la niña le reclama a la tía por estar comiendo lo que se supone es comida de ellos. Seita tiene luego que preparar él mismo sus alimentos, pero, cansados del acoso de la tía, los dos deciden irse de la casa con lo poco que tienen. Todos los momentos pasados son revividos por el espíritu de Seita, quien recuerda y vuelve a sufrir aquellos vejámenes.
Una vez fuera de la casa, ambos se instalan en un refugio para bombardeos abandonado en las afueras de la ciudad y tratan de sobrevivir, tarea cada vez más difícil pues no cuentan con dinero para comprar alimentos. En un principio, Seita los consigue comprándolos de los agricultores aledaños, pero en un momento éstos se niegan a venderle más pues ya no les alcanzan ni para ellos mismos.
Una noche, los hermanos capturan muchas luciérnagas en una olla e iluminan su soledad con sus pequeñas luces, que recorren las paredes del refugio. Seita habla de las glorias de su padre en la marina y Setsuko se duerme. Solo y en silencio, Seita reflexiona pensando por qué su padre nunca le respondió las cartas que él le enviara y en las cuales le narraba su situación. Los dos hermanos organizan lo poco que tienen para tratar de hacer que dure lo más posible. Pero Setsuko enferma, víctima de la desnutrición, y su ánimo decae cada vez más. Seita se entera de boca de su hermana que ya sabía de la muerte de su madre pues su tía se lo había contado. La pequeña prepara una tumba para las luciérnagas y Seita le promete que algún día la llevará al lugar en que descansa su madre; otra mentira, pues él guarda la caja con algo de las cenizas del inmenso crematorio público donde fue echado el cadáver. Con la guerra en su punto mas álgido y su hermana con diarreas constantes, la situación toca un punto en que a Seita no le queda otra que robar comida para sobrevivir y sobre todo para alimentar a su hermana. Una de tantas noches es capturado y apaleado por un furioso propietario, quien luego lo deja en manos de un policía. Éste se apiada del joven y lo deja ir, pero Seita está poseído por un orgullo que no le deja pensar y mucho menos pedir ayuda. Cae más y más en la degradación y apresura el inminente final. El joven empieza a robar en las casas del pueblo aprovechando que la gente va a los refugios durante los bombardeos. Apenas iniciado uno, Seita corre de casa en casa y se lleva comida y cosas para vender; sin embargo nadie las compra pues se dan cuenta de su dudosa procedencia. Setsuko, cada vez más débil, es llevada por Seita donde un médico y éste le receta únicamente que debe comer mejor, y nada más, ni una medicina ni un poco de comida. Seita reclama por ayuda, pero todo está tan difícil que nadie puede ayudar a los demás.
En un desesperado intento, Seita retira todo el dinero que había en las cuentas bancarias de la familia, y en el banco se entera de que Japón perdió la guerra y toda la flota japonesa fue arrasada. El joven no puede creerlo pero la realidad le da de lleno: su padre no le ha escrito pues lo más probable es que también esté muerto. Seita llega con muchas provisiones al refugio pero ya es demasiado tarde: su hermana delira y luego entra en un sueño profundo del que no despertará jamás. Seita pasa una noche de tormenta abrazado al cadáver de su hermana. Al día siguiente, se prepara para cremar a su hermana. No lo puede hacer en un templo, así que elige una colina, prepara una pira funeraria y le prende fuego al cuerpo de la pequeña a la que no pudo proteger. Pasa todo el día al lado de las cenizas y luego come todo lo que quedaba del alimento que compró para su hermana. Seita muere tratando de recordar qué día es, y su espíritu, por fin libre tras la muerte, se reúne con el de Setsuko en la colina donde cremó su cuerpo. Juega con la que fuera la pequeña lata de dulces que Seita le daba a su hermana cada vez que lloraba de hambre. Ambos se ven fuertes y rollizos, sin ningún rastro de todos los sufrimientos padecidos. Ésta es una historia de las decisiones equivocadas de la gente. A lo lejos, vemos un Japón moderno y desarrollado, con sus altos edificios y su floreciente sociedad, que parece haber olvidado totalmente los horrores de la guerra y las penurias de sus protagonistas.