En 1937, l'armée japonaise quitte Shanghai et attaque Nanjing, capitale de la République de Chine. Chiang Kai-Shek qui était le président de la république avait ordonné à ses troupes d'élite d'évacuer. Le gouvernement a également remonté le fleuve Yangtze. Les chefs de l'armée pensaient qu'il valait mieux mener une guerre d'usure avec les meilleures troupes de l'intérieur que de laisser l'armée être détruite à Nanjing. Cependant, des dizaines de milliers de soldats sont restés pour défendre la ville. Ils ont reçu l'ordre de défendre la ville jusqu'à la mort. Les civils ont tenté de fuir, mais beaucoup ont été pris dans la ville parce que les ponts, les routes et les moyens de transport hors de Nanjing ont été détruits à la fois pour ralentir l'avancée japonaise et pour maintenir les troupes et les civils dans la ville.
Les récits de la prise de la ville par les étrangers vivant dans la ville et les Chinois eux-mêmes font état de viols généralisés et de meurtres insensés de civils. Les estimations du nombre de Chinois tués au cours de la période de six semaines après la capture de la ville par les Japonais varient beaucoup. Les estimations du nombre de décès varient. C'était difficile à savoir car de nombreux corps ont été brûlés dans des maisons et des bâtiments en feu et beaucoup ont été jetés dans les rivières. Il y a eu beaucoup de pillages et d'actes criminels contre les soldats et les civils. Peut-être aurait-il mieux valu que le gouvernement aide les civils à fuir et laisse à l'armée une échappatoire. Ou peut-être que le combat à mort qui s'est déroulé à Shanghai et à Nanjing a servi à impressionner les Japonais qui étaient également connus pour avoir combattu à mort pendant la Seconde Guerre mondiale.
Le mausolée indique que 300 000 personnes ont été tuées dans le massacre. D'autres estimations varient de moins de 200 000 à plus de 300 000 personnes tuées. Les différentes estimations s'expliquent en partie par le fait que certaines estimations concernent l'ensemble de la région municipale de Nanjing et certaines estimations ne concernent que le principal centre urbain.
Le mémorial a été construit par le gouvernement municipal de Nanjing en 1985 et il a été agrandi en 1995.