Первоначально нацисты убрали надгробия, чтобы освободить место для своей техники, когда они оккупировали Брест в 1941 году. На протяжении всей войны надгробия использовались в качестве тротуарной плитки и строительного материала. В послевоенные десятилетия, когда Белоруссия входила в состав Советского Союза и строительные материалы были в дефиците, надгробия стали фундаментами домов, магазинов, садовых дорожек и подвалов.
Мемориал будет установлен на месте бывшего угла кладбища, на некотором расстоянии от спортивного комплекса. Он будет сделан из обломков надгробий, найденных за последние два десятилетия, и будет иметь черную гранитную доску с текстом на русском, иврите и английском языках. Территория вокруг мемориала будет усажена деревьями, травой и полевыми цветами.