Slavernij was in Amsterdam verboden. Dit betekende niet dat slavernij niet indirect aanwezig was in Amsterdam. Ruwe suiker, geproduceerd met slavenarbeid in de koloniën, werd in grote hoeveelheden naar Amsterdam verscheept. De stad bezat de meeste suikerraffinaderijen van het land. In deze “suikerbakkerijen” werd ruwe suiker bewerkt tot bruikbare suiker en stroop.
Hans Pelt kocht al in 1611 een stuk grond bij het Rokin om de suikerbakkerij De Drie Suijkerbroden te beginnen. Bij de graafwerkzaamheden voor de Noord-Zuidlijn zijn daar potten en kruiken gevonden die gebruikt werden bij suikerraffinage. Het ging de familie Pelt voor de wind. In 1651 breidde Pelt zijn suikerbakkerij uit en van zijn zonen Arnout en Hans is een arbeidscontract overgeleverd waaruit blijkt dat zij in de positie waren om meerdere knechten in dienst te nemen.