Sau khi miền Nam được hoàn toàn giải phóng, tại Sài Gòn (Thành phố Hồ Chí Minh ngày nay), Đoàn Cán bộ Tòa án nhân dân Tối cao do đồng chí Nguyễn Thành Vĩnh làm Trưởng đoàn vào tiếp quản ngành Tư pháp, một tổ chuyên viên phụ trách pháp chế được thành lập gồm ba người giúp việc cho Ủy ban Quân quản Sài Gòn - Gia Định (tiền thân của Sở Tư pháp thành phố Hồ Chí Minh sau này).

Đến ngày 3 tháng 6 năm 1976, Ủy ban nhân dân Thành phố có Quyết định số 362/QĐ-UB thành lập Phòng Pháp chế trực thuộc Ủy ban nhân dân  Thành phố, với biên chế 11 người. Phòng Pháp chế giữ nhiệm vụ rất quan trọng giúp Ủy ban nhân dân  Thành phố xây dựng pháp chế, tổ chức và hướng dẫn thi hành pháp luật trong điều kiện công việc bề bộn của Thành phố sau ngày giải phóng và đã có những đóng góp quan trọng trong việc xây dựng, củng cố chính quyền cách mạng vừa mới giành được. Ngày 07 tháng 5 năm 1977, Ủy ban nhân dân  Thành phố ban hành Quyết định số 349/QĐ-UB-TC thành lập Ban Pháp chế thay thế Phòng Pháp chế. Chức năng, nhiệm vụ của Ban Pháp chế về cơ bản vẫn giữ nguyên như Phòng Pháp chế nhưng quy mô tổ chức, nhân sự lớn hơn. Ban Pháp chế đã góp phần tích cực vào sự nghiệp xây dựng Nhà nước pháp quyền ở thành phố ngay từ những ngày đầu, phục vụ đắc lực cho công tác trọng tâm của thành phố về cải tạo xã hội chủ nghĩa, bầu cử Quốc hội và HĐND các cấp, công tác xét xử của Tòa án. Thực hiện Thông tư số 08-TT ngày 06 tháng 01 năm 1982 của Bộ Tư pháp hướng dẫn chức năng, nhiệm vụ, quyền hạn và tổ chức của các cơ quan thuộc hệ thống tư pháp, ngày 27 tháng 3 năm 1982, Ủy ban nhân dân Thành phố ban hành Quyết định số 43/QĐ-UB thành lập Sở Tư pháp thành phố Hồ Chí Minh.