Thực hiện Chỉ thị của lãnh tụ Hồ Chí Minh, ngày 22/12/1944, tại khu rừng Trần Hưng Đạo (nay thuộc xã Tam Kim, huyện Nguyên Bình, tỉnh Cao Bằng), lễ thành lập Đội Việt Nam Tuyên truyền Giải phóng quân đã được tiến hành. Đội gồm 34 chiến sĩ, biên chế thành 3 tiểu đội, do đồng chí Hoàng Sâm làm Đội trưởng. Chủ tịch Hồ Chí Minh chỉ thị, Đội xây dựng kế hoạch tổ chức một trận đánh để “gây tin tưởng cho các chiến sĩ và gây truyền thống hành động tích cực, nhanh chóng cho bộ đội”.

Do tầm quan trọng của trận đánh đầu tiên, dưới sự chủ trì của đồng chí Võ Nguyên Giáp, Ban Chỉ huy Đội đã bắt tay vào nghiên cứu hàng loạt vấn đề, mà quan trọng nhất là đánh vào đâu và đánh như thế nào để với một lực lượng nhỏ lại có thể giành được thắng lợi to lớn về chính trị và quân sự mà ta ít bị tổn thất về người và vũ khí. Nếu trận đánh giành thắng lợi sẽ tác động rất lớn đến tinh thần các đội viên, thúc đẩy phong trào cách mạng trong vùng tiến lên. Còn nếu bị thất bại, ảnh hưởng tiêu cực sẽ là khôn lường về nhiều mặt. Vì Đội vừa thành lập chưa lâu, chưa trải qua huấn luyện nhiều, vũ khí thô sơ, cũ kỹ, cơ số đạn lại ít, cho nên trận đánh đầu tiên còn phải bảo đảm yêu cầu thu được càng nhiều vũ khí càng tốt và hạn chế tổn thất.

Với sự nhạy cảm chính trị, tư duy quân sự sắc sảo, Đội trưởng Hoàng Sâm đã đóng góp nhiều ý kiến cho đồng chí Võ Nguyên Giáp và Ban chỉ huy Đội, góp phần lựa chọn mục tiêu chính xác và sử dụng chiến thuật phù hợp để bảo đảm giành thắng lợi trong trận đánh mở đầu vào hai đồn Phai Khắt (25/12/1944), Nà Ngần (26/12/1944).

Dưới sự chỉ huy của Đội trưởng Hoàng Sâm, Đội Việt Nam Tuyên truyền Giải phóng quân đã vận dụng linh hoạt chiến thuật hoá trang kỳ tập (tập kích), một cách đánh không đòi hỏi nhiều về lực lượng và vũ khí vốn là những điểm yếu của Đội khi mới được thành lập, song hiệu quả chiến đấu lại rất cao. Với hai trận đánh đầu tiên vào đồn Phai Khắt và Nà Ngần giành thắng lợi, ngoài việc tiêu diệt và bắt toàn bộ quân địch trong đồn, Đội còn thu được nhiều vũ khí, quân trang. Thành công vang dội của hai trận đánh đều có dấu ấn của Đội trưởng Hoàng Sâm trong chỉ đạo tác chiến - Người đã thực hiện thành công chiến thuật được Chủ tịch Hồ Chí Minh đưa ra trong Chỉ thị thành lập Đội Việt Nam Tuyên truyền Giải phóng quân, đó là “Vận dụng lối đánh du kích, bí mật, nhanh chóng, tích cực, nay Đông mai Tây, lai vô ảnh, khứ vô tung”.

Trong trận đánh Đồng Mu (ngày 4-5/2/1945), Đội chưa thực hiện được mục đích tiêu diệt toàn bộ quân địch như kế hoạch đề ra và lần đầu tiên có đồng đội hy sinh. Trên cương vị là người chỉ huy, Đội trưởng Hoàng Sâm nghiêm túc nhận trách nhiệm về mình đồng thời nhấn mạnh: “Trong cuộc chiến đấu dài lâu, tất nhiên phải có lúc thành, lúc bại, qua trận đánh này chúng ta đã rút được nhiều kinh nghiệm để sau này chiến thắng lớn hơn”.

Từ “đốm lửa nhỏ” ở khu rừng Trần Hưng Đạo, dưới sự chỉ huy của Đội trưởng Hoàng Sâm, Đội Việt Nam Tuyên truyền giải phóng quân đã phát triển nhanh chóng thành những đơn vị Giải phóng quân hùng mạnh, đóng vai trò hỗ trợ, bảo vệ, là chỗ dựa vững chắc cho lực lượng chính trị quần chúng nổi dậy giành chính quyền trong Tổng khởi nghĩa Tháng Tám năm 1945, kiến lập nên Nhà nước Việt Nam dân chủ cộng hòa - Nhà nước Dân chủ nhân dân đầu tiên ở Đông Nam Á, tạo bước ngoặt vĩ đại, đưa dân tộc Việt Nam vào thời đại mới - thời đại Hồ Chí Minh.

Tiếp tục thực hiện phương châm “Giúp nhân dân nước bạn tức là mình tự giúp mình”, những năm 1961-1962, trên cương vị là Phó Đoàn trưởng Đoàn Chuyên gia quân sự 959 tại Lào, Thiếu tướng Hoàng Sâm đã sát cánh cùng cách mạng Lào trong các hoạt động xây dựng căn cứ địa, phát triển lực lượng vũ trang, tổ chức các đợt hoạt động quân sự nhằm tiêu diệt sinh lực địch, chặn đứng âm mưu lấn chiếm của địch và củng cố vùng giải phóng. Trong đó nổi bật là, hoạt động phối hợp của liên quân Việt - Lào đánh bại cuộc tiến công của quân ngụy Lào vào các vùng giải phóng từ Bắc Lào đến Nam Lào (1961), tiến lên giành thắng lợi trong chiến dịch giải phóng Nậm Thà (1962), tạo thuận lợi cho việc ký kết Hiệp định Giơnenơ năm 1962 về Lào.

Trong suốt những năm tháng sát cánh cùng cách mạng Lào, Thiếu tướng Hoàng Sâm đã phát huy tài năng quân sự, kinh nghiệm chỉ huy chiến đấu, để lại dấu ấn sâu sắc trong lòng lãnh đạo và quân dân nước bạn Lào, góp phần tô thắm, vun đắp tình đoàn kết đặc biệt, liên minh chiến đấu Việt - Lào.