Cuối năm 1953, để chuẩn bị cho Chiến dịch Điện Biên Phủ, các chiến sĩ ta huy động một lượng lớn pháo lên đường, phối hợp đánh hiệp đồng bộ binh và pháo binh, quyết tâm giành thắng lợi trong chiến dịch quan trọng này. Suốt chặng đường hành quân anh Tô Vĩnh Diện luôn hăng hái nhận mọi việc nặng nhọc, động viên đồng đội đưa pháo đến nơi tập kết an toàn. Khi kéo pháo qua những chặng đường khó khăn gian khổ, đồng chí Tô Vĩnh Diện luôn xung phong lái pháo, dọc đường hành quân và lúc nghỉ ngơi đồng chí đều nhắc nhở và chủ động kiểm tra tỉ mỉ xe pháo, đường sá để tránh những nguy hiểm bất ngờ xảy ra.
Sau khi những khẩu pháo 105mm và 37mm được kéo vào chiếm lĩnh trận địa chờ thời cơ nổ súng, để đảm bảo cho chiến dịch Điện Biên Phủ được chắc thắng, Bộ Chỉ huy chiến dịch đã phải thay đổi phương án tác chiến từ “Đánh nhanh, thắng nhanh” sang phương án “Đánh chắc, tiến chắc”. Bộ đội ta được lệnh kéo pháo ra vị trí tập kết ban đầu để đảm bảo an toàn cho pháo. Trên đường kéo pháo ra, qua dốc Chuối, địa hình nơi đây vô cùng hiểm trở, đường hẹp cua cong gấp, lúc này đồng chí Tô Vĩnh Diện cùng đồng chí Ty lái pháo, các đồng chí khác dùng dây tời và gỗ chèn pháo. Đường dốc nguy hiểm, khẩu pháo nặng nhích dần từng cm. Quá trình di chuyển pháo hai lần dây tời bị đứt, khẩu pháo đang đà lao nhanh xuống vực. Đồng chí Ty lái pháo bị hất xuống suối. Tình thế lúc này ngàn cân treo sợi tóc, anh Tô Vĩnh Diện hô anh em “thà hy sinh quyết bảo vệ pháo” và ngay lập tức anh lao tới để cứu pháo, khẩu pháo khựng lại, nhưng hàng tấn sắt thép ấy đã đè lên người anh và anh đã hy sinh.
Ngày 01/02/1954, anh Tô Vĩnh Diện đã hi sinh tại rừng Pá Có, sườn phía tây Pha Sung, thuộc xã Nà Nhạn, huyện Điện Biên, tỉnh Điện Biên. Tấm gương hy sinh vô cùng anh dũng của đồng chí Tô Vĩnh Diện đã cổ vũ mạnh mẽ toàn đơn vị vươn lên hoàn thành tốt nhiệm vụ. Ngày 7/5/1955, Tô Vĩnh Diện được Chủ tịch nước Việt Nam Dân chủ Cộng hoà trao tặng Huân chương Quân công hạng Nhì, Huân chương chiến công hạng Nhất và được truy tặng danh hiệu Anh hùng lực lượng vũ trang nhân dân. Anh đã trở thành anh hùng Pháo cao xạ đầu tiên của quân đội ta ngã xuống trên mặt trận Điện Biên Phủ, sự hi sinh của anh đã đi vào lịch sử như một huyền thoại - quên mình cứu pháo.