Bài 60.630 phút đọc

Level 6: Máy chủ HTTP nhỏ

Sau bài này bạn sẽ làm được

Phân tích yêu cầu HTTP: phương thức, đường dẫn, tiêu đề
Phục vụ tệp tĩnh với đúng Content-Type và mã trạng thái
Chống duyệt đường dẫn một cách bắt buộc
Kiểm thử bằng trình duyệt thật và công cụ đo tải

Máy chủ HTTP nhỏ là dự án đầu tiên nói giao thức của một hệ thống thật: bạn phân tích một yêu cầu HTTP, tìm tệp, và trả lời đúng chuẩn để trình duyệt thật hiển thị được. Nó ghép Phần 16, 17, và bài học bảo mật của Phần 20.

#Mục tiêu

terminal

curl -i http://localhost:8080/index.html

HTTP/1.1 200 OK
Content-Type: text/html
Content-Length: 137
Connection: keep-alive

<!doctype html><html>...

Chức năng	Kỹ thuật	Bài
Nhận kết nối, đọc yêu cầu	socket, accept, recv	46.3, 46.6
Phân tích HTTP	Tách dòng, phân cách bằng CRLF	46.5
Phục vụ tệp tĩnh	open, đọc, gửi kèm Content-Type	Chương 41
Đồng thời	epoll hoặc bể luồng	46.8, 46.9
Chống duyệt đường dẫn	realpath, kiểm tra tiền tố	59.3
Ghi log	Common Log Format	56.4

#Phân tích HTTP

Cấu trúc một yêu cầu HTTP

GET /index.html HTTP/1.1\r\n          <- dong yeu cau: phuong thuc, duong dan, phien ban
Host: localhost:8080\r\n            <- cac dong tieu de
User-Agent: curl/7.68\r\n
Accept: */*\r\n
\r\n                                 <- DONG RONG: het tieu de
(than, neu la POST)

/* Ba phan tach nhau ro rang:
   1. Dong yeu cau: mot dong, ba truong cach nhau bang dau cach.
   2. Tieu de: nhieu dong "Ten: Gia tri", toi khi gap DONG RONG.
   3. Than: co Content-Length byte, chi POST/PUT co.

   HTTP dung CA HAI cach danh ranh gioi cua Bai 46.5:
     - tieu de: phan cach bang dong (doc toi dong rong)
     - than: tien to do dai (Content-Length noi bao nhieu byte) */

Đọc tới dòng trống
Đọc vào bộ đệm tích luỹ cho tới khi gặp \r\n\r\n. Đó là ranh giới hết phần tiêu đề. Đừng giả định cả yêu cầu tới trong một lần recv.
Tách dòng yêu cầu
Ba trường: phương thức (GET), đường dẫn (/index.html), phiên bản (HTTP/1.1).
Đọc các tiêu đề
Mỗi dòng Ten: Gia tri. Lấy Content-Length nếu có để biết độ dài thân.
Đọc thân theo Content-Length
Với POST, đọc đúng số byte mà Content-Lengthnói, không đọc "cho tới khi đóng".

Đừng đọc tới khi đóng kết nối cho HTTP keep-alive

/* SAI: doc toi khi ket noi dong */
while ((n = recv(fd, buf, sizeof buf, 0)) > 0) tich_luy(buf, n);
/* Voi HTTP/1.1 keep-alive, ket noi KHONG dong sau mot yeu cau.
   Vong lap nay cho MAI MAI yeu cau tiep theo. */

/* DUNG: doc DUNG mot yeu cau
   - doc toi \r\n\r\n cho phan tieu de
   - roi doc DUNG Content-Length byte cho than
   - roi xu ly, tra loi, va QUAY LAI doc yeu cau tiep theo
     tren CUNG ket noi (do la y nghia cua keep-alive)

   Do la ly do phan tich HTTP phai theo dung ranh gioi, khong
   dua vao viec ket noi dong. Xem Bai 46.5. */

#Phục vụ tệp tĩnh

Đuôi tệp	Content-Type
.html	text/html
.css	text/css
.js	application/javascript
.png	image/png
.jpg	image/jpeg
.json	application/json
khác	application/octet-stream

Dòng trạng thái và tiêu đề tối thiểu

/* Tra loi thanh cong: */
HTTP/1.1 200 OK\r\n
Content-Type: text/html\r\n
Content-Length: 137\r\n            <- BAT BUOC dung, so byte cua than
Connection: keep-alive\r\n
\r\n
<than tep>

/* Cac ma trang thai phai co: */

Mã	Khi nào	Lý do
200	Tệp tồn tại, đọc được	OK
301	Thư mục không có dấu / cuối	Chuyển hướng thêm dấu /
400	Yêu cầu sai cú pháp	Bad Request
403	Tệp tồn tại nhưng không có quyền đọc	Forbidden
404	Tệp không tồn tại	Not Found
405	Phương thức không hỗ trợ	Method Not Allowed
500	Lỗi bên trong server	Internal Server Error

Content-Length phải chính xác, nếu không trình duyệt treo

Content-Length: 137

/* Con so nay phai BANG DUNG so byte cua than.

   Neu ban khai it hon so byte that: trinh duyet doc du 137 byte
   roi tuong het, phan con lai bi hieu la yeu cau TIEP THEO
   -> loi kho hieu.

   Neu ban khai nhieu hon: trinh duyet cho phan con lai KHONG
   BAO GIO toi -> trang tai mai mai, roi het gio.

   Voi keep-alive, Content-Length la cach DUY NHAT trinh duyet
   biet mot phan hoi ket thuc o dau. Sai mot byte la hong.
   Do la tien to do dai cua Bai 46.6, ap dung cho HTTP. */

#Chống duyệt đường dẫn

Yêu cầu bắt buộc, và là lỗ hổng nghiêm trọng nhất

GET /../../etc/passwd HTTP/1.1

/* Neu ban ghep thang duong dan yeu cau vao thu muc goc:
     "/var/www" + "/../../etc/passwd" = "/etc/passwd"
   ke tan cong doc duoc BAT KY tep nao server co quyen doc.

   Do la lo hong DUYET DUONG DAN (path traversal), va no la mot
   trong nhung lo hong web pho bien nhat lich su.

   Chua KHONG du bang cach cam chuoi "..":
     - ma hoa URL: %2e%2e%2f la ../ sau khi giai ma
     - ma hoa hai lan, lien ket tuong trung...
   Xem Bai 59.3 ve vi sao danh sach den that bai.

   Chua DUNG:
     1. Giai ma URL TRUOC.
     2. Ghep vao thu muc goc.
     3. realpath() de chuan hoa (giai .. va lien ket).
     4. Kiem tra ket qua VAN nam trong thu muc goc. */

char thuc[PATH_MAX];
if (realpath(ghep, thuc) == NULL) return tra_404();
char goc_thuc[PATH_MAX];
realpath(THU_MUC_GOC, goc_thuc);
size_t len = strlen(goc_thuc);
if (strncmp(thuc, goc_thuc, len) != 0 ||
    (thuc[len] != '/' && thuc[len] != '\0')) {
    return tra_403();               /* da thoat ra ngoai goc */
}

Ghép thẳng

char duong_dan[512]; snprintf(duong_dan, sizeof duong_dan, "%s%s", THU_MUC_GOC, path); FILE *t = fopen(duong_dan, "rb"); /* path = "/../../etc/passwd" -> doc /etc/passwd */

Chuẩn hoá rồi kiểm tra

char ghep[PATH_MAX], thuc[PATH_MAX]; snprintf(ghep, sizeof ghep, "%s%s", THU_MUC_GOC, giai_ma_url(path)); if (!realpath(ghep, thuc)) return tra_404(); if (!nam_trong_goc(thuc)) return tra_403(); FILE *t = fopen(thuc, "rb"); /* Da chuan hoa va kiem tra: khong the thoat ra ngoai goc. */

#Yêu cầu

Tự làm thử

Phân tích yêu cầu HTTP/1.1: phương thức, đường dẫn, phiên bản, tiêu đề, thân.
Phục vụ tệp tĩnh với đúng Content-Type.
Mã trạng thái 200, 301, 400, 403, 404, 405, 500.
Keep-Alive và Content-Length đúng chuẩn.
Liệt kê thư mục khi truy cập một thư mục.
Chống duyệt đường dẫn, bắt buộc.
Ghi log dạng Common Log Format.
Xử lý đồng thời bằng epoll hoặc bể luồng.
Tệp cấu hình: cổng, thư mục gốc, tệp mặc định.
Kiểm thử bằng trình duyệt thật, curl, và ab -n 10000 -c 100.

Trình chấm điểm tự động sẽ được bổ sung ở giai đoạn sau. Hiện tại bạn tự chạy thử trên máy.

Tóm tắt

Máy chủ HTTP là dự án đầu tiên kiểm thử bằng trình duyệt thật, curl, và ab.
HTTP dùng cả hai cách đánh ranh giới: tiêu đề phân cách bằng dòng, thân bằng Content-Length.
Content-Length phải chính xác từng byte, nếu không trình duyệt treo với keep-alive.
Chống duyệt đường dẫn là bắt buộc: chuẩn hoá bằng realpath rồi kiểm tra tiền tố, không cấm chuỗi ...
Xong khi trình duyệt hiển thị đúng, ab chạy sạch, và /../../etc/passwd trả 403.