Phương pháp bình phương tối thiểu là gì? Xem xong 5 phút hiểu luôn.

Định nghĩa phương pháp bình phương tối thiểu

Phương pháp bình phương nhỏ nhất là một phương pháp thống kê quan trọng được thực hành để tìm đường hồi quy hoặc đường phù hợp nhất cho mẫu đã cho. Phương pháp này được mô tả bằng một phương trình với các tham số cụ thể. Phương pháp bình phương nhỏ nhất được sử dụng rộng rãi trong đánh giá và hồi quy. Trong phân tích hồi quy, phương pháp này được cho là một cách tiếp cận tiêu chuẩn để tính gần đúng các bộ phương trình có nhiều phương trình hơn số ẩn số.

Phương pháp bình phương nhỏ nhất thực sự xác định lời giải cho việc tối thiểu hóa tổng bình phương độ lệch hoặc sai số trong kết quả của mỗi phương trình. Tìm công thức tổng bình phương sai số , giúp tìm ra sự thay đổi trong dữ liệu quan sát được.

Phương pháp bình phương nhỏ nhất thường được áp dụng trong điều chỉnh dữ liệu. Kết quả phù hợp nhất được giả định để giảm tổng sai số hoặc phần dư bình phương được nêu là sự khác biệt giữa giá trị quan sát hoặc giá trị thực nghiệm và giá trị phù hợp tương ứng được đưa ra trong mô hình.

Có hai loại bài toán bình phương nhỏ nhất cơ bản:

• Bình phương bình thường hoặc bình phương tuyến tính nhỏ nhất
• Hình vuông nhỏ nhất phi tuyến tính

Những điều này phụ thuộc vào độ tuyến tính hoặc phi tuyến tính của các phần dư. Các bài toán tuyến tính thường thấy trong phân tích hồi quy trong thống kê. Mặt khác, các bài toán phi tuyến tính thường được sử dụng trong phương pháp tinh chỉnh lặp lại, trong đó mô hình được gần đúng với mô hình tuyến tính với mỗi lần lặp.

Đồ thị phương pháp vuông nhỏ nhất

Trong hồi quy tuyến tính, đường phù hợp nhất là một đường thẳng như thể hiện trong sơ đồ sau:

Các điểm dữ liệu đã cho phải được tối thiểu hóa bằng phương pháp giảm phần dư hoặc hiệu số của mỗi điểm so với đường thẳng. Độ lệch thẳng đứng thường được sử dụng trong các bài toán bề mặt, đa thức và siêu phẳng, trong khi độ lệch vuông góc được sử dụng trong thực tế phổ biến.

Công thức Phương pháp Bình phương Ít nhất

Phương pháp bình phương nhỏ nhất nói rằng đường cong phù hợp nhất với một tập hợp quan sát nhất định, được cho là đường cong có tổng bình phương tối thiểu (hoặc độ lệch hoặc sai số) từ các điểm dữ liệu đã cho. Giả sử rằng các điểm dữ liệu đã cho là (x ₁ , y ₁ ), (x ₂ , y ₂ ), (x ₃ , y ₃ ),…, (x _n , y _n ) trong đó tất cả x là các biến độc lập , trong khi tất cả các y đều phụ thuộc

Bây giờ, chúng ta có thể viết:

d ₁ = y ₁ – f (x ₁ )

d ₂ = y ₂ – f (x ₂ )

d ₃ = y ₃ – f (x ₃ )

… ..

d _n = y _n – f (x _n )

Các bình phương nhỏ nhất giải thích rằng đường cong phù hợp nhất được biểu thị bằng thuộc tính rằng tổng bình phương của tất cả các độ lệch so với các giá trị đã cho phải là nhỏ nhất, tức là:

Tổng = Số lượng tối thiểu

Giả sử khi chúng ta phải xác định phương trình của đường phù hợp nhất với dữ liệu đã cho, thì trước tiên chúng ta sử dụng công thức sau.

Phương trình của đường vuông góc nhỏ nhất được cho bởi Y = a + bX

Phương trình bình thường cho ‘a’:

∑Y = na + b∑X

Phương trình bình thường cho ‘b’:

∑XY = a∑X + b∑X ²

Giải hai phương trình bình thường này chúng ta có thể nhận được phương trình đường xu hướng cần thiết.

Do đó, chúng ta có thể nhận được dòng phù hợp nhất với công thức y = ax + b

Ví dụ đã giải quyết

Mô hình Bình phương Tối thiểu cho tập dữ liệu (x ₁ , y ₁ ), (x ₂ , y ₂ ), (x ₃ , y ₃ ),…, (x _n , y _n )  đi qua điểm (x _a , y _a ) trong đó x _a là giá trị trung bình của x _i và y _a là giá trị trung bình của y _i . Ví dụ dưới đây giải thích cách tìm phương trình của một đường thẳng hoặc một đường thẳng nhỏ nhất bằng phương pháp bình phương nhỏ nhất.

Câu hỏi: 

Hãy xem xét dữ liệu chuỗi thời gian được cung cấp bên dưới:

Sử dụng phương pháp bình phương nhỏ nhất để xác định phương trình đường phù hợp nhất với dữ liệu. Sau đó vẽ đường thẳng.

Giải pháp:

Giá trị trung bình của x _i = (8 + 3 + 2 + 10 + 11 + 3 + 6 + 5 + 6 + 8) / 10 = 62/10 = 6,2

Giá trị trung bình của y _i = (4 + 12 + 1 + 12 + 9 + 4 + 9 + 6 + 1 + 14) / 10 = 72/10 = 7.2

Phương trình đường thẳng là y = a + bx.

Các phương trình bình thường là

∑y = an + b∑x

∑xy = a∑x + b∑x ²

Thay thế các giá trị này trong các phương trình thông thường,

10a + 62b = 72…. (1)

62a + 468b = 503…. (2)

(1) × 62 – (2) × 10,

620a + 3844b – (620a + 4680b) = 4464 – 5030

-836b = -566

b = 566/836

b = 283/418

b = 0,677

Thay b = 0,677 trong phương trình (1),

10a + 62 (0,677) = 72

10a + 41,974 = 72

10a = 72 – 41,974

10a = 30.026

a = 30.026 / 10

a = 3,0026

Do đó, phương trình trở thành,

y = a + bx

y = 3,0026 + 0,677x

Đây là phương trình đường xu hướng bắt buộc.

Bây giờ, chúng ta có thể tìm tổng bình phương độ lệch từ các giá trị thu được là:

d ₁ = [4 – (3,0026 + 0,677 * 8)] = (-4,4186)

d ₂ = [12 – (3,0026 + 0,677 * 3)] = (6,9664)

d ₃ = [1 – (3,0026 + 0,677 * 2)] = (-3,3566)

d ₄ = [12 – (3,0026 + 0,677 * 10)] = (2,2274)

d ₅ = [9 – (3.0026 + 0.677 * 11)] = (- 1.4496)

d ₆   = [4 – (3,0026 + 0,677 * 3)] = (-1,0336)

d ₇ = [9 – (3.0026 + 0.677 * 6)] = (1.9354)

d ₈ = [6 – (3,0026 + 0,677 * 5)] = (-0,3876)

d ₉ = [1 – (3,0026 + 0,677 * 6)] = (-6,0646)

d ₁₀ = [14 – (3,0026 + 0,677 * 8)] = (5,5814)

Σd ²  = (-4,4186) ²  + (6,9664) ²  + (-3,3566) ²  + (2,2274) ²  + (-1,4496) ²  + (-1,0336) ²  + (1,9354) ²  + (-0,3876) ²  + ( -6.0646) ²  + (5.5814) ²  = 159.27990

Hạn chế đối với phương pháp Least-Square

Phương pháp bình phương nhỏ nhất là một phương pháp phù hợp đường cong rất có lợi. Mặc dù có nhiều lợi ích nhưng nó cũng có một số khuyết điểm. Một trong những hạn chế chính được thảo luận ở đây.

Trong quá trình phân tích hồi quy, sử dụng phương pháp bình phương nhỏ nhất để điều chỉnh đường cong, chắc chắn giả định rằng sai số trong biến độc lập là không đáng kể hoặc bằng không. Trong những trường hợp như vậy, khi sai số biến độc lập không đáng kể, các mô hình phải chịu sai số đo lường. Do đó, ở đây, phương pháp bình phương nhỏ nhất thậm chí có thể dẫn đến kiểm định giả thuyết, trong đó các ước lượng tham số và khoảng tin cậy được xem xét do sự hiện diện của sai số xảy ra trong các biến độc lập.