Loss Landscape trong Deep Learning: Vì sao Gradient Descent thường gặp khó khăn?

Trong huấn luyện các mô hình học sâu (Deep Learning), đặc biệt là các mạng thần kinh nhiều tầng (DNN, Transformer, CNN), chúng ta phải tối ưu hàm mất mát (loss function) để mô hình học ra trọng số tốt nhất. Tuy nhiên, hành trình tối ưu này không hề bằng phẳng. Trên thực tế, “bề mặt loss” hay loss landscape rất phức tạp, chứa vô số điểm tối cục bộ (local minima) và điểm yên ngựa (saddle points), khiến các thuật toán dựa trên gradient như SGD, Adam đôi khi gặp nhiều khó khăn.

Bài viết này giải thích một cách trực quan về loss landscape và lý do vì sao việc tối ưu mô hình AI không hề đơn giản như ta nghĩ.

1. Loss Landscape là gì?

Loss landscape là “bản đồ địa hình” của hàm mất mát, nơi:

• Trục X, Y, Z, …: đại diện cho các tham số (weights) trong mạng
• Trục chiều cao (loss): biểu thị giá trị mất mát tương ứng

Với các mô hình lớn (hàng triệu–tỉ tham số), loss landscape trở thành một “địa hình nhiều chiều” cực kỳ phức tạp.

Đặc điểm quan trọng của loss landscape:

• Không lồi (convex) như trong các bài toán tuyến tính
• Chứa nhiều “thung lũng”, “đồi núi”, “vực sâu”
• Rất nhạy cảm với thay đổi nhỏ trong tham số
• Thường gồ ghề và không đều do các hàm kích hoạt phi tuyến như ReLU, GELU

Loss landscape càng phức tạp cho mô hình càng khó tối ưu.

2. Local Minima – trong tối ưu hóa

Local minima là điểm mà loss nhỏ hơn điểm xung quanh, nhưng không phải nhỏ nhất toàn bộ (global minimum).

Ví dụ:

• Gradient Descent “rơi xuống đáy”
• Nhưng đáy đó không phải điểm tốt nhất

Local minima gây vấn đề gì?

• Mô hình dừng học quá sớm
• Accuracy kém
• Không đạt hiệu suất kỳ vọng

Tuy nhiên, trong các mạng lớn hiện nay (ResNet, Transformer…), local minima không còn là vấn đề lớn nhất – vấn đề thực sự khó là saddle point.

3. Saddle Point – khiến optimizer dễ bị lừa

Saddle point là điểm mà:

• Theo một hướng giống cực tiểu
• Theo hướng khác giống cực đại
• Gradient = 0

Điều nguy hiểm:

Gradient bằng 0 mô hình tưởng là tối ưu dừng lại.

Nhưng thực tế:

Đó chỉ là “điểm cân bằng không ổn định”, giống như yên ngựa.

Đây là loại “bẫy” nhiều nhất trong mô hình deep learning, khiến việc tối ưu chậm và dễ bị lạc hướng.

4. Vì sao Gradient Descent gặp khó khăn trong landscape phức tạp?

Các thuật toán tối ưu dựa trên gradient như:

• SGD
• SGD + Momentum
• Adam
• RMSProp

đều có chung đặc điểm: Đi xuống theo hướng dốc nhất.

Trong landscape phức tạp, điều này gây ra các vấn đề:

– Gradient gần bằng 0 ở saddle point mô hình đứng im

– Landscape gồ ghề mô hình dao động mạnh hội tụ chậm

– Dễ rơi vào local minima

– Learning rate khó điều chỉnh dễ overshoot hoặc stuck

– Tại sao Deep Learning vẫn hoạt động cực tốt?

Dù có rất nhiều bẫy, nhưng deep learning vẫn thành công nhờ:

Số chiều tham số rất lớn

– Local minima “xấu” hiếm gặp
– Nhiều local minima tốt gần bằng global minima

Stochastic Gradient Descent (SGD) thêm nhiễu ngẫu nhiên

– giúp thoát khỏi vùng xấu

Momentum, Adam giúp vượt qua vùng phẳng

– không bị kẹt ở saddle point

Kiến trúc hiện đại như ResNet, LayerNorm, BatchNorm

– làm landscape “mượt” hơn, dễ tối ưu hơn

Các kỹ thuật giúp vượt qua Local Minima & Saddle Points

Kết luận

Loss landscape trong deep learning rất phức tạp, chứa nhiều local minima và đặc biệt là saddle point, khiến các thuật toán tối ưu dựa trên gradient gặp nhiều khó khăn.

Tuy nhiên, nhờ kích thước tham số lớn, kỹ thuật chuẩn hóa, kiến trúc thông minh và các optimizer hiện đại, deep learning vẫn có thể huấn luyện thành công và đạt hiệu suất cao.

Hiểu được loss landscape giúp bạn:

• chọn optimizer tốt hơn
• điều chỉnh learning rate hợp lý
• thiết kế mô hình dễ tối ưu hơn
• tránh bị “mắc kẹt” khi training