DEEP NEURAL NETWORK LÀ GÌ

Bài trước học về thuật toán logistic regression với giá trị đầu ra là nhị phân. Tuy nhiên, logistic regression là một mô hình neural network đơn giản, bài này sẽ học mô hình neural network đầy đủ.

Bạn đang xem: Deep neural network là gì

Bạn nên hoàn thành 2 bài trước linear regression và logistic regression trước khi vào bài này. Trong bài này có khá nhiều kí hiệu và công thức, nên bạn nên chuẩn bị giấy bút để bắt đầu.

Neural network là gì

Con chó có thể phân biệt được người thân trong gia đình và người lạ hay đứa trẻ có thể phân biệt được các con vật. Những việc tưởng chừng như rất đơn giản nhưng lại cực kì khó để thực hiện bằng máy tính. Vậy sự khác biệt nằm ở đâu? Câu trả lời nằm ở bộ não với lượng lớn các nơ-ron thần kinh liên kết với nhau. Thế thì máy tính có nên mô phỏng lại mô hình ấy để giải các bài toán trên ???

Neural là tính từ của neuron (nơ-ron), network chỉ cấu trúc đồ thị nên neural network (NN) là một hệ thống tính toán lấy cảm hứng từ sự hoạt động của các nơ-ron trong hệ thần kinh.

Hoạt động của các nơ-ron

Để biểu diễn gọn lại ta sẽ gộp hai bước trên thành một trên biểu đồ

Mô hình neural network

Layer đầu tiên là input layer, các layer ở giữa được gọi là hidden layer, layer cuối cùng được gọi là output layer. Các hình tròn được gọi là node.

Mỗi mô hình luôn có 1 input layer, 1 output layer, có thể có hoặc không các hidden layer. Tổng số layer trong mô hình được quy ước là số layer – 1 (Không tính input layer).

Ví dụ như ở hình trên có 1 input layer, 2 hidden layer và 1 output layer. Số lượng layer của mô hình là 3 layer.

Mỗi node trong hidden layer và output layer :

Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng.Mỗi node có 1 hệ số bias b riêng.Diễn ra 2 bước: tính tổng linear và áp dụng activation function.

Kí hiệu

Số node trong hidden layer thứ i là l^{(i)}.

Ma trận W^{(k)} kích thước l^{(k-1)} * l^{(k)} là ma trận hệ số giữa layer (k-1) và layer k, trong đó w_{ij}^{(k)} là hệ số kết nối từ node thứ i của layer k-1 đến node thứ j của layer k.

Vector b^{(k)} kích thước l^{k} * 1 là hệ số bias của các node trong layer k, trong đó b_i^{(k)} là bias của node thứ i trong layer k.

Với node thứ i trong layer l có bias b_i^{(l)}thực hiện 2 bước:

Tính tổng linear: z_i^{(l)} = \sum_{j=1}^{l^{(l-1)}} a_j^{(l-1)} * w_{ji}^{(l)} + b_i^{(l)} , là tổng tất cả các node trong layer trước nhân với hệ số w tương ứng, rồi cộng với bias b.Áp dụng activation function: a_i^{(l)} = \sigma(z_i^{(l)})

Vector z^{(k)} kích thước l^{(k)} * 1 là giá trị các node trong layer k sau bước tính tổng linear.

Vector a^{(k)} kích thước l^{(k)} * 1 là giá trị của các node trong layer k sau khi áp dụng hàm activation function.

Tương tự ta có:

z^{(2)} = (W^{(2)})^T * a^{(1)} + b^{(2)}\newline a^{(2)} = \sigma(z^{(2)}) \newline z^{(3)} = (W^{(3)})^T * a^{(2)} + b^{(3)}\newline \hat{y} = a^{(3)} = \sigma(z^{(3)})

Do đó

Vậy là có thể tính được giá trị dự đoán của nhiều dữ liệu 1 lúc dưới dạng ma trận.

Xem thêm: Quỹ Đầu Tư Mở Là Gì ? 5 Ưu Thế Vượt Trội Của Quỹ Đầu Tư Mở Quỹ Mở Là Gì

Giờ từ input X ta có thể tính được giá trị dự đoán \hat{Y}, tuy nhiên việc chính cần làm là đi tìm hệ số W và b. Có thể nghĩ ngay tới thuật toán gradient descent và việc quan trọng nhất trong thuật toán gradient descent là đi tìm đạo hàm của các hệ số đối với loss function. Và việc tính đạo hàm của các hệ số trong neural network được thực hiện bởi thuật toán backpropagation, sẽ được giới thiệu ở bài sau. Và vì bài này có quá nhiều công thức sợ mọi người rối nên code sẽ được để ở bài sau.

Logistic regression với toán tử XOR

Phần này không bắt buộc, nó giúp giải thích việc có nhiều layer hơn thì mô hình có vẻ sẽ giải quyết được các bài toán phức tạp hơn. Cụ thể là mô hình logistic regresion bài trước không biểu diễn được toán tử XOR nhưng nếu thêm 1 hidden layer với 2 node ở giữa input layer và output layer thì có thể biểu diễn được toán tử XOR.

AND, OR, XOR là các phép toán thực hiện phép tính trên bit. Thế bit là gì? bạn không cần quan tâm, chỉ cần biết mỗi bit nhận 1 trong 2 giá trị là 0 hoặc 1.

NOT

Phép tính NOT của 1 bit cho ra giá trị ngược lại.

A	NOT(A)
1	0
0	1

AND

Phép tính AND của 2 bit cho giá trị 1 nếu cả 2 bit bằng 1 và cho giá trị bằng 0 trong các trường hợp còn lại. Bảng chân lý

A	B	A AND B
0	0	0
0	1	0
1	0	0
1	1	1

Giờ muốn máy tính học toán tử AND, ta thấy là kết quả là 0 và 1, nên nghĩ ngay đến logistic regression với dữ liệu

x_1	x_2	y
0	0	0
0	1	0
1	0	0
1	1	1

Hình 1: x_1 AND x_2
Hình 2: NOT (x_1 AND x_2)

OR

Phép tính OR của 2 bit cho giá trị 1 nếu 1 trong 2 bit bằng 1 và cho giá trị bằng 0 trong các trường hợp còn lại. Bảng chân lý

A	B	A OR B
0	0	0
0	1	1
1	0	1
1	1	1

Tương tự ta cũng tìm được w_0 = -0.5, w_1 = 1, w_2 = 1

Mô hình XOR

Nhìn có vẻ rối nhỉ, cùng phân tích nhé:

node NOT(x_1 AND x_2) chính là từ hình 2, với 3 mũi tên chỉ đến từ 1, x_1, x_2 với hệ số w_0, w_1, w_2 tương ứng là 1.5, -1, -1.node tính x_1 OR x_2 là từ hình 3 node trong output layer là phép tính AND từ 2 node của layer trước, giá trị hệ số từ hình 1 mang xuống.

Xem thêm: Chuyển Tiền Bằng Bankdraft Là Gì ? Nghĩa Của Từ Bank Draft Trong Tiếng Việt

Nhận xét: mô hình logistic regression không giải quyết được bài toán XOR nhưng mô mình mới thì giải quyết được bài toán XOR. Đâu là sự khác nhau:

Logistic regression chỉ có từ input layer và output layerMô hình mới có 1 hidden layer có 2 node ở giữa input layer và output layer

=> Có vẻ càng nhiều layer và node thì càng giải quyết được các bài toán phức tạp hơn.