Deep Neural Network Là Gì
Bài trước học về thuật toán thù logistic regression với giá trị áp ra output là nhị phân. Tuy nhiên, logistic regression là 1 trong những quy mô neural network đơn giản, bài này đã học tập quy mô neural network đầy đủ.
Bạn đang xem: Deep neural network là gì
Quý khách hàng buộc phải hoàn thành 2 bài xích trước linear regression cùng logistic regression trước lúc vào bài xích này. Trong bài bác này có nhiều kí hiệu cùng cách làm, đề xuất bạn nên chuẩn bị giấy cây bút nhằm bước đầu.
Neural network là gì
Con chó rất có thể tách biệt được người thân trong gia đình vào mái ấm gia đình cùng tín đồ lạ giỏi đứa tphải chăng có thể rõ ràng được những loài vật. Những việc tưởng như hết sức dễ dàng và đơn giản nhưng mà lại cực kỳ khó để thực hiện bằng máy tính xách tay. Vậy sự khác hoàn toàn nằm ở vị trí đâu? Câu trả lời nằm ở bộ não với lượng mập các nơ-ron thần kinh liên kết cùng nhau. Thế thì máy tính xách tay bao gồm bắt buộc tế bào phỏng lại mô hình ấy để giải các bài bác toán thù bên trên ???
Neural là tính từ bỏ của neuron (nơ-ron), network chỉ cấu trúc trang bị thị đề xuất neural network (NN) là 1 trong khối hệ thống tính toán lấy xúc cảm trường đoản cú sự buổi giao lưu của các nơ-ron trong hệ thần khiếp.
Hoạt rượu cồn của các nơ-ron
Để màn biểu diễn gọn lại ta vẫn gộp nhì bước bên trên thành một bên trên biểu đồ
Layer thứ nhất là đầu vào layer, các layer trọng điểm được Call là hidden layer, layer cuối cùng được hotline là output layer. Các hình trụ được Hotline là node.
Mỗi quy mô luôn có một đầu vào layer, 1 output layer, hoàn toàn có thể tất cả hoặc ko những hidden layer. Tổng số layer trong quy mô được quy ước là số layer – 1 (Không tính input layer).
Ví dụ nhỏng ngơi nghỉ hình bên trên có 1 đầu vào layer, 2 hidden layer cùng 1 output layer. Số lượng layer của quy mô là 3 layer.
Mỗi node trong hidden layer với output layer :
Liên kết với toàn bộ những node sinh hoạt layer trước đó với các hệ số w riêng rẽ.Mỗi node có một thông số bias b riêng.Diễn ra 2 bước: tính tổng linear cùng vận dụng activation function.Kí hiệu
Số node trong hidden layer sản phẩm công nghệ i là l^(i).
Ma trận W^(k) size l^(k-1) * l^(k) là ma trận thông số giữa layer (k-1) và layer k, trong những số ấy w_ij^(k) là hệ số liên kết tự node trang bị i của layer k-1 đến node sản phẩm j của layer k.
Vector b^(k) form size l^k * một là thông số bias của các node trong layer k, trong những số ấy b_i^(k) là bias của node sản phẩm i vào layer k.
Với node thiết bị i vào layer l tất cả bias b_i^(l)tiến hành 2 bước:
Tính tổng linear: z_i^(l) = sum_j=1^l^(l-1) a_j^(l-1) * w_ji^(l) + b_i^(l) , là tổng tất cả những node vào layer trước nhân cùng với hệ số w khớp ứng, rồi cùng cùng với bias b.Áp dụng activation function: a_i^(l) = sigma(z_i^(l))Vector z^(k) kích cỡ l^(k) * 1 là quý giá các node vào layer k sau bước tính tổng linear.
Vector a^(k) form size l^(k) * 1 là quý hiếm của các node vào layer k sau khi áp dụng hàm activation function.
Tương trường đoản cú ta có:
z^(2) = (W^(2))^T * a^(1) + b^(2) ewline a^(2) = sigma(z^(2)) ewline z^(3) = (W^(3))^T * a^(2) + b^(3) ewline haty = a^(3) = sigma(z^(3))
Do đó
Vậy là rất có thể tính giá tốt trị dự đoán của khá nhiều tài liệu 1 thời điểm dưới dạng ma trận.
Xem thêm: Quỹ Đầu Tư Mở Là Gì ? 5 Ưu Thế Vượt Trội Của Quỹ Đầu Tư Mở Quỹ Mở Là Gì
Giờ trường đoản cú input X ta hoàn toàn có thể tính giá tốt trị dự đoán hatY, mặc dù câu hỏi bao gồm cần làm là đi tìm thông số W và b. cũng có thể suy nghĩ tức thì cho tới thuật toán thù gradient descent và bài toán đặc biệt quan trọng duy nhất vào thuật toán thù gradient descent là đi tìm đạo hàm của các thông số đối với loss function. Và câu hỏi tính đạo hàm của những hệ số vào neural network được triển khai bởi vì thuật toán thù backpropagation, sẽ tiến hành reviews sinh sống bài sau. Và vày bài bác này còn có không ít công thức sợ đa số fan rối cần code sẽ được để tại bài xích sau.
Logistic regression cùng với toán tử XOR
Phần này không bắt buộc, nó giúp lý giải câu hỏi có rất nhiều layer hơn vậy thì quy mô có vẻ vẫn giải quyết và xử lý được các bài xích toán thù phức tạp rộng. Cụ thể là mô hình logistic regresion bài trước ko màn trình diễn được toán thù tử XOR dẫu vậy trường hợp thêm một hidden layer cùng với 2 node trọng tâm input layer cùng output layer thì có thể biểu diễn được tân oán tử XOR.
AND, OR, XOR là các phxay toán thù tiến hành phép tính trên bit. Thế bit là gì? bạn ko phải quyên tâm, chỉ cần biết mỗi bit dấn 1 trong 2 giá trị là 0 hoặc 1.
NOT
Phép tính NOT của một bit đã tạo ra quý hiếm ngược lại.
| A | NOT(A) |
| 1 | 0 |
| 0 | 1 |
AND
Phép tính AND của 2 bit mang lại giá trị 1 nếu như cả hai bit bằng 1 và cho quý hiếm bởi 0 trong số ngôi trường đúng theo sót lại. Bảng chân lý
| A | B | A AND B |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
Giờ mong muốn máy vi tính học toán thù tử AND, ta thấy là kết quả là 0 và 1, yêu cầu nghĩ về ngay mang lại logistic regression với dữ liệu
| x_1 | x_2 | y |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
OR
Phnghiền tính OR của 2 bit mang lại cực hiếm 1 ví như 1 trong các 2 bit bởi 1 và đến quý hiếm bởi 0 trong các trường phù hợp còn sót lại. Bảng chân lý
| A | B | A OR B |
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 1 |
Tương từ bỏ ta cũng tìm được w_0 = -0.5, w_1 = 1, w_2 = 1
Nhìn có vẻ như rối rò rỉ, thuộc so sánh nhé:
node NOT(x_1 AND x_2) chính là từ bỏ hình 2, với 3 mũi tên chỉ mang đến từ một, x_1, x_2 cùng với thông số w_0, w_1, w_2 khớp ứng là 1.5, -1, -1.node tính x_1 OR x_2 là tự hình 3 node vào output layer là phnghiền tính AND từ 2 node của layer trước, giá trị hệ số tự hình 1 có xuống.Xem thêm: Chuyển Tiền Bằng Bankdraft Là Gì ? Nghĩa Của Từ Bank Draft Trong Tiếng Việt
Nhận xét: mô hình logistic regression ko xử lý được bài bác tân oán XOR nhưng mà tế bào bản thân bắt đầu thì giải quyết và xử lý được bài toán thù XOR. Đâu là sự khác nhau:
Logistic regression chỉ gồm từ đầu vào layer cùng output layerMô hình mới có 1 hidden layer có 2 node trọng tâm input đầu vào layer và output layer=> Có vẻ càng các layer cùng node thì càng xử lý được những bài bác tân oán phức tạp hơn.
