Transfer Learning là gì?

Trong weblog này, chúng ta sẽ nghiên cứu Switch Studying. Vì khái niệm Switch Studying này liên quan đến Deep Studying và CNN. Chúng tôi sẽ cố gắng nói 1 cách ngắn gọn nhất về loại studying này.

Có thể bạn quan tâm

Các bài viết liên quan:

Bạn đang xem: Transfer Learning là gì?

Cách học Machine Studying hiệu quả- 7 bước học Machine studying
Machine Studying trong search engine optimization -kỹ thuật tương lai 2021
11 phần mềm machine studying hàng đầu
Machine studying Classification trong Knowledge science
Các bước xây dựng mô hình Machine studying

Mục Lục

Giới thiệu về Switch Studying

Có thể nói switch Studying là một phương pháp Machine studying. Trong đó, một mô hình được phát triển cho một nhiệm vụ được sử dụng lại làm điểm bắt đầu cho một mô hình cho nhiệm vụ thứ hai.

Switch Studying là cách tiếp cận phổ biến nhất trong Deep Studying. Trong điều này, chúng ta sử dụng các Pre-Educated Mannequin làm điểm khởi đầu về thị giác máy tính. Ngoài ra, các tác vụ xử lý ngôn ngữ tự nhiên với nguồn thời gian và máy tính khổng lồ. Mặc dù vậy, chúng ta cần phát triển các mô hình mạng nơ-ron.

Vì việc Switch Studying liên quan đến nhiều vấn đề. Chẳng hạn như học tập đa nhiệm vụ và trôi dạt khái niệm. Mặc dù nó không chỉ là một lĩnh vực nghiên cứu dành riêng cho Deep Studying.

Pre-Educated Mannequin là gì?

Để giải quyết một vấn đề, chúng ta cần có một Pre-Educated Mannequin về vấn đề tương tự. Thay vì xây dựng một mô hình từ đầu để giải quyết một vấn đề tương tự, chúng ta sử dụng mô hình được đào tạo về vấn đề khác làm điểm khởi đầu.

Làm thế nào tôi có thể sử dụng Pre-Educated Mannequin?

Vì có một mục tiêu được xác định trước để sử dụng một Pre-Educated Mannequin. Ngoài ra, khái niệm studying switch đóng một vai trò quan trọng trong một Pre-Educated Mannequin.

Trong khi chọn một Pre-Educated Mannequin, người ta nên cẩn thận trong trường hợp của họ. Nếu câu lệnh mà chúng ta có trong tay rất khác với câu mà Pre-Educated Mannequin đã được đào tạo – thì dự đoán mà chúng ta nhận được sẽ rất không chính xác.

Vì đã có nhiều kiến trúc được đào tạo trước có sẵn trực tiếp để sử dụng trong thư viện Keras. Tập dữ liệu Imagenet đã được sử dụng rộng rãi để xây dựng các kiến trúc khác nhau vì nó đủ lớn (1,2 triệu hình ảnh) để tạo ra một mô hình tổng quát. Mặc dù, vấn đề được đưa ra trong việc đào tạo một mô hình.

Điều đó có thể phân loại chính xác các hình ảnh thành 1.000 loại đối tượng riêng biệt. Hơn nữa, 1.000 danh mục hình ảnh này đại diện cho các lớp đối tượng mà chúng ta bắt gặp trong cuộc sống hàng ngày. Chẳng hạn như các loài chó, mèo, các đồ vật khác nhau trong nhà, các loại phương tiện, v.v.

chúng ta sử dụng switch Studying để tổng quát hóa thành các hình ảnh bên ngoài tập dữ liệu ImageNet. Điều này chỉ xảy ra trong trường hợp Pre-Educated Mannequin. Ngoài ra, chúng ta sử dụng mô hình tinh chỉnh cho các sửa đổi trong một Pre-Educated Mannequin. Vì chúng ta giả định rằng mạng được đào tạo trước đã được đào tạo khá tốt.

Xem thêm : Dây đai trong tiếng Tiếng Anh – Tiếng Việt-Tiếng Anh | Glosbe

Do đó, chúng ta không muốn sửa đổi trọng lượng quá sớm và quá nhiều. Trong khi sửa đổi, chúng ta thường sử dụng tỷ lệ học tập nhỏ hơn tỷ lệ được sử dụng để đào tạo ban đầu cho mô hình.

Xem thêm Các ứng dụng của Machine Studying trong thực tế

Các cách để tinh chỉnh mô hình

Trích xuất đối tượng – Đối với cơ chế trích xuất đối tượng, chúng ta sử dụng Pre-Educated Mannequin vì trong đó chúng ta có thể loại bỏ lớp đầu ra. Hơn nữa, chúng ta phải sử dụng toàn bộ mạng như một bộ trích xuất tính năng cố định cho tập dữ liệu mới.

Sử dụng Kiến trúc của Pre-Educated Mannequin – Theo tập dữ liệu, tại thời điểm khởi tạo và đào tạo mô hình, chúng ta sử dụng kiến trúc của nó.

Huấn luyện một số lớp trong khi đóng băng những lớp khác – Có một cách nữa để sử dụng mô hình đã được huấn luyện trước, tức là huấn luyện một phần mô hình. Hơn nữa, chúng ta phải giữ cho trọng lượng của các lớp ban đầu của mô hình được đóng băng. Trong khi chỉ phải đào tạo lại các lớp cao hơn. Chúng ta có thể thử và kiểm tra xem có bao nhiêu lớp được đóng băng và bao nhiêu lớp được đào tạo.

Sơ đồ dưới đây sẽ giúp bạn quyết định cách tiếp tục sử dụng Pre-Educated Mannequin trong trường hợp của bạn

Tình huống 1 – Kích thước của Tập dữ liệu nhỏ trong khi độ tương đồng về Dữ liệu là rất cao – Trong trường hợp cụ thể này, chúng ta không yêu cầu giữ lại mô hình, vì độ tương đồng về dữ liệu là rất cao.

Mặc dù, theo tuyên bố vấn đề của chúng ta, chúng ta cần tùy chỉnh và sửa đổi các lớp đầu ra. Như chúng ta đã sử dụng Pre-Educated Mannequin ở đây như một trình trích xuất tính năng.

Hơn nữa, để xác định tập hợp hình ảnh mới có mèo hay chó, chúng ta sử dụng các mô hình được đào tạo trên Imagenet. Ở đây chúng ta yêu cầu các hình ảnh tương tự như Imagenet để phân loại hai đầu ra – mèo hoặc chó.

Cuối cùng, cuối cùng trong trường hợp này, chúng ta phải sửa đổi các lớp dày đặc. Ngoài ra, phải đặt các lớp softmax cuối cùng để xuất ra 2 danh mục thay vì 1000.

Tình huống 2 – Kích thước của dữ liệu nhỏ cũng như độ tương đồng của dữ liệu là rất thấp – Trong trường hợp này, chúng ta phải đóng băng các lớp ban đầu (giả sử là ok) của Pre-Educated Mannequin. Ngoài ra, khi quá trình đóng băng hoàn tất, hãy đào tạo lại (n-k) lớp còn lại.

Mặc dù vậy, hãy nhớ rằng các lớp trên cùng sẽ được tùy chỉnh thành tập dữ liệu mới. Ngoài ra, các lớp ban đầu được giữ trước bởi kích thước nhỏ hơn của chúng. Tuy nhiên, hãy giữ trọng lượng đông lạnh của các lớp đó.

Tình huống 3 – Kích thước của tập dữ liệu lớn tuy nhiên mức độ tương đồng của Dữ liệu là rất thấp – Đặc biệt, trong trường hợp này trường hợp, đào tạo mạng nơ-ron sẽ hiệu quả hơn. Vì nó có một tập dữ liệu lớn. Ngoài ra, điều chính là dữ liệu chúng ta sử dụng là khác nhau.

Khi chúng ta sử dụng dữ liệu khác với dữ liệu chúng ta sử dụng trong đào tạo. Do đó, tốt nhất là đào tạo mạng nơ-ron từ đầu theo dữ liệu của bạn.

Tình huống 4 – Kích thước dữ liệu lớn cũng như có độ tương đồng dữ liệu cao – Có thể nói đây là tình huống cuối cùng và lý tưởng. Như các Pre-Educated Mannequin sẽ hiệu quả hơn trong trường hợp này. Ngoài ra, chúng ta có thể sử dụng mô hình này theo cách rất tốt.

Chúng ta chỉ cần sử dụng mô hình là giữ lại kiến trúc của mô hình và các trọng số ban đầu của mô hình. Hơn nữa, chúng ta có thể đào tạo lại mô hình này bằng cách sử dụng các trọng số như được khởi tạo trong Pre-Educated Mannequin.

Xem thêm : Kĩ năng kĩ thuật (Technical Skills) là gì? Kĩ năng kĩ thuật so với kĩ năng mềm

Xem thêm Knowledge mining so với machine studying

Studying quy nạp và chuyển giao quy nạp

chúng ta sử dụng hình thức Switch Studying này trong Deep studying, được gọi là chuyển giao quy nạp. Do đó, đó là một lĩnh vực mà phạm vi của các mô hình có thể được thu hẹp theo cách có lợi. Mặc dù, mô hình này phù hợp với một nhiệm vụ khác nhưng có liên quan.

Làm thế nào để sử dụng switch Studying?

Hai cách tiếp cận phổ biến để Switch Studying như sau:

Phát triển phương pháp tiếp cận mô hình
Phương pháp tiếp cận Pre-Educated Mannequin

Phát triển phương pháp tiếp cận mô hình

Chọn Tác vụ Nguồn:

Trong khi chọn một nhiệm vụ, chúng ta phải chọn vấn đề mô hình dự đoán. Vấn đề với lượng dữ liệu dồi dào.

Phát triển mô hình nguồn:

Tiếp theo, chúng ta phải phát triển một mô hình khéo léo cho nhiệm vụ đầu tiên này. Mặc dù, một mô hình phải tốt hơn một mô hình ngây thơ. Đó là để đảm bảo một số mô hình phải tốt hơn một mô hình ngây thơ.

Tái sử dụng mô hình:

Mô hình phải phù hợp với nhiệm vụ nguồn. Hơn nữa, chúng ta sử dụng nó làm điểm khởi đầu cho một mô hình về nhiệm vụ thứ hai mà chúng ta quan tâm. Hơn nữa, điều này liên quan đến các phần của mô hình, tùy thuộc vào kỹ thuật mô hình hóa được sử dụng.

Điều chỉnh mô hình:

Chúng ta cần áp dụng mô hình dựa trên dữ liệu cặp đầu vào-đầu ra có sẵn cho nhiệm vụ quan tâm.

Phương pháp tiếp cận Pre-Educated Mannequin

Chọn Mô hình Nguồn:

chúng ta phải chọn một mô hình nguồn được đào tạo trước từ các mô hình có sẵn. Các mô hình được phát hành trên các bộ dữ liệu lớn và đầy thách thức bởi nhiều tổ chức nghiên cứu.

Tái sử dụng mô hình:

Như ở điểm bắt đầu, chúng ta có thể sử dụng Pre-Educated Mannequin. Đó là nhiệm vụ thứ hai cần quan tâm. Tùy thuộc vào mô hình được sử dụng, nó liên quan đến tất cả các phần của mô hình.

Chế độ điều chỉnh:

Chúng ta cần áp dụng mô hình dựa trên dữ liệu cặp đầu vào-đầu ra có sẵn cho nhiệm vụ quan tâm.

Khi nào thì sử dụng phương pháp switch Studying?

chúng ta sử dụng phương pháp switch studying để tiết kiệm thời gian hoặc để đạt được hiệu suất tốt hơn vì đây là một phương pháp tối ưu hóa.

Có ba lợi ích có thể có khi sử dụng phương pháp Switch Studying:

Khởi đầu cao hơn:Kỹ năng ban đầu trên mô hình nguồn cao hơn so với kỹ năng khác.
Độ dốc cao hơn: Tỷ lệ cải thiện kỹ năng trong quá trình đào tạo mô hình nguồn. Đó là dốc hơn so với nếu không.
Đường tiệm cận cao hơn:Kỹ năng hội tụ của mô hình được đào tạo tốt hơn so với những kỹ năng khác.

Các bài viết chủ đề khác:

Neural Fashion Switch trong TensorFlow
Mannequin class trong Keras
Thuật toán Synthetic Neural Community – Tìm hiểu cách studying ANN
Cách học Python trong Knowledge science
Gaussian Combination Mannequin trong machine studying
KDD là gì? quy trình tiến hành KDD

Các câu hỏi phổ biến nhất của switch Studying

Switch Studying là gì? Switch Studying là phương pháp sử dụng mô hình đã được huấn luyện sẵn trên một tác vụ để giải quyết một tác vụ khác có liên quan. Nó giúp cho việc huấn luyện mô hình mới nhanh hơn và đạt hiệu quả tốt hơn so với việc huấn luyện từ đầu.
Các phương pháp Switch Studying phổ biến nhất là gì? Các phương pháp Switch Studying phổ biến nhất bao gồm:

Wonderful-tuning: điều chỉnh lại một mô hình được huấn luyện sẵn trên tác vụ mới.
Function extraction: sử dụng mô hình đã huấn luyện sẵn để rút trích các đặc trưng của dữ liệu đầu vào, sau đó sử dụng các đặc trưng này để huấn luyện một mô hình mới.
Area adaptation: điều chỉnh lại mô hình để hoạt động trên một tập dữ liệu mới có đặc điểm khác với tập dữ liệu ban đầu.

Làm thế nào để chọn mô hình sẵn có để sử dụng trong Switch Studying? Để chọn một mô hình sẵn có để sử dụng trong Switch Studying, bạn cần xác định mô hình đó có thể áp dụng được cho tác vụ mới hay không. Nếu không, bạn cần tìm một mô hình phù hợp hơn hoặc huấn luyện một mô hình mới.
Tại sao Switch Studying lại hiệu quả? Switch Studying hiệu quả vì nó cho phép sử dụng kiến thức đã học được từ các tác vụ trước đó để giải quyết một tác vụ mới. Việc sử dụng kiến thức này giúp cho việc huấn luyện mô hình mới nhanh hơn và đạt hiệu quả tốt hơn so với việc huấn luyện từ đầu.
Các vấn đề phổ biến khi sử dụng Switch Studying là gì? Các vấn đề phổ biến khi sử dụng Switch Studying bao gồm:

Overfitting: khi mô hình được fine-tuning quá nhiều trên tác vụ mới, nó có thể trở nên quá tinh chỉnh và không thể áp dụng được cho các tác vụ khác.
Dataset bias: khi dữ liệu mới có đặc điểm khác với dữ liệu huấn luyện ban đầu, mô hình sẽ không hoạt động hiệu quả trên dữ liệu mới.
Job dissimilarity: khi tác vụ mới không có mối liên hệ nhiều với tác vụ đã được huấn luyện trước đó, việc sử dụng Switch Studying sẽ không hiệu quả.

Các kỹ thuật Switch Studying áp dụng cho các loại mô hình nào? Các kỹ thuật Switch Studying có thể được áp dụng cho các loại mô hình như:

Convolutional Neural Networks (CNN): chủ yếu được sử dụng trong việc xử lý ảnh và video.
Recurrent Neural Networks (RNN): chủ yếu được sử dụng trong việc xử lý dữ liệu chuỗi, ví dụ như ngôn ngữ tự nhiên hoặc âm nhạc.
Generative Adversarial Networks (GAN): chủ yếu được sử dụng trong việc tạo ra dữ liệu mới.
Transformers: chủ yếu được sử dụng trong việc xử lý ngôn ngữ tự nhiên.

Làm thế nào để đánh giá hiệu quả của mô hình Switch Studying? Để đánh giá hiệu quả của mô hình Switch Studying, bạn có thể sử dụng các phương pháp đánh giá chuẩn, như độ chính xác, độ phân loại hay mất mát. Ngoài ra, bạn cũng có thể so sánh hiệu quả của mô hình Switch Studying với mô hình huấn luyện từ đầu để đánh giá tốt hơn hiệu quả của mô hình.
Làm thế nào để áp dụng Switch Studying vào các tác vụ khác nhau? Để áp dụng Switch Studying vào các tác vụ khác nhau, bạn cần thực hiện các bước sau:

Tìm một mô hình sẵn có đã được huấn luyện trên một tác vụ liên quan đến tác vụ mới của bạn.
Xác định cách sử dụng mô hình này trong tác vụ mới của bạn (fine-tuning, function extraction hay area adaptation).
Chuẩn bị dữ liệu đầu vào cho mô hình mới.
Huấn luyện mô hình mới với dữ liệu đầu vào đã chuẩn bị và kiểm tra hiệu quả của mô hình.

Switch Studying có giới hạn gì không? Có một số giới hạn của Switch Studying như:

Mô hình ban đầu cần có độ phức tạp và số lượng dữ liệu đủ lớn để đạt được hiệu quả tốt.
Mô hình huấn luyện trước đó cần liên quan đến tác vụ mới của bạn để Switch Studying có thể áp dụng được.
Các kỹ thuật Switch Studying không thể giải quyết hoàn toàn vấn đề.

Nguồn: https://stamboom-boden.com
Danh mục: Là Gì