Cập nhật thông tin chi tiết về Sự Khác Nhau Giữa Ai, Machine Learning Và Deep Learning mới nhất trên website Sansangdethanhcong.com. Hy vọng nội dung bài viết sẽ đáp ứng được nhu cầu của bạn, chúng tôi sẽ thường xuyên cập nhật mới nội dung để bạn nhận được thông tin nhanh chóng và chính xác nhất.
AI là tương lai. AI là khoa học viễn tưởng. AI và machine learning đã là một phần trong cuộc sống hàng ngày của chúng ta. Tất cả những tuyên bố đó là đúng, nó chỉ phụ thuộc vào mục đích của AI mà bạn đang đề cập đến.
Ví dụ, khi chương trình AlphaGo của Google DeepMind đánh bại Master Lee Se-dol của Hàn Quốc trong trò chơi cờ vào đầu năm nay, các thuật ngữ AI, machine learning và deep learning đã được sử dụng trên phương tiện truyền thông để mô tả cách DeepMind giành chiến thắng. Và cả ba đều là một phần lý do khiến AlphaGo đánh bại Lee Se-Dol. Nhưng chúng không phải là những thứ giống nhau.
AI là một phần trong trí tưởng tượng của chúng ta và mô phỏng trong các phòng thí nghiệm nghiên cứu kể từ khi một số nhà khoa machine learning tập hợp tại Hội nghị Dartmouth năm 1956 và khai sinh ra lĩnh vực AI. Trong những thập kỷ kể từ đó, AI đã thay phiên được coi là chìa khóa cho tương lai tươi sáng nhất của nền văn minh của chúng ta.
Trong vài năm qua, AI đã bùng nổ và đặc biệt là từ năm 2015. Phần lớn là do sự sẵn có rộng rãi của GPU giúp xử lý song song nhanh hơn, rẻ hơn và mạnh mẽ hơn. Nó cũng phải thực hiện đồng thời lưu trữ vô hạn thực tế và một luồng dữ liệu của mỗi dải (toàn bộ chuyển động Dữ liệu lớn) – hình ảnh, văn bản, giao dịch, dữ liệu ánh xạ, v.vv..
Quay trở lại mùa hè năm 56 của hội nghị, giấc mơ của những người tiên phong AI đó là chế tạo những cỗ máy phức tạp – được kích hoạt bởi các máy tính hiện đại – sở hữu những đặc điểm giống nhau của trí thông minh con người. Đây là khái niệm mà chúng tôi nghĩ về như là General AI, một cỗ máy tuyệt vời có tất cả các giác quan của chúng ta (thậm chí nhiều hơn), tất cả phân tích, và suy nghĩ giống như chúng ta. Bạn đã xem những cỗ máy này – C-3PO – và kẻ thù – phim Kẻ hủy diệt. Những cỗ máy AI nói chung vẫn tồn tại trong các bộ phim và tiểu thuyết khoa học viễn tưởng vì lý do chính đáng; chúng ta không thể kéo nó ra, ít nhất là chưa.
Những gì chúng ta có thể làm rơi vào khái niệm Narrow AI. Các công nghệ có khả năng thực hiện các nhiệm vụ cụ thể cũng như, hoặc tốt hơn, con người chúng ta có thể. Ví dụ về AI hẹp là những thứ như phân loại hình ảnh trên một dịch vụ như Pinterest và nhận dạng khuôn mặt trên Facebook.
Đó là những ví dụ về AI hẹp trong thực tế. Những công nghệ này thể hiện một số khía cạnh của trí tuệ con người. Nhưng bằng cách nào? Trí thông minh đó đến từ đâu? Điều đó đưa chúng ta đến vòng tròn tiếp theo, machine learning.
Machine learning ở mức cơ bản nhất là thực hành sử dụng các thuật toán để phân tích dữ liệu, học từ nó và sau đó đưa ra quyết định hoặc dự đoán về một cái gì đó trên thế giới. Vì vậy, thay vì các phần mềm mã hóa thủ công thường xuyên với một bộ hướng dẫn cụ thể để hoàn thành một nhiệm vụ cụ thể, máy được đào tạo bằng cách sử dụng một lượng lớn dữ liệu và thuật toán cho phép nó học cách thực hiện nhiệm vụ.
Machine learning xuất phát trực tiếp từ suy nghĩ của đám đông AI ban đầu, và các phương pháp tiếp cận thuật toán trong nhiều năm bao gồm học cây quyết định, lập trình logic quy nạp. phân cụm, reinforcement learning và mạng Bayes trong số những thứ khác. Như chúng ta đã biết, không ai đạt được mục tiêu cuối cùng của General AI, và thậm chí Narrow AI chủ yếu nằm ngoài tầm với các phương pháp machine learning ban đầu.
Hóa ra, một trong những lĩnh vực ứng dụng tốt nhất cho machine learning trong nhiều năm là thị giác máy tính , mặc dù nó vẫn đòi hỏi rất nhiều code tay để hoàn thành công việc. Mọi người sẽ đi vào và viết các trình phân loại được mã hóa bằng tay như các bộ lọc phát hiện cạnh để chương trình có thể xác định nơi một đối tượng bắt đầu và dừng lại; phát hiện hình dạng để xác định nếu nó có tám mặt; một bộ phân loại để nhận ra các chữ cái STOP. Từ tất cả các trình phân loại được mã hóa bằng tay, họ sẽ phát triển các thuật toán để hiểu ý nghĩa của hình ảnh và học tìm hiểu để xác định xem đó có phải là dấu hiệu dừng hay không.
Tốt, nhưng không tuyệt vời. Đặc biệt vào một ngày sương mù khi dấu hiệu không thể nhìn thấy hoàn hảo, hoặc một cái cây che khuất một phần của nó. Có một lý do phát hiện hình ảnh và hình ảnh máy tính gần với đối thủ của con người cho đến gần đây, nó quá dễ vỡ và quá dễ bị lỗi.
Thời gian, và các thuật toán học tập đúng đã tạo ra sự khác biệt.
Một cách tiếp cận thuật toán khác từ đám đông machine learning ban đầu, mạng lưới thần kinh nhân tạo, đã đến và chủ yếu đi qua nhiều thập kỷ. Mạng lưới thần kinh được lấy cảm hứng từ sự hiểu biết của chúng ta về sinh học của bộ não con người – tất cả những mối liên kết giữa các tế bào thần kinh. Nhưng, không giống như một bộ não sinh học nơi bất kỳ tế bào thần kinh nào có thể kết nối với bất kỳ tế bào thần kinh nào khác trong một khoảng cách vật lý nhất định, các mạng thần kinh nhân tạo này có các lớp, kết nối và hướng truyền dữ liệu riêng biệt.
Ví dụ, bạn có thể chụp ảnh, cắt nó thành một bó gạch được nhập vào lớp đầu tiên của mạng lưới thần kinh. Trong lớp tế bào thần kinh riêng lẻ ở lớp đầu tiên, sau đó chuyển dữ liệu sang lớp thứ hai. Lớp tế bào thần kinh thứ hai thực hiện nhiệm vụ của mình, và cứ thế, cho đến khi lớp cuối cùng và đầu ra cuối cùng được tạo ra.
Mỗi nơ-ron gán một trọng số cho đầu vào của nó – nó đúng hay không chính xác so với nhiệm vụ đang được thực hiện. Đầu ra cuối cùng sau đó được xác định bởi tổng số trọng số đó. Vì vậy, hãy nghĩ về ví dụ dấu hiệu dừng của chúng tôi. Các thuộc tính của hình ảnh biển báo bị cắt xén và các tế bào thần kinh được kiểm tra bởi các tế bào thần kinh – hình dạng bát giác, màu đỏ của động cơ lửa, chữ cái đặc biệt, kích thước biển báo giao thông và chuyển động của nó hoặc thiếu. Nhiệm vụ của mạng lưới thần kinh là kết luận liệu đây có phải là dấu hiệu dừng hay không. Nó xuất hiện với một vectơ xác suất của người Hồi giáo, thực sự là một phỏng đoán có tính giáo dục cao, dựa trên trọng số. Trong ví dụ của chúng tôi, hệ thống có thể tin tưởng 86% hình ảnh là dấu hiệu dừng, 7% tự tin là dấu hiệu giới hạn tốc độ và 5% đó là con diều bị mắc kẹt trong cây, v.v. – và kiến trúc mạng sau đó nói với mạng thần kinh dù đúng hay không.
Ngay cả ví dụ này đang đi trước chính nó, bởi vì cho đến gần đây, các mạng lưới thần kinh đã bị cộng đồng nghiên cứu AI xa lánh. Chúng đã xuất hiện từ những ngày đầu tiên của AI, và đã sản xuất rất ít theo cách thức của trí thông minh. Vấn đề là ngay cả các mạng thần kinh cơ bản nhất cũng rất chuyên sâu về mặt tính toán, nó không phải là một cách tiếp cận thực tế. Tuy nhiên, một nhóm nghiên cứu nhỏ do Geoffrey Hinton đứng đầu tại Đại học Toronto đã duy trì, cuối cùng đã làm song song các thuật toán cho siêu máy tính chạy và chứng minh khái niệm này, nhưng phải đến khi GPU được triển khai trong nỗ lực thì lời hứa mới được thực hiện .
Bước đột phá của Ng là lấy các mạng thần kinh này, và về cơ bản làm cho chúng trở nên khổng lồ, tăng các lớp và tế bào thần kinh, sau đó chạy một lượng lớn dữ liệu thông qua hệ thống để huấn luyện nó. Trong trường hợp của Ng, đó là hình ảnh từ 10 triệu video YouTube. Ng đưa sâu vào các bài deep learning, trong đó mô tả tất cả các lớp trong các mạng lưới thần kinh này.
Ngày nay, nhận dạng hình ảnh bằng máy móc được đào tạo thông qua deep learning trong một số tình huống tốt hơn so với con người và từ mèo đến nhận dạng các chỉ số ung thư trong máu và khối u trong quét MRI. AlphaGo của Google đã học trò chơi và được đào tạo cho trận đấu Go của mình – nó đã điều chỉnh mạng lưới thần kinh của mình – bằng cách chơi với chính nó nhiều lần.
Nhờ Deep Learning, AI có tương lai tươi sáng hơn
Deep learning đã cho phép nhiều ứng dụng thực tế của machine learning và bằng cách mở rộng toàn bộ lĩnh vực AI. Deep learning phá vỡ các nhiệm vụ theo cách làm cho tất cả các loại hỗ trợ máy dường như có thể, thậm chí có khả năng. AI là hiện tại và tương lai. Với sự giúp đỡ của Deep learning, AI thậm chí có thể có được trạng thái khoa học viễn tưởng mà chúng ta đã tưởng tượng từ lâu.
Sự Khác Nhau Giữa Deep Learning, Machine Learning, Ai
Ở những năm trước đây, thuật ngữ “deep learning” đã chính thức là một từ trong ngôn ngữ kinh doanh khi hầu hết mọi cuộc hội thoại đều xoay quanh Trí tuệ nhân tạo (AI), Big Data, và phân tích. Đây là một bước tiến của công nghệ AI hứa hẹn sẽ mang lại sự phát triển về hệ thống tự quản và self-teaching mà qua đó sẽ cách mạng hóa nhiều ngành công nghiệp
Người ta thường mô tả ML như là một phân nhánh phụ của công nghệ AI nhưng để diễn tả ML theo cách tốt hơn thì đó là công nghệ khoa học tiên tiến hiện đại nhất. Đó là một lĩnh vực về công nghệ AI hứa hẹn nhất đem lại những công cụ, tiện ích mang đến sự thay đổi trong các ngành công nghiệp và xã hội.
Tiếp đến, deep learning được nhắc đến như là một công nghệ tiên tiến hơn của công nghệ tiên tiến. Trong khi ML là phần cốt lõi của công nghệ AI và tập trung vào giải quyết những vấn đề ở thế giới thực với mạng lưới nơ-ron được thiết kế nhằm bắt chước theo hành động của con người thì deep learning chú trọng vào phạm trù hẹp hơn về tập hợp những công cụ và kỹ thuật ML và ứng dụng nó để dàn xếp những khó khăn đòi hỏi “sự tư duy” của con người hoặc máy móc nhân tạo.
Nó vận hành ra sao?
Về cơ bản, deep learning đòi hỏi phải cung cấp vào hệ thống máy tính một lượng lớn dữ liệu dùng để đưa ra quyết định cho những dữ liệu khác. Những dữ liệu này được cung cấp thông qua mạng lưới nơ-ron và tương đồng như ML. Những mạng lưới được cấu tạo logic như thế này sẽ hỏi về một loạt câu hỏi đúng sai hoặc trích ra một giá trị bằng số của mỗi bit dữ liệu đi qua nó và phân loại chúng dựa theo câu trả lời nhận được.
Hãy thử sử dụng một hệ thống được lập trình ghi tự động và báo cáo về số lượng phương tiện được thiết kế đặc biệt lướt qua đường xem. Đầu tiên, nó sẽ truy cập vào bộ dữ liệu khổng lồ về loại xe bao gồm hình dáng, kích cỡ và thậm chí là âm thanh từ động cơ máy. Điều này có thể được biên soạn thủ công hoặc trong các trường hợp tân tiến hơn và được thu thập tự động theo hệ thống nếu nó được lập trình để tìm kiếm trên internet và nhập dữ liệu nó tìm được.
Cho đến nay việc thực hiện này tương đối là đơn giản. Qua thời gian hệ thống này cũng có thể tích lũy cho nó nhiều kinh nghiệm hơn và tăng tỷ lệ phân loại chính xác bằng cách tự “cập nhật” những dữ liệu mới mà nó nhận được. Nói cách khác là nó có thể học hỏi từ những sai lầm như con người vậy. Ví dụ nó có thể đưa ra hình ảnh sai về những phương tiện có hình dáng đặc biệt dựa trên kích cỡ tương đồng và tiếng ồn đặc trưng. Sau đó nó sẽ tìm ra được những khác biệt mà nó cho là có tỷ lệ chính xác thấp so với quyết định. Qua việc tìm ra được những khác biệt, nó sẽ nhận ra những điểm không tương đồng giữa hai phương tiện và cải thiện độ chính xác cho lần nhận diện tiếp theo.
Định hướng xe tự lái bằng cách sử dụng những cảm biến và bộ phân tích tích hợp nhằm nhận diện những vật cản và cách giải quyết dựa vào cách sử dụng deep learning đúng đắn.
Tự động phân tích và báo cáo. Hệ thống có thể phân tích dữ liệu và báo cáo thông tin chi tiết về âm thanh tự nhiên, ngôn ngữ con người cùng với đồ họa infographics mà ta có thể dễ dàng hiểu được.
Chơi game. Hệ thống deep learning có thể được lập trình để chơi và thằng được một số loại game như cờ vây và phá đảo trò Breakout của công ty game Atari.
Sự Khác Nhau Giữa Deep Learning, Machine Learning Và Data Science
Machine Learning
Machine Learning là một nhánh của Trí tuệ nhân tạo (AI) được phát triển dựa trên việc tạo ra các thuật toán có thể xử lý dữ liệu và tự học từ đó. Toàn bộ cách tiếp cận đều dựa trên thực tế là dạy máy tính cách học sẽ hiệu quả hơn thay vì lập trình nó để thực hiện từng nhiệm vụ được yêu cầu. Đó là một phần của những mục tiêu lớn.
Có vô số ứng dụng dành cho Machine Learning và có thể dễ dàng tìm thấy một vài ví dụ đang ngày càng phổ biến. Đầu tiên là sự nổi lên của Trợ lý ảo (Virtual Assistant) như Alexa hoặc Siri. Các hệ thống này sử dụng các thuật toán học tập để tinh chỉnh hoặc cá nhân hóa kết quả của các yêu cầu từ từng người dùng cá nhân. Một khi hệ thống học nhiều hơn về những thói quen của người dùng, nó có thể xử lý tốt hơn các yêu cầu mặc dù thông tin tiếp nhận được không thực sự rõ ràng.
Một ứng dụng phổ biến khác là nhận dạng khuôn mặt, nơi một bức ảnh tĩnh có thể được sử dụng làm dữ liệu đầu vào cho một hệ thống để xác định những người được miêu tả trong đó. Các dịch vụ truyền thông xã hội như Facebook có khả năng phân tích hình ảnh và gắn thẻ trong một bức ảnh. Ví dụ: các thuật toán tương tự được sử dụng để tìm và đề xuất những người mà bạn có thể biết hoặc những công việc bạn có thể là ứng cử viên tốt.
Deep Learning
Các thuật toán Deep Learning là một nhánh của lĩnh vực Machine Learning rộng lớn hơn, sử dụng mạng thần kinh (neural network) để giải quyết vấn đề. Neural network là một khuôn khổ kết hợp các thuật toán Machine Learning khác nhau để giải quyết một số loại nhiệm vụ nhất định. Một hệ thống Deep Learning về cơ bản là một mạng thần kinh rất lớn được đào tạo bằng việc sử dụng một lượng dữ liệu vô cùng lớn.
Deep Learning hiện đang được sử dụng trong nhiều nhiệm vụ phức tạp. Một ví dụ nổi tiếng là Google Translate, có khả năng dịch văn bản giữa hơn 100 ngôn ngữ. Trong tương lai, Deep Learning sẽ được áp dụng trong các công nghệ về chăm sóc sức khỏe, xe tự hành và tài chính.
Data Science
Mục tiêu chính trong khoa học dữ liệu là làm cho dữ liệu có ý nghĩa. Đạt được sự hiểu biết này là một quá trình gồm nhiều bước. Tùy thuộc vào những chi tiết của một dự án cụ thể, điều này có thể bao gồm việc thu thập và xử lý một lượng lớn dữ liệu. Mặt khác, nếu việc tải dữ liệu đã được hoàn tất thì dữ liệu sẽ nằm trong vùng khoa học dữ liệu để thực hiện phân tích dự đoán bằng cách sử dụng những công cụ như các thuật toán Machine Learning và Deep Learning.
Sự giao thoa giữa Machine Learning và Data Science
Với việc Machine Learning hoàn toàn nằm trong lĩnh vực của Khoa học dữ liệu, rất đáng để xem xét vai trò của nó trong một bức tranh lớn hơn. Bởi vì Khoa học dữ liệu là một lĩnh vực dành cho đa ngành, nó dựa trên nhiều công cụ nằm ngoài phạm vi của Machine Learning. Trong khi nhận dạng hình mẫu và các thuật toán khai thác dữ liệu khác là những nhiệm vụ phổ biến được đảm nhận bởi một nhà khoa học dữ liệu, họ cũng tham gia vào các công việc khác bao gồm việc sử dụng trực quan hóa và thống kê ứng dụng.
Nhà khoa học dữ liệu sẽ sử dụng các công cụ để thu thập, làm sạch, chuyển đổi và lưu trữ dữ liệu. Bất kể quy trình hoặc công cụ nào được sử dụng, các bước này phải được thực hiện trước khi phân tích. Khi dữ liệu đã được xử lý trước hoàn toàn và sẵn sàng để phân tích, các thuật toán Machine Learning có thể được sử dụng để xây dựng các mô hình dự đoán cho các nhiệm vụ phân loại hoặc hồi quy.
Khi giai đoạn Machine Learning hoàn tất, công việc của nhà khoa học dữ liệu tiếp tục. Các mô hình dự đoán sẽ được so sánh, phân tích và báo cáo kết quả. Hơn nữa, bản thân các mô hình có thể là một phần của giai đoạn tiếp theo trong quá trình khám phá hoặc phân tích. Tất cả những điều này vẫn nằm trong phạm vi của Khoa học dữ liệu.
Nơi giao thoa giữa Deep Learning và Machine Learning?
Như đã nói trước đó, Deep Learning là một tập hợp con của Machine Learning. Trên thực tế, các thuật ngữ đôi khi được sử dụng thay thế cho nhau và điều này là do chúng hoạt động tương tự nhau. Sự khác biệt là nằm ở khả năng của chúng, điều này ảnh hưởng đến đóng góp chung của chúng cho các mô hình.
Kết luận
Tóm lại, Data Science đại diện cho toàn bộ quá trình tìm kiếm ý nghĩa trong dữ liệu. Còn các thuật toán Machine Learning thường được sử dụng để hỗ trợ cho việc tìm kiếm này vì chúng có khả năng học từ dữ liệu. Deep Learning là một lĩnh vực phụ của Machine Learning nhưng khả năng đã được cải thiện. Nhiều chuyên gia đồng ý rằng Deep Learning có tiềm năng mạnh mẽ trở thành xương sống của Trí tuệ nhân tạo thực sự.
Vấn Đề Overfitting &Amp; Underfitting Trong Machine Learning
Khi xây dựng mỗi mô hình học máy, chúng ta cần phải chú ý hai vấn đề: Overfitting (quá khớp) và Underfitting (chưa khớp). Đây chính là nguyên nhân chủ yếu khiến mô hình có độ chính xác thấp.
Ước lượng hàm mục tiêu trong Machine Learning
Học có giám sát (Supervised Learning) là phương thức học chính xác nhất trong học máy. Mô hình ước lượng hàm mục tiêu (f) sẽ ánh xạ mỗi phần tử thuộc tập đầu vào (X) sang một phần tử (xấp xỉ) tương ứng thuộc tập (Y)
Y = f(X)
Dựa theo các thuộc tính đầu vào, ta có thể biểu diễn được các nhãn đầu ra. Dự báo nhãn và thậm chí ta còn có thể xác định giá trị của nhãn thông qua Machine Learning.
Mô hình học máy được xây dựng qua bộ dữ liệu huấn luyện. Kỳ vọng của mô hình là tổng quát hóa được đặc trưng (xấp xỉ) chính xác nhất với tổng thể. Điều này có ý nghĩa rất quan trọng. Vì dữ liệu đầy vào của mỗi mô hình chỉ là một tập mẫu trong tổng thể, có thể không mang tính đại diện cao và chứa nhiều nhiễu.
Tính phổ quát trong học máy
Trong học máy, hàm mục tiêu được xây dựng trên bộ dữ liệu huấn luyện theo phương pháp đệ quy. Đây là phương pháp giúp tìm được tính phổ quát (tổng quát hóa) từ bộ dữ liệu mẫu cụ thể. Vậy tính phổ quát là gì?
Phổ quát (tổng quát) là thước đo đánh giá một mô hình học máy được gọi là tốt hay không. Nó thể hiện ở vấn đề một mô hình học máy có thể rút ra được những quy luật cho tổng thể từ bộ dữ liệu mẫu không? Một mô hình có tính phổ quát, khi đó, mô hình sẽ áp dụng tốt với bất kì bộ dữ liệu mới nào.
Tuy nhiên, trong quá trình học máy, ta cần chú ý hai vấn đề. Đó là Overfitting và Underfitting. Đây là hai nguyên nhân chính trong việc khiến mô hình học máy có độ chính xác không cao. Hay nói cách khác là không thể hiện được tính phổ quát của vấn đề.
Statistical Fit
Statistical Fit (độ chính xác trong thống kê) là chỉ độ gần đúng của hàm xây dưng với hàm hàm mục tiêu. Các phương thức được sử dụng trong thống kê khác với phương thức thực hiện trong học máy. Ví dụ, trong thống kê thường sử dụng các phương pháp ước lượng để ước lượng hàm mục tiêu. Tuy nhiên, trong học máy, ta lại không sử dụng phương pháp đó. Học máy dựa trên việc học từ dữ liệu, ta đưa ra mô hình xấp xỉ chính xác nhất từ bộ dữ liệu mẫu có thể có nhiễu.
Statistical Fit cũng được sử dụng trong học máy như một thước đo. Một số kỹ thuật trong thống kê cũng được áp dụng trong học máy (ví dụ: tính sai số).
Overfitting trong học máy
Overfitting là hiện tượng khi mô hình xây dựng thể hiện được chi tiết bộ dữ liệu huấn luyện. Điều này có nghĩa là cả dữ liệu nhiễu, hoặc dữ liệu bất thường trong tập huấn luyện đều được chọn và học để đưa ra quy luật mô hình. Những quy luật này sẽ không có ý nghĩa nhiều khi áp dụng với bộ dữ liệu mới có thể có dạng dữ liệu nhiễu khác. Khi đó, nó ảnh hưởng tiêu cực tới độ chính xác của mô hình nói chung.
Hiện tượng Overfitting thường xảy ra trong các mô hình phi tham số hoặc phi tuyến, những mô hình có sự linh hoạt cao trong xây dựng hàm mục tiêu.
Như vậy, rất nhiều thuật toán học máy phi tham số sẽ bao gồm những thông số và kĩ thuật để hạn chế và giới hạn múc độ học chi tiết của mô hình.
Ví dụ, bài toán cây quyết định là một thuật toán học máy phi tham số. Đây là thuật toán thường xảy ra hiện tượng Overfitting. Ta có thể tránh hiện tượng này bằng phương pháp cắt tỉa cây (pruning).
Underfitting trong học máy
Underfitting (chưa khớp) là hiện tượng khi mô hình xây dựng chưa có độ chính xác cao trong tập dữ liệu huấn luyện cũng như tổng quát hóa với tổng thể dữ liệu. Khi hiện tượng Underfitting xảy ra, mô hình đó sẽ không phải là tốt với bất kì bộ dữ liệu nào trong vấn đề đang nhắc tới.
Hiện tượng Underfitting thường ít xảy ra trong bài toán hơn. Khi Underfitting xảy ra, ta có thể khắc phục bằng cách thay đổi thuật toán hoặc là bổ sung thêm dữ liệu đầu vào.
Good Fittiing trong học máy
Good Fitting (vừa khớp) là nằm giữa Underfitting và Overfitting. Mô hình cho ra kết quả hợp lý với cả tập dữ liệu huấn luyện và các tập dữ liệu mới. Đây là mô hình lý tưởng mang được tính tổng quát và khớp được với nhiều dữ liệu mẫu và cả các dữ liệu mới.
Good Fitting là mục tiêu của mỗi bài toán. Tuy nhiên, trên thực tế, vấn đề này rất khó thực hiện. Để tìm được điểm Good Fitting, ta phải theo dõi hiệu suất của thuật toán học máy theo thời gian khi thuật toán thực hiện việc học trên bộ dữ liệu huấn luyện. Ta có thể mô tả và thể hiện các thông số mô hình, độ chính xác của mô hình trên cả hai tập dữ liệu huấn luyện và đào tạo.
Theo thời gian và theo quá trình học, sai số của mô hình trên bộ dữ liệu huấn luyện sẽ giảm xuống. Tuy nhiên, nếu quá trình training quá lâu, độ chính xác của mô hình có thể giảm do vấn đề Overfitting, và việc học sẽ thực hiện trên cả dữ liệu nhiễu và dữ liệu bất thường của bộ huấn luyện. Đồng thời, sai số với bộ dữ liệu kiểm định sẽ tăng lên do khả năng phổ quát hóa của mô hình giảm xuống.
Chúng ta kì vọng rằng tại thời điểm trước khi sai số trên bộ dữ liệu có dấu hiệu tăng lên, khi đó, mô hình là tốt nhất trên cả bộ dữ liệu huấn luyện và bộ dữ liệu kiểm định.
Bạn có thể thực hiện ví dụ với bất kì thuật toán nào. Đây không phải là kỹ thuật hữu ích trong thực tế, bởi vì việc lựa chọn điểm dừng trong quá trình huấn luyện cần phải biết những giá trị trên bộ mẫu kiểm định, điều đó có nghĩa là, bộ dữ liệu kiểm định không còn được coi là “unseen” hay độc lập khách quan với bộ dữ liệu huấn luyện nữa. Bất kì sự hiểu biết nào về bộ dữ liệu that data has leaked into the training procedure.
Làm thế nào để tránh Overfitting?
Cả hai hiện tượng Overfitting và Underfitting đều khiến mô hình xây dựng có độ chính xác kém. Nhưng hiện nay, vấn đề phổ biến nhất xuất hiện là Overfitting.
Overfitting thực sự là một vấn đề quan trọng bởi vì việc đánh giá mô hình học máy trên bộ dữ liệu huấn luyện sẽ khác biệt với việc đánh giá độ chính xác của tổng thể ( những dữ liệu mà mô hình chưa gặp bao giờ).
Có hai kỹ thuật quan trọng trong việc đánh giá mô hình học máy và tránh hiện tượng overfitting:
Sử dụng kỹ thuật lấy lại mẫu để ước lượng độ chính xác của mô hình
Sử dụng tập Validation test
Lấy lại mẫu ( resampling methods) là kỹ thuật phổ biến hơn. Khi đó, ta sẽ chia tập dữ liệu thành k tập con. Cách này được gọi là k-fold cross validation. Điều này cho phép bạn thực hiện huấn luyện trên các tập dữ liệu khác nhau k lần, và từ đó, xây dựng ước lượng độ chính xác của mô hình học máy với dữ liệu mới.
Sử dụng Cross-validation là một tiêu chuẩn tốt trong học máy để ước lượng độ chính xác của mô hình với bộ dữ liệu mới. Còn trường hợp bạn có nhiều dữ liệu, việc sử dụng tập Validation sẽ là một phương pháp tuyệt vời.
Tóm tắt
Bài này giới thiệu mô tả cho bạn rằng các vấn đề trong học máy được giải quyết bằng các phương pháp thống kê.
Bạn được học rằng tổng quát hóa mô hình là tìm ra các quy luật của bộ dữ liệu và áp dụng với bộ dữ liệu mới đạt được độ chính xác cao. Cuối cùng, bạn được tìm hiểu về những thuật ngữ trong xây dựng mô hình học máy.
Overfitting: khi mô hình có độ chính xác cao với bộ dữ liệu huấn luyện, nhưng độ chính xác thấp với bộ dữ liệu mới (hay dữ liệu tổng thể).
Underfitting: khi mô hình có độ chính xác thấp trên cả bộ dữ liệu huấn luyện và bộ dữ liệu mô tả tổng thể mới.
Nguồn: https://machinelearningmastery.com
Phản hồi hoàn thiện nội dung
Bạn đang xem bài viết Sự Khác Nhau Giữa Ai, Machine Learning Và Deep Learning trên website Sansangdethanhcong.com. Hy vọng những thông tin mà chúng tôi đã chia sẻ là hữu ích với bạn. Nếu nội dung hay, ý nghĩa bạn hãy chia sẻ với bạn bè của mình và luôn theo dõi, ủng hộ chúng tôi để cập nhật những thông tin mới nhất. Chúc bạn một ngày tốt lành!