Xin xin chào và mừng đón bạn quay lại khóa học rất đầy đủ này về đo lường và tính toán Tiến hóa! Trong bài bác đăng này, bọn họ sẽ bắt đầu với bài bác 1 của khóa học, kim chỉ nan tối ưu hóa. Trong bài trước, cửa hàng chúng tôi đã trình diễn tổng quan tiền cơ phiên bản về khóa học, bạn cũng có thể tham khảo tại đây:https://morganscottbrandon.medium.com/evolutionary-computation-full-course-overview-f4e421e945d9

Để bắt đầu, đúng mực thì định hướng tối ưu hóa là gì? triết lý tối ưu hóa là một nhánh của toán học dành riêng cho việc xử lý các vụ việc tối ưu hóa. Các bài toán về tối ưu hóa là các hàm toán học mà bọn họ muốn giảm thiểu hoặc về tối đa hóa quý giá của hàm. Hầu hết dạng sự việc này được tìm thấy rất nhiều trong khoa học máy tính và toán học tập ứng dụng. Tìm ra chiến thuật tốt đến những vấn đề này là điều đem về cho khoa học dữ liệu và các mô hình học máy có độ chính xác tốt, vì bản thân bọn chúng được xây dựng dựa vào các phương pháp số được áp dụng để tìm thấy các giải pháp tốt để giảm thiểu các hàm lỗi. Lấy ví dụ như về các vấn đề về tối ưu hóa phổ biến trong Học máy là sút thiểu MSE, MAE, Cross-Entropy, v.v.

Bạn đang xem: Lý thuyết tối ưu hóa

Mục lục Tổng quat các vấn đề không biến thành ràng buộc các vấn đề hạn chế các vấn đề về nhiều giải pháp Các sự việc đa mục tiêu Các công dụng kiểm tra điểm chuẩn chỉnh Phần tóm lại

Trong một tổng quan lại ngắn gọn, triết lý tối ưu hóa rất có thể được rút gọn thành cha câu hỏi:

1. Tính năng Mục tiêu là gì?

2. Tập hợp các biến thân mật là gì?

3. Bộ Ràng buộc là gì?

Biết được hàm mục tiêu của công ty trông như thế nào về số lắp thêm nguyên, miền và số rất trị cục bộ là rất quan trọng đặc biệt trong việc chọn 1 thuật toán. Ngoại trừ ra, buộc phải hiểu kiểu dữ liệu cho từng biến: tách rạc hay liên tục? Cuối cùng, biết tập hợp những ràng buộc là điều quan trọng để số lượng giới hạn thuật toán của người tiêu dùng trong việc tìm kiếm không khí miền chỉ cho các chiến thuật khả thi.

Nếu các bạn nhớ trường đoản cú giải tích, optima, hay nói một cách khác là điểm cho tới hạn là các điểm trong không gian miền sao để cho hệ số góc của hàm tại điểm đó bằng không. Những đặc điểm đó thường được call là rất trị, được phân các loại là cực tiểu hoặc cực đại. Extrema hoàn toàn có thể được phân loại thành cha bốn nhiều loại chính:

1. Rất yếu

2. Cực mạnh

3. Cực trị toàn cầu

4. Điểm yên xe


*
https://scpo-compecon.github.io/CoursePack/Html/optimization

Điểm cực trị yếu ớt là những điểm tới hạn làm thế nào cho các điểm sát bên xung quanh có cùng quý hiếm hàm, tạo thành một bình nguyên (như hình trên). Cực trị khỏe khoắn là những điểm cho tới hạn làm sao để cho nó có giá trị hàm lớn nhất (đối với cực lớn hóa) hoặc nhỏ tuổi nhất (đối với rất tiểu hóa) so với các điểm lạm cận, tạo nên một thung lũng hoặc núi. Rất trị tổng thể là các điểm rất trị mạnh làm thế nào để cho giá trị hàm của chính nó là lớn số 1 (đối với cực đại) hoặc bé dại nhất (đối với rất tiểu) bên trên toàn cầu với tất cả các điểm cực trị mạnh. Cuối cùng, Điểm yên ổn ngựa, cửa hàng chúng tôi sẽ không giải quyết và xử lý nhiều vụ việc này vào khóa học của bản thân nhưng chúng gồm xảy ra. Điểm yên ngựa đại diện thay mặt cho các điểm uốn nắn cong giữa xu thế lõm lên và lõm xuống. Bởi vì chúng tôi sẽ không còn đối phó với Điểm lặng ngựa, tôi sẽ không đề cập không ít đến trực giác của họ.

Có bốn loại việc tối ưu hóa chính, không xẩy ra ràng buộc, Bị ràng buộc, Đa chiến thuật và Đa mục tiêu.

những vấn đề không trở nên ràng buộc

Các vấn đề không biến thành ràng buộc hệt như chúng nghe gồm vẻ không biến thành ràng buộc. Đây là hồ hết hàm mà bọn họ muốn buổi tối thiểu hóa hoặc tối đa hóa hàm mang lại trước một tập hợp những biến bao gồm miền liên tục, rời rốc hoặc cả hai. Ở đây shop chúng tôi có một định nghĩa:


*
Hình ảnh của người sáng tác
các vấn đề tinh giảm

Các vụ việc bị ràng buộc cũng như các vấn đề không biến thành ràng buộc về mặt thiết lập nhưng có số lượng giới hạn duy duy nhất về không gian đầu vào. Ở đây shop chúng tôi có một định nghĩa:


*
Hình hình ảnh của tác giả

Như một ví dụ như minh họa từ bỏ sách giáo khoa, đó là hình ảnh của hàm phương châm của cửa hàng chúng tôi mà công ty chúng tôi muốn tìm giá bán trị nhỏ dại nhất, không tính việc chúng tôi đưa ra một buộc ràng bất đẳng thức phân tách miền của công ty chúng tôi thành một không gian khả thi và khả thi. Thật không may, do giảm bớt của chúng tôi, mức tối thiểu chung xảy ra trong không khí miền khả thi; theo cách này, chúng tôi cần kiểm soát và điều chỉnh thuật toán của mình để không kiếm kiếm gần những vị trí này (chúng tôi sẽ trình bày cách thực hiện sau).


*
Hình A.3 từ bỏ Sách giáo khoa

Dưới đây, cửa hàng chúng tôi có một ví dụ về sự tương tác của không gian miền thân hai biến chuyển trong một môi trường bị ràng buộc. Ở đây chúng ta cũng có thể thấy rằng X cùng Y là các biến liên tục rất có thể nằm trong vòng từ 0 cho 2. Mặc dù nhiên, bọn họ thêm một ràng buộc chẳng hạn như X có xu thế về 2, Y giảm; mà lại nếu Y có xu hướng về 2, X ban đầu giảm. Điều này rất có thể được thấy được bởi vòng chào bán nguyệt color xanh, đại diện thay mặt cho không gian đầu vào khả thi với nền trong suốt đại diện thay mặt cho không khí miền khả thi.


*
https://en.wikipedia.org/wiki/Nonlinear_programming
những vấn đề về nhiều giải pháp

Các vụ việc đa chiến thuật là các tính năng không gồm điểm cực trị toàn cục duy nhất; vậy vào đó là các giải pháp toàn cầu ràng buộc. Một trong những trường hòa hợp này, shop chúng tôi muốn trả lại tất cả các giải pháp toàn ước được buộc ràng (do đó mang tên là đa giải pháp) để hỗ trợ cho shop chúng tôi một loạt các tùy chọn để lựa chọn. Vào một vận dụng thực tế, công ty chúng tôi có thể ao ước giảm thiểu một trong những loại hàm bỏ ra phí, nơi shop chúng tôi nhận thấy rằng có không ít giải pháp. Phương châm của cửa hàng chúng tôi là trả về nhiều chiến thuật này để chúng tôi có năng lực chọn điểm hoặc vectơ có giá trị trở nên nào cân xứng nhất với sở thích của chúng tôi. Ở đây công ty chúng tôi có một định nghĩa chủ yếu xác:


Dưới đây, chúng tôi có một lấy một ví dụ về một vấn đề loại các giải pháp. Nó là 1 trong biến thể của hàm sóng sin. Như bạn có thể thấy, bọn họ đã gắn cực tiểu và cực đại toàn thể cho vụ việc này. Xem xét Tuy nhiên, ko phải toàn bộ các việc đa nghiệm đều xẩy ra theo chu kỳ hệt như sóng sin, nơi hoàn toàn có thể dễ dàng dự kiến giá trị tiếp theo, các điểm rất trị tổng thể bị buộc ràng này rất rất có thể sẽ mở ra nhiều trong không khí miền và không tồn tại mẫu.

Xem thêm: Mẫu Đơn Xin Ly Hôn Viết Đơn Xin Ly Hôn Chuẩn Mới Nhất Năm 2021


những vấn đề đa mục tiêu

Các sự việc đa phương châm (MOP) là những vấn đề mà chúng ta có nhiều mục tiêu khác nhau, hoặc những bài toán về tối ưu hóa, mà họ cần xử lý đồng thời. Có hai phương thức chính để giải những dạng vấn đề này:

1. Tổng hợp bao gồm trọng số

2. Pareto Optimality

Tổng hợp tất cả trọng số chỉ dễ dàng là tổng hợp của toàn bộ các hàm mục tiêu. Shop chúng tôi chỉ dễ dàng là tính tổng từng hàm mục tiêu, nhân với một quý hiếm trọng số tương quan và nỗ lực giảm thiểu hoặc buổi tối đa hóa tổng đó. Người ta thường trả định rằng tổng các trọng số bởi một. Ở đây bọn họ có một hàm tổng hợp ví dụ mà họ muốn thu nhỏ tuổi đồng thời F1 và F2. Xem xét rằng từng Hàm tất cả một quý giá trọng số liên quan, những giá trị trọng số béo hơn cho biết thêm hàm như thế nào có ảnh hưởng nhất.


Pareto Optimality là một trong cách không giống để giải quyết và xử lý MOP bằng phương pháp phân loại các chiến thuật khả thi vào một cấu trúc thống trị. Sự kẻ thống trị là một cách để phân biệt giải pháp tốt và chiến thuật xấu. Có hai loại kẻ thống trị chính: mạnh dạn và Yếu. Sự thống trị mạnh bạo xảy ra lúc một giải pháp khả thi bằng hoặc giỏi hơn một giải pháp khả thi không giống trong toàn bộ các mục tiêu và tốt hơn trong ít nhất một mục tiêu. Đây là 1 trong những định nghĩa đúng đắn từ sách giáo khoa:


Mặt khác, sự ách thống trị yếu bảo rằng một giải pháp khả thi ko tệ rộng một phương án khác trong tất cả các mục tiêu. Đây là 1 trong những định nghĩa bao gồm xác:



Trên trục x họ có quý giá F1 cùng trên trục y chúng ta có cực hiếm F2. Vào trường hòa hợp này, cửa hàng chúng tôi muốn tối thiểu hóa cả F1 và F2, vì chưng vậy nghiệm cực tốt tuyệt đối xẩy ra tại điểm cội khi F1 == F2 == 0. Điểm F được biểu hiện ở bên dưới giữa bên trái. Đầu tiên, bọn họ có toàn bộ các điểm bị bỏ ra phối bạo dạn bởi F, như được bộc lộ bằng xe hơi bóng (phần 2). Những điểm này bị bỏ ra phối trẻ trung và tràn trề sức khỏe bởi F vì chưng chúng có mức giá trị kém hơn sinh sống F1 VÀ sống F2. Khía cạnh khác, phần 1 và 4 chỉ bị chi phối yếu vày F vày chúng có giá trị tốt hơn ở ít nhất một mục tiêu. Phần 1 nhát hơn F về khía cạnh F2 bởi giá trị hàm của nó to hơn nhưng giỏi hơn về khía cạnh F1 do giá trị hàm của nó nhỏ dại hơn. Phần 4 thì ngược lại, nó nhát hơn F về F1 nhưng giỏi hơn về F2. Cuối cùng, chúng ta có Phần 3, thống trị các Phần 1, 2,4 cùng Điểm F do phần này xuất sắc hơn tất cả các tác dụng khác ở ít nhất một phương châm trong khi bằng hoặc giỏi hơn phần còn lại.

Toàn bộ mục đích của việc đưa ra khái niệm kẻ thống trị này là để tìm ra Mặt trận Pareto . Pareto-Front một tập hợp các vectơ đưa ra quyết định sao cho từng vectơ đưa ra phối yếu lẫn nhau nhưng lại chi phối khỏe mạnh tất cả những vectơ không giống trong không khí đầu vào. Ở đây công ty chúng tôi có một lấy một ví dụ về Pareto-Front đến hai mục tiêu:


Như bạn cũng có thể thấy, rất tiểu xảy ra khi cả F1 == F2 == 0; tuy nhiên, vấn đề là điểm tối thiểu của F1 có lẽ rằng không giống với F2. Vì đó, chúng tôi nhận được một loạt những giá trị để lựa chọn. Như đã nêu trước đây, trận mạc Pareto giai cấp một giải pháp yếu ớt trong lúc thống trị trẻ trung và tràn trề sức khỏe phần còn sót lại của không khí miền; theo cách này, việc trả lại phương diện trước này mang lại cho những người dùng tài năng lựa chọn những giải pháp cân xứng nhất với nhu yếu của họ. Ví dụ: trường hợp F1 đặc biệt quan trọng hơn để giảm thiểu F2 kia thì chúng ta cũng có thể chọn giải pháp chi phối yếu có ích cho F1. Đây là một trong ví dụ khác về Preto Front đến một sự việc rời rạc:


Lý vày tôi bao hàm điều này là để chỉ ra rằng Pareto-Front chưa phải lúc nào thì cũng là một mặt đường cong rất đẹp như vào Hình A.49, nhưng có thể rời rộc rạc và cực nhọc dự đoán.

Các công dụng kiểm tra điểm chuẩn

Các chức năng kiểm tra điểm chuẩn chỉnh là các bài toán về tối ưu hóa toán học được thiết kế cho những thuật toán kiểm tra. Đây là số đông vấn đề có thiết kế nhân tạo không tồn tại ứng dụng, nhưng được thiết kế theo phong cách theo cách mà chúng sẽ "khó" hoặc "khó hơn" so với ứng dụng trong quả đât thực. Trong tài liệu, thay vị so sánh những thuật toán dựa trên những ứng dụng nhất định hoàn toàn có thể yêu mong kiến ​​thức miền sâu rộng lớn về chủ đề; các nhà nghiên cứu và phân tích thường so sánh những chức năng bằng cách họ rất có thể tìm thấy điểm rất trị toàn cục trong các chức năng kiểm tra điểm chuẩn chỉnh này. Có tương đối nhiều loại tính năng kiểm tra điểm chuẩn khác nhau, dưới đây là ba tính năng kiểm tra thường nhìn thấy trong tài liệu:


Sau kia trong khóa học, chúng tôi sẽ kiểm tra những thuật toán của cửa hàng chúng tôi trên các hàm kiểm tra giống như những hàm này.

Phần tóm lại

Tóm lại, các bài toán tối ưu hóa rất có thể được chia thành bốn loại khác nhau. Những vấn đề không trở nên giới hạn trong số ấy các giới hạn được cố định và thắt chặt sao cho cái đó không nuốm đổi. Những vấn đề hạn chế trong số ấy miền thay đổi phụ thuộc vào những giá trị biến. Những bài toán tất cả nhiều giải pháp trong đó không tồn tại cực tiểu / rất đại tổng thể duy nhất và công ty chúng tôi muốn trả về toàn bộ các giá trị. Cuối cùng, đa mục tiêu, nơi shop chúng tôi muốn tìm kiếm thấy phương diện trước của pareto.

Các vấn đề về về tối ưu hóa là vô cùng phong phú trong nhiều lĩnh vực nghiên cứu, mặc dù đó là từ lập kế hoạch lưu lượng, buổi tối đa hóa chế tạo dựa trên các biến khác nhau, thực hiện điện kết quả đến huấn luyện mạng nơ-ron, quy mô trò nghịch hoặc tối ưu hóa các quy mô khoa học dữ liệu. Mục tiêu một trong những trường hòa hợp này là giảm thiểu hoặc buổi tối đa hóa chức năng tối ưu hóa, trong các số ấy mỗi optima đại diện thay mặt cho một phương án khả thi. Mặc dù nhiên, shop chúng tôi không muốn chỉ gồm một phương án khả thi, cửa hàng chúng tôi muốn phương án tốt nhất, cực tiểu hoặc cực to toàn cục. Bởi vì vậy, làm cầm cố nào để họ tìm thấy phần lớn điểm rất trị thế giới này? bạn cũng có thể sử dụng các cách thức số tiêu chuẩn như phương pháp Newtons hoặc gradient liên hợp; hoặc có lẽ bạn cũng có thể sử dụng các phương pháp tối ưu hóa khác như đi tắt đón đầu, leo đồi hoặc ủ mô phỏng. Vào loạt bài xích này, chúng ta sẽ đề cập đến việc sử dụng đo lường và tính toán tiến hóa như một phương tiện đi lại để tra cứu ra phần nhiều cực trị toàn cục này.


Tại sao chúng ta muốn sử dụng thống kê giám sát tiến hóa ngay từ trên đầu thay vì các kỹ thuật tối ưu hóa cổ điển? sự việc với những thuật toán về tối ưu hóa cổ xưa thường là chúng có tính xác định, tức là bạn hỗ trợ cho nó cùng một điểm thuở đầu và nó sẽ luôn cung cấp cho bạn cùng một đầu ra, nó cũng tuần tự, tức là thuật toán chỉ hoàn toàn có thể hoạt động bằng cách sử dụng một điểm tại 1 thời điểm với nó có thể yêu cầu tin tức khác biệt, nhất là các dẫn xuất bậc một cùng bậc hai. Mặt khác, đo lường tiến hóa là một cách thức tìm tìm ngẫu nhiên, tức là nếu bạn cung cấp cho nó và một điểm ban đầu, nó không được đảm bảo an toàn rằng đầu ra output sẽ tương đương nhau, xuất sắc hơn hoặc tệ hơn, nó cũng sử dụng tìm kiếm song song bằng phương pháp làm câu hỏi với một tập hợp của những điểm ban đầu chứ chưa hẳn là một, với nó hoạt động cực kỳ kết quả khi vụ việc không thể phân minh được.Vì những nguyên nhân này, thống kê giám sát tiến hóa hay được sử dụng cho những bài toán được phân loại là bài toán khó NP, chẳng hạn như nhân viên bán hàng đi du ngoạn hoặc lập kế hoạch trình, hoặc lúc không thể khác nhau được công dụng tối ưu hóa.

Phần này chấm dứt Phần 1 về triết lý tối ưu hóa, hãy quan sát và theo dõi Phần 2 cùng với phần giới thiệu về thống kê giám sát Tiến hóa, một phương pháp để giải những bài toán kiểu buổi tối ưu hóa: https://morganscottbrandon.medium.com/unit-2-introduction-to-evolutionary-computation-85764137c05a

Sách giáo khoa:

Trí tuệ tính toán: Giới thiệu, Ấn bạn dạng thứ hai, Andries p Engelbrecht, 2007, pdf