Ngày nay, không dễ để biết cách quản lý và triển khai các hệ thống AI một cách có trách nhiệm. Nhưng Văn phòng Trách nhiệm Giải trình của Chính phủ Hoa Kỳ gần đây đã phát triển khuôn khổ để giúp đảm bảo trách nhiệm giải trình và sử dụng có trách nhiệm các hệ thống AI. Nó xác định các điều kiện cơ bản cho trách nhiệm giải trình trong toàn bộ vòng đời của AI – từ thiết kế và phát triển đến triển khai và giám sát – và đưa ra các câu hỏi cụ thể cho các nhà lãnh đạo và tổ chức yêu cầu cũng như các thủ tục kiểm toán để sử dụng khi đánh giá các hệ thống AI.
Khi nói đến quản lý trí tuệ nhân tạo, không thiếu các nguyên tắc và khái niệm nhằm hỗ trợ việc sử dụng hợp lý và có trách nhiệm. Nhưng các tổ chức và các nhà lãnh đạo của họ thường phải vò đầu bứt tai khi đối mặt với những câu hỏi hóc búa về cách quản lý và triển khai các hệ thống AI ngày nay một cách có trách nhiệm.
Đó là lý do tại sao, tại Văn phòng Trách nhiệm của Chính phủ Hoa Kỳ, gần đây chúng tôi đã phát triển khuôn khổ để giúp đảm bảo trách nhiệm giải trình và sử dụng có trách nhiệm các hệ thống AI. Khuôn khổ xác định các điều kiện cơ bản để chịu trách nhiệm trong toàn bộ vòng đời của AI – từ thiết kế và phát triển đến triển khai và giám sát. Nó cũng đưa ra các câu hỏi cụ thể để hỏi và các thủ tục kiểm toán để sử dụng khi đánh giá các hệ thống AI theo bốn khía cạnh sau: 1) quản trị, 2) dữ liệu, 3) hiệu suất và 4) giám sát.
Mục tiêu của chúng tôi khi thực hiện công việc này là giúp các tổ chức và các nhà lãnh đạo chuyển từ lý thuyết và nguyên tắc sang thực tiễn có thể thực sự được sử dụng để quản lý và đánh giá AI trong thế giới thực.
Hiểu toàn bộ vòng đời của AI
Quá thường xuyên, các câu hỏi giám sát được hỏi về hệ thống AI sau nó đã được xây dựng và đã được triển khai. Nhưng điều đó vẫn chưa đủ: Các đánh giá về AI hoặc hệ thống học máy nên xảy ra ở mọi thời điểm trong vòng đời của nó. Điều này sẽ giúp xác định các vấn đề trên toàn hệ thống có thể bị bỏ sót trong quá trình đánh giá “thời điểm” được xác định hẹp.
Xây dựng trên công việc được thực hiện bởi Tổ chức Hợp tác và Phát triển Kinh tế (OECD) và các tổ chức khác, chúng tôi đã lưu ý rằng các giai đoạn quan trọng trong vòng đời của hệ thống AI bao gồm:
Thiết kế : nêu rõ các mục tiêu và mục tiêu của hệ thống, bao gồm bất kỳ giả định cơ bản nào và các yêu cầu chung về hiệu suất.
Sự phát triển : xác định các yêu cầu kỹ thuật, thu thập và xử lý dữ liệu, xây dựng mô hình và xác nhận hệ thống.
Triển khai : thí điểm, kiểm tra khả năng tương thích với các hệ thống khác, đảm bảo tuân thủ quy định và đánh giá trải nghiệm người dùng.
Giám sát : liên tục đánh giá kết quả đầu ra và tác động của hệ thống (cả dự kiến và ngoài ý muốn), tinh chỉnh mô hình và đưa ra quyết định mở rộng hoặc ngừng hoạt động hệ thống.
Quan điểm này của AI tương tự như cách tiếp cận vòng đời được sử dụng trong phát triển phần mềm. Như chúng tôi đã lưu ý trong phần riêng làm việc về phát triển nhanh , các tổ chức nên thiết lập các hoạt động vòng đời thích hợp tích hợp việc lập kế hoạch, thiết kế, xây dựng và thử nghiệm để liên tục đo lường tiến độ, giảm thiểu rủi ro và phản hồi phản hồi từ các bên liên quan.
Bao gồm Cộng đồng đầy đủ các bên liên quan
Ở tất cả các giai đoạn của vòng đời AI, điều quan trọng là phải tập hợp các bên liên quan phù hợp với nhau. Một số chuyên gia là cần thiết để cung cấp đầu vào về hiệu suất kỹ thuật của hệ thống. Các bên liên quan kỹ thuật này có thể bao gồm các nhà khoa học dữ liệu, nhà phát triển phần mềm, chuyên gia an ninh mạng và kỹ sư.
Nhưng cộng đồng đầy đủ các bên liên quan vượt ra ngoài các chuyên gia kỹ thuật. Các bên liên quan có thể nói về tác động xã hội của việc triển khai một hệ thống AI cụ thể cũng cần thiết. Các bên liên quan bổ sung này bao gồm các chuyên gia chính sách và pháp lý, các chuyên gia về chủ đề, người sử dụng hệ thống và quan trọng là các cá nhân bị ảnh hưởng bởi hệ thống AI.
Tất cả các bên liên quan đóng vai trò thiết yếu trong việc đảm bảo rằng các mối quan tâm về đạo đức, luật pháp, kinh tế hoặc xã hội liên quan đến hệ thống AI được xác định, đánh giá và giảm thiểu. Đầu vào từ một loạt các bên liên quan – cả kỹ thuật và phi kỹ thuật – là một bước quan trọng để giúp bảo vệ khỏi những hậu quả không mong muốn hoặc sự thiên vị trong một hệ thống AI.
Bốn khía cạnh của trách nhiệm giải trình AI
Khi các tổ chức, nhà lãnh đạo và người đánh giá bên thứ ba tập trung vào trách nhiệm giải trình trong toàn bộ vòng đời của hệ thống AI, có bốn khía cạnh cần xem xét: quản trị, dữ liệu, hiệu suất và giám sát. Trong mỗi lĩnh vực, có những hành động quan trọng cần thực hiện và những điều cần tìm kiếm.
Đánh giá cấu trúc quản trị. Một hệ sinh thái lành mạnh để quản lý AI phải bao gồm các quy trình và cấu trúc quản trị. Quản trị AI phù hợp có thể giúp quản lý rủi ro, chứng minh các giá trị đạo đức và đảm bảo tuân thủ. Trách nhiệm giải trình đối với AI có nghĩa là tìm kiếm bằng chứng chắc chắn về quản trị ở cấp độ tổ chức, bao gồm các mục tiêu và mục tiêu rõ ràng cho hệ thống AI; vai trò, trách nhiệm và đường quyền hạn được xác định rõ ràng; một lực lượng lao động đa ngành có khả năng quản lý các hệ thống AI; một tập hợp rộng rãi các bên liên quan; và các quy trình quản lý rủi ro. Ngoài ra, điều quan trọng là phải tìm kiếm các yếu tố quản trị cấp hệ thống, chẳng hạn như thông số kỹ thuật được lập thành văn bản của hệ thống AI cụ thể, sự tuân thủ và quyền truy cập của các bên liên quan vào thông tin vận hành và thiết kế hệ thống.
Hiểu dữ liệu. Giờ đây, hầu hết chúng ta đều biết rằng dữ liệu là mạch máu của nhiều hệ thống AI và máy học. Nhưng cùng một dữ liệu cung cấp cho hệ thống AI sức mạnh của chúng cũng có thể là một lỗ hổng. Điều quan trọng là phải có tài liệu về cách dữ liệu đang được sử dụng trong hai giai đoạn khác nhau của hệ thống: khi nó được sử dụng để xây dựng mô hình cơ bản và trong khi hệ thống AI đang hoạt động thực tế. Giám sát tốt AI bao gồm việc có tài liệu về các nguồn và nguồn gốc của dữ liệu được sử dụng để phát triển các mô hình AI. Các vấn đề kỹ thuật xung quanh việc lựa chọn biến và sử dụng dữ liệu đã thay đổi cũng cần được chú ý. Cần phải kiểm tra độ tin cậy và tính đại diện của dữ liệu, bao gồm cả khả năng gây ra sự thiên vị, không công bằng hoặc các mối quan tâm xã hội khác. Trách nhiệm giải trình cũng bao gồm đánh giá quyền riêng tư và bảo mật dữ liệu của hệ thống AI.
Xác định mục tiêu và chỉ số hiệu suất. Sau khi một hệ thống AI đã được phát triển và triển khai, điều quan trọng là không được để quên các câu hỏi, “Tại sao chúng tôi lại xây dựng hệ thống này ngay từ đầu?” và “Làm thế nào để chúng tôi biết nó đang hoạt động?” Trả lời những câu hỏi quan trọng này đòi hỏi phải có tài liệu rõ ràng về mục đích đã nêu của hệ thống AI cùng với các định nghĩa về số liệu hiệu suất và các phương pháp được sử dụng để đánh giá hiệu suất đó. Ban quản lý và những người đánh giá các hệ thống này phải có khả năng đảm bảo ứng dụng AI đáp ứng các mục tiêu đã định. Điều quan trọng là các đánh giá hiệu suất này diễn ra ở cấp độ hệ thống rộng nhưng cũng tập trung vào các thành phần riêng lẻ hỗ trợ và tương tác với hệ thống tổng thể.
Xem xét các kế hoạch giám sát. AI không nên được coi là một hệ thống “thiết lập nó và quên nó đi”. Đúng là nhiều lợi ích của AI bắt nguồn từ việc nó tự động hóa các nhiệm vụ nhất định, thường ở quy mô và tốc độ vượt quá khả năng của con người. Đồng thời, việc giám sát hiệu suất liên tục của mọi người là điều cần thiết. Điều này bao gồm việc thiết lập một phạm vi sai lệch mô hình có thể chấp nhận được và giám sát liên tục để đảm bảo rằng hệ thống tạo ra kết quả mong đợi. Giám sát dài hạn cũng phải bao gồm các đánh giá về việc liệu môi trường vận hành có thay đổi hay không và các điều kiện hỗ trợ mở rộng quy mô hoặc mở rộng hệ thống sang các cơ sở hoạt động khác ở mức độ nào. Các câu hỏi quan trọng khác cần đặt ra là liệu hệ thống AI có còn cần thiết để đạt được các mục tiêu đã định hay không và những chỉ số nào cần thiết để xác định thời điểm ngừng hoạt động một hệ thống nhất định.
Suy nghĩ như một kiểm toán viên
Chúng tôi đã duy trì khuôn khổ của mình trong các tiêu chuẩn kiểm toán và kiểm soát nội bộ hiện hành của chính phủ. Điều này cho phép các thực hành và câu hỏi kiểm toán của tổ chức được sử dụng bởi các nguồn lực giám sát và trách nhiệm hiện có mà các tổ chức đã có quyền truy cập. Khung cũng được viết bằng ngôn ngữ đơn giản để người dùng không chuyên về kỹ thuật có thể áp dụng các nguyên tắc và thực hành của nó khi tương tác với các nhóm kỹ thuật. Mặc dù công việc của chúng tôi tập trung vào trách nhiệm giải trình của chính phủ đối với việc sử dụng AI của chính phủ, nhưng cách tiếp cận và khuôn khổ có thể dễ dàng thích ứng với các lĩnh vực khác.
Khuôn khổ đầy đủ đưa ra các câu hỏi và thủ tục đánh giá cụ thể bao gồm bốn khía cạnh được mô tả ở trên (quản trị, dữ liệu, hiệu suất và giám sát). Các giám đốc điều hành, nhà quản lý rủi ro và chuyên gia kiểm toán – hầu như bất kỳ ai đang làm việc để thúc đẩy trách nhiệm giải trình cho các hệ thống AI của tổ chức – ngay lập tức có thể đưa khuôn khổ này vào sử dụng, vì nó thực sự xác định các phương thức kiểm toán và cung cấp các câu hỏi cụ thể để hỏi khi đánh giá hệ thống AI.
Khi nói đến việc xây dựng trách nhiệm giải trình cho AI, bạn không bao giờ nghĩ như một kiểm toán viên.
