Kinh nghiệm xây dựng luật và quy tắc đạo đức về trí tuệ nhân tạo (AI) trên thế giới, hàm ý chính sách cho Việt Nam
lượt xem 5
download
Bài viết "Kinh nghiệm xây dựng luật và quy tắc đạo đức về trí tuệ nhân tạo (AI) trên thế giới, hàm ý chính sách cho Việt Nam" tập trung vào vấn đề bảo vệ quyền con người, đảm bảo đạo đức trong phát triển và sử dụng AI, và đảm bảo tính minh bạch và trách nhiệm. Đây là cơ sở quan trọng để xây dựng khung pháp lý đảm bảo quyền và lợi ích của các bên liên quan, hỗ trợ ứng dụng trí tuệ nhân tạo đúng hướng phục vụ chuyển đổi số, phát triển kinh tế và cải thiện đời sống. Mời các bạn cùng tham khảo!
Bình luận(0) Đăng nhập để gửi bình luận!
Nội dung Text: Kinh nghiệm xây dựng luật và quy tắc đạo đức về trí tuệ nhân tạo (AI) trên thế giới, hàm ý chính sách cho Việt Nam
- KINH NGHIỆM XÂY DỰNG LUẬT VÀ QUY TẮC ĐẠO ĐỨC VỀ TRÍ TUỆ NHÂN TẠO (AI) TRÊN THẾ GIỚI, HÀM Ý CHÍNH SÁCH CHO VIỆT NAM ThS. Nguyễn Phúc Quân Phòng Quản lý Khoa học, Trường Đại học Đông Á Tóm tắt: Trí tuệ nhân tạo có có tiềm năng để giải quyết các vấn đề phức tạp trong nhiều lĩnh vực, bao gồm y tế, công nghiệp, và giáo dục và cung cấp dịch vụ tốt hơn cho con người. Tuy nhiên, nó cũng đặt ra những thách thức quan trọng liên quan đến đạo đức, an ninh đòi hỏi phải có quy định pháp luật điều chỉnh. Trên thế giới, nhiều quốc gia đã phát triển luật pháp và chính sách AI để quản lý và kiểm soát việc sử dụng AI. Các quy định này thường tập trung vào bảo vệ quyền con người, đảm bảo đạo đức trong phát triển và sử dụng AI, và đảm bảo tính minh bạch và trách nhiệm. Đây là cơ sở quan trọng để xây dựng khung pháp lý đảm bảo quyền và lợi ích của các bên liên quan, hỗ trợ ứng dụng trí tuệ nhân tạp đúng hướng phục vụ chuyển đổi số, phát triển kinh tế và cải thiện đời sống. Các vấn đề trọng tâm cần thảo luận và có chính sách tức thời bao gồm: trí tuệ nhân tạo trong ý tế, xe tự hành và sở hữu trí tuệ. Từ khóa: trí tuệ nhân tạo, an ninh, đạo đức, quy định, luật pháp EXPERIENCES IN CRAFTING LAWS AND ETHICAL PRINCIPLES REGARDING ARTIFICIAL INTELLIGENCE (AI) GLOBALLY, POLICY IMPLICATIONS FOR VIETNAM Artificial Intelligence (AI) has the potential to address complex issues in various fields, including healthcare, industry, and education, and provide better services to humans. However, it also poses significant challenges related to ethics and security, necessitating legal regulations. Around the world, many countries have developed AI laws and policies to manage and control AI usage. These regulations often focus on protecting human rights, ensuring ethics in AI development and usage, and ensuring transparency and responsibility. These are crucial foundations for establishing a legal framework that safeguards the rights and interests of stakeholders, supports the proper implementation of AI for digital transformation, economic development, and improved quality of life. Key issues that require immediate discussion and 648
- policy consideration include AI in healthcare, autonomous vehicles, and tellectual property ownership. Keywords: Artificial Intelligence, Security, Ethics, Regulations, Legislation 1. Mở đầu 1.1. Giới thiệu chung về trí tuệ nhân tạo Trí Tuệ Nhân Tạo (Artificial Intelligence - AI) là một lĩnh vực trong khoa học máy tính nhằm phát triển các hệ thống và chương trình máy tính có khả năng thực hiện các nhiệm vụ cần sự "suy nghĩ" và "học hỏi" tương tự như con người(Quân, 2023). AI mô phỏng khả năng tư duy, nhận thức, quyết định, và giải quyết vấn đề, cũng như có thể tự động hóa nhiều công việc mà trước đây cần sự can thiệp của con người. Các tiến bộ trong lĩnh vực này đã thúc đẩy sự biến đổi toàn diện trong cách chúng ta làm việc, tương tác, và quản lý thông tin. Các ứng dụng AI từ hệ thống tự động hóa, chẩn đoán bệnh tới giao thông thông minh đang thay đổi cách chúng ta sống và làm việc. Trong bối cảnh này, quy định luật và đạo đức trở nên càng quan trọng hơn để đảm bảo rằng sự phát triển này đem lại lợi ích cho xã hội và không gây hậu quả không mong muốn(Atkinson et al., 2020; Ebers et al., 2021; Müller, 2020; Nguyen et al., 2023; Perc et al., 2019). Việc nghiên cứu về quy định luật và đạo đức trong AI và Kỷ nguyên Số không chỉ là một nhiệm vụ cần thiết mà còn là một trách nhiệm đối với cộng đồng toàn cầu (Perc et al., 2019). Cùng với tiềm năng mang lại sự tiến bộ và hiệu suất, AI và Kỷ nguyên Số cũng đặt ra nhiều thách thức đạo đức và pháp lý(Atkinson et al., 2020; Guidance, 2021; Müller, 2020; Nguyen et al., 2023). Từ bảo vệ quyền riêng tư cho đến đảm bảo công bằng và minh bạch, việc nghiên cứu và đưa ra giải pháp là cách chúng ta có thể đảm bảo rằng chúng ta tận dụng tối đa tiềm năng của công nghệ này mà không bỏ lỡ các vấn đề quan trọng về luật pháp và đạo đức. 1.2. Thách thức và Rủi ro liên quan đến AI và Đạo Đức, pháp luật Sư phát triển mạnh mẽ của trí tuệ nhân tạo đã từng bước hỗ trợ con người trong nhiều hoạt động, học tập, nghiên cứu, sản xuất, kinh doanh. Tuy nhiên. bên cạnh đó sự bùng nổ quá nhanh của trí tuệ nhân tạp và các nội dung do AI tạo ra đã và đang có nhiều tác động tiêu cực(Quân, 2023). Cơn sốt ChatGPT và những nội dung do nó tạo ra đang là một thách thức đối với giáo dục, nhiều trường đại học trên thế giới hiện chưa kiểm soát được việc sinh viên sử dụng AI trong gian lận thi cử, do các phần mềm chống đạo văn truyền thống và các công cụ phát hiện 649
- nội dung do AI viết chưa thực sự hiệu quả nên phải đổi chính sách chuyển sang thi viết tay(Quân, 2023). Nhiều bài báo khoa học có đồng tác giả, thậm chí AI là tác giả chính đã được công bố, song song với đó các tổ chức xuất bản uy tín đã cấm ChatGPT (Quân, 2023). ChatGPT cũng đã được sử dụng trong viết các tiểu thuyết, một số tác phẩm có thể tìm thấy tại amazon (McGee, 2023) Cùng với đó AI đã có thể dựng hình ảnh, video tự động đặc biệt là các nội dung deepfake, (đổi gương mặt) là công bị nguy hiểm đang bị chỉ trích do gắn liền với nội dung tình dục, tống tiền, lừa đảo (Kugler & Pace, 2021). Nhiều người nổi tiếng trên thế giới thường xuyên bị ghép mặt vào các nội dung phản cảm, chất lượng, độ chi tiết của các video này đã đạt tới mức khó phân biệt được so với video gốc, nhiều trang web chia sẻ video lớn đã cấm nội dung deepfake(Karasavva & Noorbhai, 2021), tại Việt Nam đã có báo cáo ghi nhận việc sử dụng video deepfake cho mục đích lừa đảo(Cường, 2023). Việc AI có thể vẽ tranh, tạo ảnh tự động cũng đã bị lợi dụng để sao chép và chuyển đổi tác phẩm của người khác(Škiljić, 2021), nhiều đối tượng đã sử dụng tranh ảnh do AI vẽ và dành chiến thắng ở nhiều cuộc thi(Định, 2023; Quý, 2022), ở chiều ngược lại do chưa có công cụ hiệu quả phân biện nội dung do người và máy nên đã có nghệ sĩ bị loại khỏi cuộc thi do có phong cách giống với máy(Nha, 2023). Cách đối phó tạm thời với hiện tượng này, nhiều nghệ sĩ đã phải công bố chi tiết quá trình sáng tạo nội dung của mình kèm với tác phẩm. Sử dụng trí tuệ nhân tạp trong hành chính và cung cấp các dịch vụ cũng gây ra tranh luận về xu hướng chính trị của AI, báo cáo cho thấy ChatGPT có xu hướng cánh tả, ủng hộ nữ quyền(Hartmann et al., 2023), một bộ lọc đã được thiết lập cho công cụ này để điều chỉnh các nội dung theo định hướng, khi sử dụng một số thủ thuật để điều hướng nội chung ChatGPT thoát ra bộ lọc cho thấy câu trả lời hoàn toàn khác (nghiên cứu của tác giả, chưa công bố). Ngoài ra do dữ liệu thực tế cho thấy người da màu có tỉ lệ bạo lực, tội phạm cao nên các AI khi xử lý thường cho ra kết quả được cho là định kiến phân biệt chủng tộc, tỉ lệ xe tự lái gây tai nạn cho người da màu cũng cao hơn da trắng, nguôn nhân vẫn chưa được làm sáng tỏ nhưng AI vẫn bị chỉ trích là phân biệt chủng tộc(Cheuk, 2021) 2. Quy định, chính sách về AI trên trên thế giới 2.1. Quy định của các tổ chức 2.1.1. Universal Guidelines for Artificial Intelligence: 650
- Đây là một tập hợp các hướng dẫn đạo đức do Hiệp hội Trí tuệ nhân tạo (AI Ethics Society) phát triển. Chúng tập trung vào việc đảm bảo rằng AI phải tôn trọng quyền cá nhân, đảm bảo sự minh bạch, và hạn chế các hậu quả tiêu cực (Voice, 2018). Universal Guidelines for Artificial Intelligence là một tài liệu được đề xuất bởi các chuyên gia và tổ chức xã hội dân sự nhằm đưa ra các nguyên tắc cơ bản để hướng dẫn thiết kế và sử dụng trí tuệ nhân tạo (AI) một cách đúng đắn và đảm bảo quyền lợi của con người. Tài liệu này được đề xuất vào ngày 23 tháng 10 năm 2018 tại Brussels, Bỉ và được đưa vào các tiêu chuẩn đạo đức, luật pháp quốc gia và các thỏa thuận quốc tế(Voice, 2018). Tài liệu này bao gồm các nguyên tắc như quyền minh bạch, quyền xác định cuối cùng của con người, nghĩa vụ công khai danh tính của nhà điều hành hệ thống AI, nghĩa vụ chịu trách nhiệm của tổ chức cho các quyết định được đưa ra bởi hệ thống AI, nghĩa vụ đảm bảo rằng hệ thống AI không phản ánh thiên vị hoặc đưa ra các quyết định phân biệt chủng tộc hoặc giới tính,… (Voice, 2018). Các chi tiết chính của tài liệu này bao gồm: - Nghĩa vụ chính trực: Tổ chức phải đảm bảo rằng hệ thống AI không phản ánh thiên vị hoặc đưa ra các quyết định phân biệt chủng tộc hoặc giới tính. - Nghĩa vụ chịu trách nhiệm: Tổ chức phải chịu trách nhiệm cho các quyết định được đưa ra bởi hệ thống AI. - Nghĩa vụ công khai danh tính của nhà điều hành hệ thống AI: Nhà điều hành hệ thống AI phải công khai danh tính của mình. - Quyền minh bạch: Tất cả cá nhân có quyền biết cơ sở của một quyết định AI liên quan đến họ. Điều này bao gồm việc truy cập vào các yếu tố, logic và kỹ thuật đã sản xuất kết quả. - Nghĩa vụ xác định cuối cùng của con người: Tất cả cá nhân có quyền được xác định cuối cùng bởi một người. Nghĩa vụ đảm bảo tính chính xác, tin cậy, hiệu lực và khả tái lập của các quyết định. 2.1.2. Code of Ethics and Professional Conduct - The Association for Computing Machinery – (ACM) The Association for Computing Machinery (Hiệp hội Máy tính Đám mây và Trí tuệ nhân tạo (ACM) là một tổ chức chuyên nghiên cứu và phát triển trong lĩnh vực khoa học máy tính. Tổ 651
- chức này đã đưa ra một tài liệu về đạo đức và chuyên môn cho các chuyên gia và nhà phát triển trong lĩnh vực trí tuệ nhân tạo (AI) (Therapists & Therapists, 2000). Tài liệu này được gọi là “Code of Ethics and Professional Conduct” và nó bao gồm các nguyên tắc đạo đức và chuyên môn cho các chuyên gia trong lĩnh vực AI. Tài liệu này bao gồm các nguyên tắc như đóng góp cho xã hội và sự phát triển của con người, tôn trọng quyền riêng tư của người dùng, đảm bảo tính minh bạch của hệ thống AI (Therapists & Therapists, 2000). Các chi tiết chính của tài liệu này bao gồm: - Đóng góp cho xã hội và sự phát triển của con người: Các chuyên gia trong lĩnh vực AI cần phải đóng góp cho xã hội và sự phát triển của con người. - Tôn trọng quyền riêng tư của người dùng: Các chuyên gia trong lĩnh vực AI cần phải tôn trọng quyền riêng tư của người dùng. - Đảm bảo tính minh bạch của hệ thống AI: Các chuyên gia trong lĩnh vực AI cần phải đảm bảo tính minh bạch của hệ thống AI. 2.1.3. UNESCO's Recommendation on the Ethics of Artificial Intelligence UNESCO's Recommendation on the Ethics of Artificial Intelligence là một tài liệu quan trọng được đưa ra bởi UNESCO (Tổ chức Giáo dục, Khoa học và Văn hóa của Liên Hiệp Quốc) vào năm 2021(UNESCO, 2021). Khuyến Nghị bắt đầu bằng việc thảo luận về tầm quan trọng của Trí Tuệ Nhân Tạo (AI) trong thế giới hiện đại và tác động của nó đối với xã hội và con người (UNESCO, 2021). Các nội dùng chính của tài liệu này tập trung vào: - Nguyên Tắc Đạo Đức: Khuyến Nghị xác định một số nguyên tắc đạo đức quan trọng cần áp dụng trong phát triển và triển khai AI. Điều này bao gồm tính minh bạch, trách nhiệm, công bằng và khả dĩ, tôn trọng quyền riêng tư và dữ liệu cá nhân, và sự đảm bảo của AI. - Các Lĩnh Vực Ứng Dụng: Khuyến Nghị đề cập đến những lĩnh vực cụ thể mà AI ảnh hưởng đến, bao gồm y tế, giáo dục, khoa học, và văn hóa. Nó nhấn mạnh vai trò của AI trong việc thúc đẩy sự phát triển bền vững và đề xuất cách tiếp cận đạo đức trong mỗi lĩnh vực này. - Quản Lý Dữ Liệu: Khuyến Nghị cung cấp hướng dẫn về việc quản lý dữ liệu và bảo vệ quyền riêng tư, đồng thời tôn trọng và thúc đẩy sử dụng dữ liệu một cách đạo đức. 652
- - Trách Nhiệm Xã Hội: Tài liệu này nêu rõ vai trò của các tổ chức, chính phủ, và xã hội dân sự trong việc thúc đẩy sự phát triển và sử dụng AI đạo đức và bền vững. - Hợp Tác Quốc Tế: Khuyến Nghị khuyến khích hợp tác quốc tế để thúc đẩy đạo đức và quản lý AI toàn cầu. Nó cũng nhấn mạnh vai trò của UNESCO trong việc thúc đẩy sự hợp tác này. 2.1.4. ISO/IEC 23894 - International Organization for Standardization (ISO) ISO/IEC 23894 là một tiêu chuẩn về trách nhiệm xã hội trong Trí Tuệ Nhân Tạo (AI) được phát triển bởi Tổ chức Tiêu chuẩn Hóa Quốc tế (International Organization for Standardization - ISO) và Liên minh Công nghiệp Điện tử và Điện lực Quốc tế (International Electrotechnical Commission - IEC) (Standardization, 2023). Tiêu chuẩn này mang tên chính thức "ISO/IEC 23894:2020 - Artificial intelligence -- Governance of artificial intelligence -- Accountability and transparency." Nó tập trung vào các khía cạnh liên quan đến trách nhiệm xã hội trong việc phát triển và triển khai Trí Tuệ Nhân Tạo và tạo ra một khung pháp lý và đạo đức để đảm bảo tính minh bạch và trách nhiệm trong lĩnh vực AI (Standardization, 2023). Một số điểm chính trong tiêu chuẩn ISO/IEC 23894: - Minh Bạch và Trách Nhiệm: Tiêu chuẩn đặt ra các yêu cầu về tính minh bạch và trách nhiệm trong phát triển và sử dụng AI. Nó nhấn mạnh rằng các tổ chức và cá nhân liên quan đến AI cần phải đảm bảo tính minh bạch trong quyết định và hoạt động của họ. - Trách Nhiệm Xã Hội: Tiêu chuẩn đề cập đến trách nhiệm xã hội của các bên liên quan đến AI. Nó khuyến khích việc đảm bảo rằng các ứng dụng AI không gây ra hậu quả xã hội không mong muốn và không làm gia tăng chênh lệch xã hội. - Quản Lý Dữ Liệu và Quyền Riêng Tư: Tiêu chuẩn tập trung vào việc quản lý dữ liệu và bảo vệ quyền riêng tư. Nó đặt ra các yêu cầu về việc thu thập, xử lý, và lưu trữ dữ liệu trong quá trình phát triển và triển khai AI. - Tương Tác Với Nhân Loại: Tiêu chuẩn đề cập đến việc AI cần phải tương tác với con người một cách an toàn và đạo đức. Nó nhấn mạnh việc đảm bảo tính an toàn và đạo đức trong các tương tác AI-người. - Đây là một công cụ quan trọng để hướng dẫn và đảm bảo tính minh bạch và trách nhiệm xã hội trong việc phát triển và triển khai Trí Tuệ Nhân Tạo. 653
- 2.1.5. Ethically Aligned Design - Institute of Electrical and Electronics Engineers (IEEE) Hiệp hội Công nghệ Mỹ (IEEE - Institute of Electrical and Electronics Engineers) đã xuất bản tài liệu quan trọng có tên "Ethically Aligned Design" (EAD), còn được gọi là "Tiêu chuẩn Đạo Đức và Quy tắc về AI." Đây là một tài liệu định hướng về đạo đức trong phát triển Trí Tuệ Nhân Tạo (AI)(Edition, 2019). Tài liệu Ethically Aligned Design (EAD) của IEEE cung cấp một hướng dẫn về các vấn đề đạo đức quan trọng trong việc phát triển và triển khai AI. Nó đề cập đến nhiều khía cạnh của đạo đức trong AI, bao gồm quyền riêng tư, công bằng, trách nhiệm xã hội, an toàn, và nhiều yếu tố khác(Edition, 2019). Tài liệu này được coi là một khung pháp lý và đạo đức hữu ích cho các nhà phát triển AI, chính trị gia, và người quản lý để họ có thể tích hợp những yếu tố đạo đức vào các sản phẩm và dự án AI của họ(Edition, 2019). Nó cũng thúc đẩy một cuộc thảo luận quan trọng về vấn đề đạo đức trong AI và làm cho việc phát triển công nghệ này trở nên tốt hơn cho xã hội. Tài liệu Ethically Aligned Design của IEEE thường được cập nhật và điều chỉnh để phản ánh sự phát triển nhanh chóng của lĩnh vực AI và các vấn đề đạo đức liên quan tập trung vào những nội dung bao gồm: - Khái niệm và Định nghĩa: Tài liệu bắt đầu bằng việc đưa ra khái niệm và định nghĩa quan trọng liên quan đến AI và đạo đức, bao gồm đạo đức trong quyết định của máy móc, khái niệm về AI tự học, và nhiều khía cạnh khác. - Nguyên tắc Đạo Đức Cơ Bản: EAD đặt ra một số nguyên tắc đạo đức cơ bản trong việc phát triển và triển khai AI, bao gồm tính minh bạch, trách nhiệm, công bằng, và sự tôn trọng quyền riêng tư và dữ liệu cá nhân. - Đạo Đức và Luật Pháp: Tài liệu này đề cập đến mối quan hệ giữa đạo đức và luật pháp trong AI và cách chúng có thể tương tác để đảm bảo sự phát triển đạo đức và hợp pháp của công nghệ. - Trách Nhiệm Xã Hội: EAD đánh giá vai trò của các tổ chức và cá nhân trong việc đảm bảo rằng AI góp phần vào sự phát triển xã hội và không tạo ra hậu quả không mong muốn. - Bảo Vệ Quyền Riêng Tư và Dữ Liệu Cá Nhân: Tài liệu này đề cập đến các vấn đề liên quan đến bảo vệ quyền riêng tư và dữ liệu cá nhân trong ngữ cảnh AI và đề xuất các hướng dẫn để đảm bảo tính đạo đức trong việc xử lý dữ liệu. 654
- - An Toàn và Đảm Bảo: EAD quan tâm đến việc đảm bảo an toàn của hệ thống AI và xác định các vấn đề đạo đức liên quan đến an toàn và đảm bảo. - Đạo Đức và Tương Tác AI-Người: Tài liệu này nói về cách AI nên tương tác với con người một cách an toàn và đạo đức, đặc biệt là trong các trường hợp tương tác trực tiếp. Tài liệu "Ethically Aligned Design" của IEEE được trình bày rất chặt chẽ, bao gồm các hướng dẫn cụ thể và ví dụ để giúp các chuyên gia và nhà nghiên cứu trong lĩnh vực AI áp dụng các nguyên tắc đạo đức vào công việc của họ. Điều này giúp đảm bảo rằng AI được phát triển và triển khai một cách có trách nhiệm và đạo đức. 2.1.6. WHO Guidance: Ethics and Governance of Artificial Intelligence for Health Báo cáo của Tổ chức Y tế Thế giới (WHO) đề cập đến vai trò và thách thức của Trí Tuệ Nhân Tạo (AI) trong lĩnh vực y tế (Guidance, 2021). WHO công nhận tiềm năng của AI trong y tế công cộng và y học, nhưng đồng thời nhấn mạnh rằng để thực hiện được tiềm năng này, cần giải quyết các vấn đề đạo đức liên quan đến hệ thống chăm sóc sức khỏe, người hành nghề, và người sử dụng dịch vụ y tế. Các điểm chính trong báo cáo: - Thách thức Đạo đức: Báo cáo nêu rõ rằng việc sử dụng AI trong y tế đặt ra nhiều vấn đề đạo đức. Các vấn đề này đã tồn tại trước khi AI xuất hiện, nhưng AI cũng mang đến những vấn đề mới. - Tối ưu hóa Lợi ích: Khả năng của AI để cải thiện lợi ích của bệnh nhân và cộng đồng phụ thuộc vào việc thiết kế và triển khai luật và chính sách đạo đức cũng như việc thiết kế AI với đạo đức. - Hiệu ứng Xã hội và Khả năng tiếp cận: AI có tiềm năng thu hẹp khoảng cách về khả năng tiếp cận các dịch vụ y tế, nhưng cần được thiết kế để phản ánh sự đa dạng của môi trường xã hội và chăm sóc sức khỏe, đồng thời đào tạo và nâng cao nhận thức của cộng đồng. - Không Cân Xứng và Đa Dạng: Hệ thống AI dựa vào dữ liệu từ các quốc gia có thu nhập cao có thể không phù hợp cho các quốc gia có thu nhập thấp và trung bình. Đầu tư vào AI và hỗ trợ cơ sở hạ tầng là quan trọng để đảm bảo công bằng và tránh sự thiên lệch. 655
- - Nguyên Tắc Đạo Đức Chính: Báo cáo xác định 6 nguyên tắc đạo đức quan trọng trong việc sử dụng AI cho sức khỏe, bao gồm: Bảo vệ quyền tự chủ của con người. Thúc đẩy phúc lợi, an toàn và lợi ích công cộng. Bảo đảm tính minh bạch, dễ giải thích và dễ hiểu. Đề cao trách nhiệm và trách nhiệm giải trình. Đảm bảo tính toàn diện và công bằng. Thúc đẩy AI đáp ứng nhanh và bền vững. Báo cáo này của WHO nhấn mạnh rằng việc áp dụng đạo đức trong việc phát triển và sử dụng AI trong lĩnh vực y tế là cần thiết để đảm bảo rằng công nghệ này mang lại lợi ích tối đa cho con người và không gây hại. 2.2. Luật và chính sách về Trí Tuệ Nhân Tạo (Artificial Intelligence - AI) Các chính sách phát triển cũng như các văn bản luật về trí tuệ nhân tạo đang được phát triển và thay đổi tại nhiều quốc gia và khu vực trên khắp thế giới. Dưới đây là một số điển hình về luật và chính sách AI tại một số quốc gia và khu vực: 2.2.1. Liên minh châu Âu (European Union - EU): Quy tắc Bảo vệ Dữ liệu Tự động (GDPR - General Data Protection Regulation) là một quy định quan trọng về quyền riêng tư và bảo vệ dữ liệu cá nhân áp dụng cho tất cả các quốc gia thành viên của Liên minh Châu Âu (EU) và cả các công ty ngoại quốc hoạt động trong lãnh thổ EU(Regulation, 2018). Dưới đây là một tóm tắt về các quy tắc quan trọng trong GDPR: - Bảo vệ Dữ liệu Cá Nhân: GDPR bảo vệ quyền riêng tư và dữ liệu cá nhân của người dân EU. Nó định rõ rằng dữ liệu cá nhân bao gồm bất kỳ thông tin nào liên quan đến một người có thể xác định được, chẳng hạn như tên, địa chỉ email, địa chỉ IP, và nhiều dạng thông tin khác. - Sự Đồng Thuận (Consent): GDPR yêu cầu các tổ chức thu thập dữ liệu phải có sự đồng thuận rõ ràng và tường tận từ người dùng. Người dùng cần được thông báo về mục đích sử dụng dữ liệu và có quyền rút lại đồng thuận bất cứ lúc nào. 656
- - Quyền Truy Cập Dữ Liệu: GDPR đảm bảo rằng người dùng có quyền yêu cầu truy cập thông tin cá nhân mà tổ chức đang lưu trữ về họ. Người dùng cũng có quyền yêu cầu sửa đổi hoặc xóa thông tin nếu cần thiết. - Bảo Mật Dữ Liệu: GDPR đặt ra các yêu cầu về bảo mật dữ liệu, yêu cầu các tổ chức phải áp dụng các biện pháp bảo mật để bảo vệ thông tin cá nhân khỏi sự truy cập trái phép hoặc sự rò rỉ thông tin. - Báo Cáo Sự Rò Rỉ Dữ Liệu: GDPR đòi hỏi các tổ chức phải báo cáo bất kỳ sự rò rỉ dữ liệu nào đối với cơ quan quản lý dữ liệu và người dùng trong một khoảng thời gian ngắn sau khi phát hiện. - Quyền Quyết Định Tự Động: GDPR bảo vệ quyền của người dùng trước quyết định tự động dựa trên dữ liệu cá nhân, chẳng hạn như việc duyệt web hoặc quyết định vay tiền. - Sự Hợp Nhất: GDPR tạo ra một quy tắc hợp nhất về quyền riêng tư và bảo vệ dữ liệu trong toàn bộ EU để đảm bảo rằng người dân có quyền và bảo vệ tương tự trên toàn lãnh thổ EU. GDPR được thiết kế để đảm bảo tính đạo đức và bảo vệ quyền riêng tư của người dân trong bối cảnh sử dụng dữ liệu cá nhân ngày càng phổ biến trong thế giới số hóa. 2.2.2. Hoa Kỳ Tại Hoa Kỳ, quy định về Trí Tuệ Nhân Tạo (AI) và công nghệ liên quan đang được phát triển và điều chỉnh tại cả hai cấp độ: liên bang và các bang. Tại Cấp Liên Bang (Federal Level): Ủy ban Truyền thông Liên bang (Federal Communications Commission - FCC): FCC có vai trò trong việc quản lý và điều chỉnh sử dụng các tần số tương thích với AI và các thiết bị liên quan. Nó có thể thúc đẩy sự phát triển của AI thông qua việc phân bổ tài nguyên tần số cho các ứng dụng không dây và trí tuệ nhân tạo (Rissland et al., 2003). Ủy ban Giao thông Liên bang (Federal Transportation Commission - FTC): FTC quản lý các quy định về xe tự hành và sử dụng AI trong lĩnh vực giao thông( Rissland et al., 2003). Bộ Tài Chính Hoa Kỳ (U.S. Department of the Treasury): Bộ Tài Chính có thể có vai trò trong việc đảm bảo rằng các quy định về thuế và tài chính liên quan đến việc sử dụng AI được thực hiện(Rissland et al., 2003). Tại Cấp Bang (State Level): 657
- Các bang ở Hoa Kỳ cũng đang phát triển và điều chỉnh các quy định về AI và công nghệ liên quan tại mức bang. Ví dụ, California đã đưa ra một số quy định liên quan đến xe tự hành và quyền riêng tư liên quan đến dữ liệu cá nhân (Rissland et al., 2003). Các Dự Án Luật và Quy Định Cụ Thể: Dự Án Luật về Quyền Riêng Tư Trực Tuyến (Online Privacy Act) (Harding et al., 2019): - Đề xuất tạo ra một cơ chế quy định cho việc thu thập và sử dụng thông tin cá nhân trực tuyến. - Yêu cầu các công ty phải thu được sự đồng thuận rõ ràng từ người dùng trước khi thu thập thông tin cá nhân. - Cho phép người dùng yêu cầu xem và chỉnh sửa thông tin cá nhân của họ, cũng như rút lại đồng thuận bất kỳ lúc nào. Dự Án Luật về Quyền Riêng Tư Dữ Liệu Cá Nhân (Consumer Data Privacy Act) (Harding et al., 2019): - Đề xuất tạo ra các quy định bảo vệ quyền riêng tư của người dân và quản lý dữ liệu cá nhân. - Yêu cầu công ty thông báo cho người dùng về việc thu thập và sử dụng dữ liệu cá nhân của họ và thu được sự đồng thuận. - Cho phép người dùng kiểm soát thông tin cá nhân của họ và rút lại đồng thuận. Dự Án Luật về Vận Tải Tự Động (Autonomous Vehicle Act) (Harding et al., 2019): Quy định về việc phân phối trách nhiệm giữa các nhà sản xuất xe tự động và người dùng. Đề xuất các tiêu chuẩn an toàn và quy định cho việc thử nghiệm và vận hành xe tự động. Dự Án Luật về Bảo Mật Dữ Liệu (Data Security Legislation) (Saveliev & Zhurenkov, 2021): - Đề xuất tạo ra các quy định và yêu cầu về bảo mật dữ liệu cá nhân. - Yêu cầu các tổ chức phải có các biện pháp bảo mật dữ liệu để ngăn chặn sự vi phạm và rò rỉ thông tin cá nhân. Dự Án Luật về Trí Tuệ Nhân Tạo và Trí Tuệ Nhân Tạo Xã Hội (AI and Social Intelligence Act)(Saveliev & Zhurenkov, 2021): - Đề xuất các quy định đạo đức và xã hội hóa cho AI. 658
- - Yêu cầu AI và các hệ thống AI xã hội phải tuân thủ các nguyên tắc đạo đức và quy định tránh tạo ra hậu quả xã hội không mong muốn. - Những dự án luật và quy định này đang được xem xét và có thể thay đổi theo thời gian. Tóm tắt trên chỉ là một cái nhìn tổng quan và không thể thay thế việc tham khảo chi tiết và cập nhật từ các nguồn chính thống. 2.2.3. Trung Quốc: Trung Quốc đang triển khai một số quy định về Trí Tuệ Nhân Tạo (AI) là một trong những quy định sớm nhất và chi tiết nhất trên thế giới. Điều này bao gồm các biện pháp quản lý về thuật toán đề xuất - hình thức phổ biến nhất của AI được triển khai trên internet, cũng như các quy tắc mới cho hình ảnh được tạo tổng hợp và các chatbot trong kiểu của ChatGPT (Saveliev & Zhurenkov, 2021). Khung pháp lý về AI đang nảy sinh ở Trung Quốc sẽ định hình cách công nghệ này được phát triển và triển khai trong nước và quốc tế, ảnh hưởng đến cả xuất khẩu công nghệ của Trung Quốc và các mạng lưới nghiên cứu AI toàn cầu. Ba quy định cụ thể và có tác động mạnh mẽ nhất của Trung Quốc về thuật toán và AI là quy định năm 2021 về thuật toán đề xuất, quy tắc năm 2022 về tổng hợp sâu (nội dung được tạo tổng hợp) và quy tắc dự thảo năm 2023 về AI tổng hợp (Saveliev & Zhurenkov, 2021). Kiểm soát thông tin là mục tiêu trọng tâm của cả ba biện pháp nhưng chúng cũng chứa đựng nhiều điều khoản đáng chú ý khác. Các quy tắc dành cho thuật toán đề xuất ngăn chặn sự phân biệt giá quá mức và bảo vệ quyền của người lao động tuân theo lịch trình thuật toán. Quy định tổng hợp sâu yêu cầu phải đặt nhãn dễ thấy trên nội dung được tạo tổng hợp. Và dự thảo quy định về AI tổng quát yêu cầu cả dữ liệu đào tạo và đầu ra của mô hình phải “đúng và chính xác”, một rào cản tiềm tàng không thể vượt qua để các chatbot AI có thể vượt qua. Trung Quốc dự kiến sẽ có một dự thảo Luật Trí Tuệ Nhân Tạo (AI) để được xem xét bởi các nhà lập pháp của đất nước trong năm nay, khi Bắc Kinh đang tiến hành dẫn đầu thế giới trong việc ban hành quy định mới cho công nghệ này trong bối cảnh tiến bộ nhanh chóng được thể hiện qua ChatGPT(Saveliev & Zhurenkov, 2021). Kế hoạch lập pháp năm 2023 của Hội đồng Nhà nước Trung Quốc, là cơ quan chính phủ của Trung Quốc, bao gồm việc trình dự thảo Luật AI, trong số hơn 50 biện pháp được xem xét bởi Ủy ban Thường trực Quốc hội Nhân dân (NPC), theo một tài liệu được công bố trên trang web của hội đồng trong tuần này(Saveliev & Zhurenkov, 2021). 659
- Ủy ban Thường trực - cơ quan cố định của NPC, cơ quan lập pháp quốc gia của Trung Quốc - sẽ xem xét dự thảo của Luật mới ba lần "trong trường hợp bình thường" trước khi đưa biện pháp này ra biểu quyết, theo trang web của NPC. Nó nói rằng quá trình này có thể được kéo dài và đòi hỏi nhiều cuộc xem xét hơn nếu vẫn còn "vấn đề quan trọng cần nghiên cứu thêm"(Saveliev & Zhurenkov, 2021). 3. Hướng đi và xu hướng trong việc điều chỉnh khung chính sách về trí tuệ nhân tạo 3.1. Mục tiêu và quan điểm Cần thống nhất quan điểm tận dụng sự phát triển của công nghệ trí tuệ nhân tạo là cơ hội để đất nước phát triển, chuyển đổi số, cần có chính sách hỗ trợ tận dụng tối đa hiệu quả của trí tuệ nhân tạo trong các hoạt động giáo dục, y tế, sản xuất. Đề thuận lợi cho điều chỉnh khung chỉnh sách thì đội ngũ quản lý cần có nhận thức đúng và kịp thời về trí tuệ nhân tạo Các quy định cần thống nhất giữa các ban ngành đảo bảo không chống chéo, cần cập nhật thường xuyên. Cần thiết lập các ủy ban tư vấn, thực thi chính sách trong đó cần tận dụng và lắng nghe ý kiến từ các doanh nghiệp đang hoạt động trong lính vực trí tuệ nhân tạo 3.2. Trách nhiệm xã hội của các công ty và tổ chức hoạt động trong lĩnh vực Trí Tuệ Nhân Tạo Trách nhiệm xã hội của các công ty và tổ chức hoạt động trong lĩnh vực AI là đảm bảo rằng công nghệ này mang lại lợi ích cho xã hội và không gây hại. Điều này đòi hỏi họ phải xem xét các tác động xã hội của AI và hành động một cách có trách nhiệm để đảm bảo tính an toàn, đạo đức và minh bạch trong phát triển và sử dụng AI. - Đảm bảo An Toàn và Đạo Đức của Công nghệ AI: Các công ty và tổ chức AI phải đảm bảo rằng sản phẩm và dịch vụ AI của họ là an toàn và đạo đức. Điều này bao gồm việc ngăn chặn việc sử dụng AI để gây hại và đảm bảo tính minh bạch trong quá trình phát triển. - Bảo vệ Quyền Riêng Tư và Dữ liệu Cá Nhân: Các tổ chức phải tuân thủ các quy định về bảo vệ quyền riêng tư và dữ liệu cá nhân. Họ cần xác định và áp dụng các biện pháp bảo mật và quản lý dữ liệu để đảm bảo tính riêng tư của người dùng. - Loại bỏ Phân Biệt Đối Xử: AI không nên được sử dụng để tạo ra hoặc tăng cường phân biệt đối xử dựa trên giới tính, sắc tộc, tôn giáo, và các đặc điểm cá nhân khác. Các tổ chức AI phải đảm bảo rằng sản phẩm và dịch vụ của họ không góp phần vào sự phân biệt này. 660
- - Tăng cường Trí Tuệ Nhân Tạo Xã Hội (AI for Social Good): Các công ty AI có trách nhiệm đóng góp vào các dự án và nghiên cứu liên quan đến AI for Social Good. Điều này bao gồm việc sử dụng AI để giải quyết các vấn đề xã hội như chăm sóc sức khỏe, giáo dục, môi trường, và các vấn đề xã hội khác. - Trách Nhiệm Nghiên Cứu và Phát Triển: Các công ty AI nên đầu tư vào nghiên cứu về an toàn và đạo đức trong AI. Họ cần phát triển các công cụ và phương pháp để đảm bảo tính an toàn và đạo đức của AI. - Hợp tác và Trong Trách Nhiệm: Các tổ chức AI nên hợp tác với chính phủ, tổ chức xã hội dân sự, và các đối tác khác để đảm bảo rằng AI được phát triển và sử dụng một cách có trách nhiệm và trong lợi ích của xã hội. - Đào Tạo và Nâng Cao Ý Thức Đạo Đức: Các tổ chức AI có trách nhiệm đào tạo và nâng cao ý thức đạo đức cho những người làm việc trong lĩnh vực AI và cả cộng đồng AI để họ hiểu và tuân thủ các nguyên tắc đạo đức và trách nhiệm xã hội. 3.3. Các trường hợp điển hình cần ưu tiên có chính sách quản lý hỗ trợ 3.3.1. Trí tuệ nhân tạo trong y tế - Tại Việt Nam các nghiên cứu sử sụng trí tuệ nhân tạp trong y tế đã được công bố phổ biến, tập trung vào chẩn đoán, đánh giá, trên thế giới các công nghệ như robot phẫu thuật, trí tuệ nhân tạo trong đào tạo y khoa và thực hành lâm sàng đã được báo cáo. WHO đã đưa ra một bộ quy tắc về AI trong y tế, đây là tài liệu quan trọng trong xây dựng chính sách ở nước ta. Các quy định về AI trong y tế cần tập trung vào bảo vệ quyền riêng tư và thông tin bệnh nhân, hỗ trợ hoạt động của các ủy ban đạo đức khoa học, khung trách nhiệm cho các rủi ro. Ngoài ra cần xây dựng cổng thông tin để chia sẻ kinh nghiệm hoạt động và báo cáo sự cố ngành y 3.3.2. Trí tuệ nhân tạo trong xe tự hành Nhiều tổ chức trong nước đang nghiên cứu triển khai thử nghiệm xe tự hành, nhưng hiện chưa có điều khoản quy định cho phép xe tự lại hoạt động tại Việt Nam, thực tế thì nhiều phiên bản phương tiện có hệ thống hỗ trợ người lái sử dụng AI đã được cấp phép đăng kiểm. Trên thế giới, quy định về xe tự lái là khác nhau mỗi quốc gia tùy theo loại phương tiện, khu vực giao thông, và đặc điểm của công nghệ. Một tranh cãi pháp lý phổ biến trong sử dụng xe AI lái là quy trách nhiệm khi xảy ra tai nạn: AI xe sẽ lựa chọn bảo vệ chủ xe hay người đi đường khác, ưu tiên bảo vệ số ít hay số nhiều, chia sẻ trách nhiệm khi có tai nạn giao thông. Cần bổ sung 661
- quy định khai báo các tính năng trí tuệ nhân tạo trong phương tiện giao thông, các tính năng chưa được thẩm định, hoặc chưa phù hợp với điều kiện giao thông trong nước cần phải bị khóa cho đên skhi có giải pháp thống nhất. 3.3.3. Sở hữu trí tuệ và bảo hộ quyền sở hữu trí tuệ liên quan đến trí tuệ nhân tạo Hiện tại chưa có công cụ nào có thể phân biệt chính xác tác phẩm văn học nghệ thuật do người hay AI tạo ra, đặc biệt khi tác phẩm có sự kết hợp sáng tạo của cả hai. Con người đóng góp bao nhiêu tỉ lệ trong một tác phẩm thì được công nhận quyền sở hữu, do hiện tại đã có một số phầm mềm vẽ, thiết kế, chỉnh sửa đã bổ sung tính năng AI. Về quan điểm luật pháp cần có chính sách bảo hộ sáng tạo của con người, phải có các quy định xác định thế nào là tác phẩm bị đạo nhái, sao chép trái phép bởi AI để có căn cứ xác định quy phạm pháp luật Ngoài ra cần xác định rõ các quy định về quyền sử thương mại sản phẩm do AI tạo ra, lợi ích thu về từ nội dung do AI tạo ra sẽ thuộc về người dùng hay đơn vị sở hữu công cụ AI. Cần có quy định chung định hướng chính sách người dùng của các công cụ AI khi sử dụng tại Việt Nam. Thỏa thuận giữa người dùng công cụ AI và đơn vị cung cấp dịch vụ AI cần đảm bảo tuân thủ luật pháp Việt Nam, nếu sản phẩm có thu phí hoặc tạo ra giá trị cần phải nộp thuế theo quy định. 4. Kết luận Tóm lại, Trí tuệ Nhân tạo (AI) mang trong mình hai mặt, mang lại tiềm năng lớn để giải quyết các vấn đề phức tạp ở nhiều lĩnh vực, bao gồm y tế, công nghiệp và giáo dục, đồng thời đặt ra những thách thức đạo đức và an ninh quan trọng đòi hỏi phải có quy định pháp luật. Trên toàn thế giới, nhiều quốc gia đã phát triển luật và chính sách về trí tuệ nhân tạo để quản lý và kiểm soát việc sử dụng AI. Những quy định này thường tập trung vào việc bảo vệ quyền của con người, đảm bảo sự đạo đức trong việc phát triển và sử dụng AI và đảm bảo tính minh bạch và trách nhiệm. Điều này tạo nên nền tảng quan trọng để xây dựng một khung pháp lý bảo vệ quyền và lợi ích của tất cả các bên liên quan, hỗ trợ việc áp dụng phù hợp của trí tuệ nhân tạo cho sự chuyển đổi số, phát triển kinh tế và cải thiện chất lượng cuộc sống. Các vấn đề trọng yếu đòi hỏi sự chú ý và quy định ngay lập tức bao gồm việc sử dụng trí tuệ nhân tạo trong lĩnh vực y tế, xe tự hành và quyền sở hữu trí tuệ. Trong giới hạn của tham luận này, chung tôi chưa thể đưa ra các điều luật đề xuất bổ sung, do quá trình xây dựng luật về trí tuệ nhân tạo và phúc tạp, một số quan điểm sẽ cần sự thống nhất của đội ngũ làm luật, tuy nhiên các gợi ý từ mô hình luật pháp của các tổ chức và quốc gia là cơ sở quan trọng xây dựng khung pháp lý về trí tuệ nhan tạp chi Việt Nam. Khi trí tuệ nhân tạo tiếp tục phát triển, sự cân bằng hài hòa giữa 662
- việc khai thác khả năng của nó và đối mặt với các thách thức liên quan thông qua việc lập pháp và hướng dẫn đạo đức hiệu quả là rất quan trọng để đảm bảo một tương lai bền vững và có trách nhiệm dưới sự thúc đẩy của trí tuệ nhân tạo. Atkinson, K., Bench-Capon, T., & Bollegala, D. (2020). Explanation in AI and law: Past, present and future. Artificial Intelligence, 289, 103387. Cheuk, T. (2021). Can AI be racist? Color‐evasiveness in the application of machine learning to science assessments. Science Education, 105(5), 825-836. Cường, V. (2023). Bộ Công an khuyến cáo người dân cảnh giác trước cuộc gọi lừa đảo "Deepfake". Báo điện tử VOV. Định, T. (2023). Tác phẩm sử dụng AI đoạt giải nhất một cuộc thi nhiếp ảnh. Vietnamnet. Ebers, M., Hoch, V. R., Rosenkranz, F., Ruschemeier, H., & Steinrötter, B. (2021). The european commission’s proposal for an artificial intelligence act—a critical assessment by members of the robotics and ai law society (rails). J, 4(4), 589-603. Edition, F. (2019). ETHICALLY ALIGNED DESIGN. Guidance, W. (2021). Ethics and governance of artificial intelligence for health. World Health Organization. Harding, E. L., Vanto, J. J., Clark, R., Hannah Ji, L., & Ainsworth, S. C. (2019). Understanding the scope and impact of the california consumer privacy act of 2018. Journal of Data Protection & Privacy, 2(3), 234-253. Hartmann, J., Schwenzow, J., & Witte, M. (2023). The political ideology of conversational AI: Converging evidence on ChatGPT's pro-environmental, left-libertarian orientation. arXiv preprint arXiv:2301.01768. Karasavva, V., & Noorbhai, A. (2021). The real threat of deepfake pornography: A review of Canadian policy. Cyberpsychology, Behavior, and Social Networking, 24(3), 203-209. Kugler, M. B., & Pace, C. (2021). Deepfake privacy: Attitudes and regulation. Nw. UL Rev., 116, 611. McGee, R. W. (2023). Annie Chan: Three Short Stories Written with Chat GPT. Available at SSRN 4359403. Müller, V. C. (2020). Ethics of artificial intelligence and robotics. 663
- Nguyen, A., Ngo, H. N., Hong, Y., Dang, B., & Nguyen, B.-P. T. (2023). Ethical principles for artificial intelligence in education. Education and Information Technologies, 28(4), 4221- 4241. Nha, K. (2023). Họa sĩ Việt bị chặn tài khoản vì vẽ tranh giống AI. Vnexpress. Perc, M., Ozer, M., & Hojnik, J. (2019). Social and juristic challenges of artificial intelligence. Palgrave Communications, 5(1). Quân, N. P. (2023). ChatGPT - Động lực đổi mới giáo dục: Vai trò của giáo viên trong kỷ nguyên trí tuệ nhân tạo. Tạp chí Khoa học Quản lý giáo dục, 5(5). Quý, L. (2022). AI qua mặt họa sĩ, giành giải vẽ tranh. Vnexpress. Regulation, G. D. P. (2018). General data protection regulation (GDPR). Intersoft Consulting, Accessed in October, 24(1). Rissland, E. L., Ashley, K. D., & Loui, R. P. (2003). AI and Law: A fruitful synergy. Artificial Intelligence, 150(1-2), 1-15. Saveliev, A., & Zhurenkov, D. (2021). Artificial intelligence and social responsibility: the case of the artificial intelligence strategies in the United States, Russia, and China. Kybernetes, 50(3), 656-675. Škiljić, A. (2021). When Art Meets Technology or Vice Versa: Key Challenges at the Crossroads of AI-Generated Artworks and Copyright Law. IIC-International Review of Intellectual Property and Competition Law, 52(10), 1338-1369. Standardization, O. f. (2023). ISO/IEC 23894:2023 - Artificial intelligence Organization for Standardization. Therapists, C. o. O., & Therapists, B. A. o. O. (2000). Code of ethics and professional conduct for occupational therapists. College of Occupational Therapists. [Record #22 is using a reference type undefined in this output style.] Voice, P. (2018). Universal Guidelines for Artificial Intelligence. The Public Voice. 664
CÓ THỂ BẠN MUỐN DOWNLOAD
-
HỆ THỐNG GIÁM SÁT GIAO THÔNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH
7 p | 418 | 80
-
Giáo trình Kỹ thuật chụp ảnh (Nghề: Thiết kế đồ họa - Cao đẳng) - Trường Cao đẳng Cơ điện Xây dựng Việt Xô
393 p | 34 | 14
-
Anchor link những điều cần tránh và kinh nghiệm xây dựng link
4 p | 66 | 7
-
Ứng dụng hệ luật mờ trong dự báo biểu điểm thi
9 p | 26 | 3
-
Giáo trình Thực tập tốt nghiệp (Ngành: Công nghệ thông tin - Cao đẳng) - Trường Cao đẳng Xây dựng số 1
29 p | 4 | 1
Chịu trách nhiệm nội dung:
Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA
LIÊN HỆ
Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM
Hotline: 093 303 0098
Email: support@tailieu.vn