Trí tuệ nhân tạo (AI) hiện được sử dụng rộng rãi trong nhiều lĩnh vực, bao gồm thị giác máy tính, xử lý ngôn ngữ tự nhiên, phân tích chuỗi thời gian và tổng hợp giọng nói.
Trong kỷ nguyên học sâu, đặc biệt là với sự ra đời của các mô hình ngôn ngữ lớn (LLM), hầu hết sự chú ý của các nhà nghiên cứu đã tập trung vào việc theo đuổi các kết quả hiện đại (SOTA) mới, dẫn đến tăng kích thước mô hình và độ phức tạp tính toán. **
Nhu cầu về sức mạnh tính toán cao mang lại lượng khí thải carbon cao hơn và cũng không khuyến khích sự tham gia của các công ty vừa và nhỏ và các tổ chức nghiên cứu với kinh phí hạn chế, do đó làm suy yếu tính công bằng của nghiên cứu.
Để giải quyết những thách thức của AI về tài nguyên điện toán và tác động môi trường, điện toán xanh đã trở thành một chủ đề nghiên cứu nóng.
Gần đây, Ant Group, cùng với một số trường đại học và viện nghiên cứu ở Trung Quốc, đã phát hành một báo cáo khảo sát phác thảo một cách có hệ thống các công nghệ được sử dụng trong điện toán xanh và đề xuất một khung điện toán xanh bao gồm bốn thành phần chính sau:
Các biện pháp về độ xanh: Các yếu tố và phương pháp chính để đo lường các tài nguyên tính toán theo yêu cầu của một hệ thống thông minh. Các phép đo phổ biến bao gồm các số liệu trực tiếp như thời gian hoạt động, mức tiêu thụ điện năng và kích thước mô hình, cũng như các số liệu gián tiếp như lượng khí thải carbon.
AI tiết kiệm năng lượng: Các phương pháp tiết kiệm năng lượng để tối ưu hóa toàn bộ vòng đời của mô hình AI, bao gồm thiết kế mô hình, đào tạo, suy luận và kỹ thuật tối ưu hóa cho các mô hình ngôn ngữ lớn để giảm mức tiêu thụ điện năng cho đào tạo và suy luận.
Điện toán tiết kiệm năng lượng: Các kỹ thuật để tối ưu hóa mức tiêu thụ tài nguyên của các hệ thống máy tính, bao gồm lập lịch tài nguyên cụm, phân vùng và tối ưu hóa quản lý dữ liệu.
AI cho sự bền vững: Các ứng dụng sử dụng AI để cải thiện tính bền vững, bao gồm các ứng dụng cho hiệu quả môi trường (điện toán xanh cho môi trường) và hiệu quả kỹ thuật (điện toán xanh cho kỹ thuật). Điện toán xanh môi trường bao gồm các ứng dụng như giám sát lượng khí thải ô nhiễm không khí và ước tính cô lập carbon bằng CV hình ảnh vệ tinh và kỹ thuật điện toán xanh bao gồm tối ưu hóa mã hóa bảo mật cơ sở dữ liệu.
"Hướng nghiên cứu mới này có tiềm năng giải quyết xung đột giữa những hạn chế về tài nguyên và phát triển AI", nghiên cứu nêu rõ. "
Bài báo nghiên cứu, có tiêu đề "* Về cơ hội của điện toán xanh: Một cuộc khảo sát *", đã được xuất bản trên trang web in sẵn arXiv.
Liên kết giấy:
Trong nhiều trường hợp đào tạo và suy luận thuật toán AI, kích thước mô hình, điều chỉnh tham số và dữ liệu đào tạo đã trở thành ba yếu tố chính ảnh hưởng đến tài nguyên máy tính. ** Trên cơ sở này, nghiên cứu tóm tắt sáu phép đo "thân thiện với môi trường" phổ biến, bao gồm thời gian chạy, kích thước mô hình, FPO/FLOPS (hoạt động dấu phẩy động), tiêu thụ điện năng phần cứng, tiêu thụ năng lượng và lượng khí thải carbon. **
Các công cụ để theo dõi các phép đo "thân thiện với môi trường" bao gồm tfprof, thuật toán Green, CodeCarbon, Carbontracker và Bộ công cụ theo dõi môi trường mô hình AI tự động.
Trong phân loại hình ảnh, phát hiện đối tượng và các tác vụ AI khác, một số mô hình mạng nơ-ron học sâu truyền thống, chẳng hạn như LeNet, VGG, GoogleNet, v.v., đã đạt được hiệu suất tốt nhưng yêu cầu tài nguyên tính toán quá mức. Do đó, nghiên cứu đề xuất sử dụng các phương pháp như Depth-wise Separable Convolution, Fire Convolution, Flattened Convolution và Shrinked Convolution để giải quyết vấn đề này. **
Ngoài ra, về mặt phát triển mạng nơ-ron dựa trên dữ liệu đồ thị, nghiên cứu cũng đề xuất ImprovedGCN, chứa các thành phần cần thiết chính của GCN. Ngoài ra, nghiên cứu khuyến nghị một loại mạng thần kinh khác, SeHGNN, để tổng hợp các biểu diễn tiệm cận được tính toán trước, giảm độ phức tạp và tránh hoạt động dư thừa của việc tổng hợp liên tục các đỉnh lân cận trong mỗi chu kỳ đào tạo.
Về mặt phân loại chuỗi thời gian, các phương pháp học tập tổng hợp thường được sử dụng đòi hỏi rất nhiều tài nguyên tính toán. Vì lý do này, nghiên cứu khuyến nghị sử dụng hai phương pháp, LightTS và LightCTS, để giải quyết vấn đề này. **
Ngoài ra, Transformer là một mô hình trình tự mạnh mẽ, nhưng khi độ dài của chuỗi tăng lên, thời gian và bộ nhớ cần thiết tăng theo cấp số nhân. Các loại mạng tự chú ý đòi hỏi nhiều bộ nhớ và tài nguyên máy tính khi xử lý các chuỗi dài. Để đạt được điều này, nghiên cứu khuyến nghị sử dụng các mô hình Effective Attention và EdgeBERT và R2D2 để giải quyết thách thức này. **
Ngoài việc thiết kế các thành phần mạng nơ-ron cụ thể, có một số chiến lược chung có thể được sử dụng để thiết kế cấu trúc mạng nơ-ron hiệu quả, chẳng hạn như chiến lược mô-đun cấp thấp, chia sẻ tham số tĩnh, mạng động và siêu mạng. Các chiến lược này có thể được tích hợp liền mạch vào bất kỳ cấu trúc tham số nào.
Về đào tạo mô hình, nghiên cứu tóm tắt các phương pháp đào tạo mô hình hiệu quả, đào tạo hiệu quả dữ liệu và tối ưu hóa siêu tham số. Để đạt được AI xanh và giảm mức tiêu thụ năng lượng của mạng lưới thần kinh, các phương pháp hiệu quả như cắt tỉa mô hình, phân hủy cấp thấp, lượng tử hóa và chưng cất có thể được sử dụng.
Về các hệ thống điện toán tiết kiệm năng lượng, nghiên cứu phác thảo các giải pháp bao gồm tối ưu hóa việc sử dụng tài nguyên cơ sở dữ liệu đám mây và đồng thiết kế phần cứng và phần mềm, và các nguyên tắc này cũng có thể áp dụng cho lĩnh vực phân tích dữ liệu, bao gồm việc sử dụng các kỹ thuật như tối ưu hóa truy vấn lai và học máy để cải thiện hiệu quả năng lượng của quy trình.
Đáng chú ý, điện toán xanh nhấn mạnh rằng AI không chỉ tiết kiệm năng lượng trong phát triển và vận hành mà còn tích cực tham gia vào các lĩnh vực ứng dụng xanh khác nhau để giải quyết các thách thức về môi trường và bền vững.
Nghiên cứu chỉ ra rằng AI có thể trích xuất hiệu quả thông tin hữu ích từ dữ liệu giám sát, dữ liệu viễn thám và dữ liệu khí tượng, bao gồm một loạt các lĩnh vực như giám sát ô nhiễm không khí, ước tính cô lập carbon và dự đoán giá carbon, để hướng dẫn ra quyết định và hành động.
Hiện tại, mặc dù điện toán xanh đã thành công trong việc tiết kiệm năng lượng và giảm thiểu carbon, tài nguyên điện toán vẫn là một nút thắt cổ chai cho sự phát triển của ngành. Để đạt được mục tiêu này, nghiên cứu đề xuất một số hướng nghiên cứu trong tương lai, bao gồm việc đưa các phép đo "độ xanh" vào đánh giá mô hình, phát triển một khuôn khổ được chấp nhận rộng rãi để đánh giá độ xanh, khám phá các mô hình ngôn ngữ nhỏ hơn nhưng hiệu quả hơn và khuyến khích nhiều ứng dụng công nghiệp hơn để giảm tác động môi trường. **
Ngoài ra, nghiên cứu lưu ý rằng tương lai của điện toán xanh sẽ phụ thuộc vào nỗ lực kết hợp của các học viện, ngành công nghiệp và chính phủ để đạt được sự cân bằng giữa tính bền vững môi trường và hiệu quả AI. Hỗ trợ chính sách, hợp tác đổi mới và chia sẻ các thực tiễn tốt nhất sẽ là chìa khóa để thúc đẩy phát triển hơn nữa trong lĩnh vực này.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Khảo sát mới nhất: Hai vấn đề lớn của AI cần được giải quyết bằng "điện toán xanh"?
Nguồn gốc: Academic Headlines
Trí tuệ nhân tạo (AI) hiện được sử dụng rộng rãi trong nhiều lĩnh vực, bao gồm thị giác máy tính, xử lý ngôn ngữ tự nhiên, phân tích chuỗi thời gian và tổng hợp giọng nói.
Trong kỷ nguyên học sâu, đặc biệt là với sự ra đời của các mô hình ngôn ngữ lớn (LLM), hầu hết sự chú ý của các nhà nghiên cứu đã tập trung vào việc theo đuổi các kết quả hiện đại (SOTA) mới, dẫn đến tăng kích thước mô hình và độ phức tạp tính toán. **
Nhu cầu về sức mạnh tính toán cao mang lại lượng khí thải carbon cao hơn và cũng không khuyến khích sự tham gia của các công ty vừa và nhỏ và các tổ chức nghiên cứu với kinh phí hạn chế, do đó làm suy yếu tính công bằng của nghiên cứu.
Để giải quyết những thách thức của AI về tài nguyên điện toán và tác động môi trường, điện toán xanh đã trở thành một chủ đề nghiên cứu nóng.
Gần đây, Ant Group, cùng với một số trường đại học và viện nghiên cứu ở Trung Quốc, đã phát hành một báo cáo khảo sát phác thảo một cách có hệ thống các công nghệ được sử dụng trong điện toán xanh và đề xuất một khung điện toán xanh bao gồm bốn thành phần chính sau:
Các biện pháp về độ xanh: Các yếu tố và phương pháp chính để đo lường các tài nguyên tính toán theo yêu cầu của một hệ thống thông minh. Các phép đo phổ biến bao gồm các số liệu trực tiếp như thời gian hoạt động, mức tiêu thụ điện năng và kích thước mô hình, cũng như các số liệu gián tiếp như lượng khí thải carbon. AI tiết kiệm năng lượng: Các phương pháp tiết kiệm năng lượng để tối ưu hóa toàn bộ vòng đời của mô hình AI, bao gồm thiết kế mô hình, đào tạo, suy luận và kỹ thuật tối ưu hóa cho các mô hình ngôn ngữ lớn để giảm mức tiêu thụ điện năng cho đào tạo và suy luận. Điện toán tiết kiệm năng lượng: Các kỹ thuật để tối ưu hóa mức tiêu thụ tài nguyên của các hệ thống máy tính, bao gồm lập lịch tài nguyên cụm, phân vùng và tối ưu hóa quản lý dữ liệu. AI cho sự bền vững: Các ứng dụng sử dụng AI để cải thiện tính bền vững, bao gồm các ứng dụng cho hiệu quả môi trường (điện toán xanh cho môi trường) và hiệu quả kỹ thuật (điện toán xanh cho kỹ thuật). Điện toán xanh môi trường bao gồm các ứng dụng như giám sát lượng khí thải ô nhiễm không khí và ước tính cô lập carbon bằng CV hình ảnh vệ tinh và kỹ thuật điện toán xanh bao gồm tối ưu hóa mã hóa bảo mật cơ sở dữ liệu.
Bài báo nghiên cứu, có tiêu đề "* Về cơ hội của điện toán xanh: Một cuộc khảo sát *", đã được xuất bản trên trang web in sẵn arXiv.
Trong nhiều trường hợp đào tạo và suy luận thuật toán AI, kích thước mô hình, điều chỉnh tham số và dữ liệu đào tạo đã trở thành ba yếu tố chính ảnh hưởng đến tài nguyên máy tính. ** Trên cơ sở này, nghiên cứu tóm tắt sáu phép đo "thân thiện với môi trường" phổ biến, bao gồm thời gian chạy, kích thước mô hình, FPO/FLOPS (hoạt động dấu phẩy động), tiêu thụ điện năng phần cứng, tiêu thụ năng lượng và lượng khí thải carbon. **
Các công cụ để theo dõi các phép đo "thân thiện với môi trường" bao gồm tfprof, thuật toán Green, CodeCarbon, Carbontracker và Bộ công cụ theo dõi môi trường mô hình AI tự động.
Trong phân loại hình ảnh, phát hiện đối tượng và các tác vụ AI khác, một số mô hình mạng nơ-ron học sâu truyền thống, chẳng hạn như LeNet, VGG, GoogleNet, v.v., đã đạt được hiệu suất tốt nhưng yêu cầu tài nguyên tính toán quá mức. Do đó, nghiên cứu đề xuất sử dụng các phương pháp như Depth-wise Separable Convolution, Fire Convolution, Flattened Convolution và Shrinked Convolution để giải quyết vấn đề này. **
Ngoài ra, về mặt phát triển mạng nơ-ron dựa trên dữ liệu đồ thị, nghiên cứu cũng đề xuất ImprovedGCN, chứa các thành phần cần thiết chính của GCN. Ngoài ra, nghiên cứu khuyến nghị một loại mạng thần kinh khác, SeHGNN, để tổng hợp các biểu diễn tiệm cận được tính toán trước, giảm độ phức tạp và tránh hoạt động dư thừa của việc tổng hợp liên tục các đỉnh lân cận trong mỗi chu kỳ đào tạo.
Về mặt phân loại chuỗi thời gian, các phương pháp học tập tổng hợp thường được sử dụng đòi hỏi rất nhiều tài nguyên tính toán. Vì lý do này, nghiên cứu khuyến nghị sử dụng hai phương pháp, LightTS và LightCTS, để giải quyết vấn đề này. **
Ngoài ra, Transformer là một mô hình trình tự mạnh mẽ, nhưng khi độ dài của chuỗi tăng lên, thời gian và bộ nhớ cần thiết tăng theo cấp số nhân. Các loại mạng tự chú ý đòi hỏi nhiều bộ nhớ và tài nguyên máy tính khi xử lý các chuỗi dài. Để đạt được điều này, nghiên cứu khuyến nghị sử dụng các mô hình Effective Attention và EdgeBERT và R2D2 để giải quyết thách thức này. **
Ngoài việc thiết kế các thành phần mạng nơ-ron cụ thể, có một số chiến lược chung có thể được sử dụng để thiết kế cấu trúc mạng nơ-ron hiệu quả, chẳng hạn như chiến lược mô-đun cấp thấp, chia sẻ tham số tĩnh, mạng động và siêu mạng. Các chiến lược này có thể được tích hợp liền mạch vào bất kỳ cấu trúc tham số nào.
Về đào tạo mô hình, nghiên cứu tóm tắt các phương pháp đào tạo mô hình hiệu quả, đào tạo hiệu quả dữ liệu và tối ưu hóa siêu tham số. Để đạt được AI xanh và giảm mức tiêu thụ năng lượng của mạng lưới thần kinh, các phương pháp hiệu quả như cắt tỉa mô hình, phân hủy cấp thấp, lượng tử hóa và chưng cất có thể được sử dụng.
Về các hệ thống điện toán tiết kiệm năng lượng, nghiên cứu phác thảo các giải pháp bao gồm tối ưu hóa việc sử dụng tài nguyên cơ sở dữ liệu đám mây và đồng thiết kế phần cứng và phần mềm, và các nguyên tắc này cũng có thể áp dụng cho lĩnh vực phân tích dữ liệu, bao gồm việc sử dụng các kỹ thuật như tối ưu hóa truy vấn lai và học máy để cải thiện hiệu quả năng lượng của quy trình.
Đáng chú ý, điện toán xanh nhấn mạnh rằng AI không chỉ tiết kiệm năng lượng trong phát triển và vận hành mà còn tích cực tham gia vào các lĩnh vực ứng dụng xanh khác nhau để giải quyết các thách thức về môi trường và bền vững.
Nghiên cứu chỉ ra rằng AI có thể trích xuất hiệu quả thông tin hữu ích từ dữ liệu giám sát, dữ liệu viễn thám và dữ liệu khí tượng, bao gồm một loạt các lĩnh vực như giám sát ô nhiễm không khí, ước tính cô lập carbon và dự đoán giá carbon, để hướng dẫn ra quyết định và hành động.
Hiện tại, mặc dù điện toán xanh đã thành công trong việc tiết kiệm năng lượng và giảm thiểu carbon, tài nguyên điện toán vẫn là một nút thắt cổ chai cho sự phát triển của ngành. Để đạt được mục tiêu này, nghiên cứu đề xuất một số hướng nghiên cứu trong tương lai, bao gồm việc đưa các phép đo "độ xanh" vào đánh giá mô hình, phát triển một khuôn khổ được chấp nhận rộng rãi để đánh giá độ xanh, khám phá các mô hình ngôn ngữ nhỏ hơn nhưng hiệu quả hơn và khuyến khích nhiều ứng dụng công nghiệp hơn để giảm tác động môi trường. **
Ngoài ra, nghiên cứu lưu ý rằng tương lai của điện toán xanh sẽ phụ thuộc vào nỗ lực kết hợp của các học viện, ngành công nghiệp và chính phủ để đạt được sự cân bằng giữa tính bền vững môi trường và hiệu quả AI. Hỗ trợ chính sách, hợp tác đổi mới và chia sẻ các thực tiễn tốt nhất sẽ là chìa khóa để thúc đẩy phát triển hơn nữa trong lĩnh vực này.