，目前大多數(shù) AI 聊天機(jī)器人都需要連接到云端進(jìn)行處理，即使可以本地運(yùn)行的也配置要求極高。那么是否有輕量化的、無(wú)需聯(lián)網(wǎng)的聊天機(jī)器人呢？

一個(gè)名為 MLC LLM 的全新開(kāi)源項(xiàng)目已在 GitHub 上線(xiàn)，完全本地運(yùn)行無(wú)需聯(lián)網(wǎng)，甚至集顯老電腦、蘋(píng)果 iPhone 手機(jī)都能運(yùn)行。

MLC LLM 項(xiàng)目介紹稱(chēng):“MLC LLM 是一種通用解決方案，它允許將任何語(yǔ)言模型本地部署在一組不同的硬件后端和本地應(yīng)用程序上，此外還有一個(gè)高效的框架，供每個(gè)人進(jìn)一步優(yōu)化自己用例的模型性能。一切都在本地運(yùn)行，無(wú)需服務(wù)器支持，并通過(guò)手機(jī)和筆記本電腦上的本地 GPU 加速。我們的使命是讓每個(gè)人都能在設(shè)備上本地開(kāi)發(fā)、優(yōu)化和部署 AI 模型。”

IT之家查詢(xún) GitHub 頁(yè)面發(fā)現(xiàn)，這個(gè)項(xiàng)目的開(kāi)發(fā)者來(lái)自卡內(nèi)基梅隆大學(xué)的 Catalyst 計(jì)劃、SAMPL 機(jī)器學(xué)習(xí)研究小組以及華盛頓大學(xué)、上海交通大學(xué)和 OctoML 等。他們還有一個(gè)名為 Web LLM 的相關(guān)項(xiàng)目，該項(xiàng)目可以完全在網(wǎng)絡(luò)瀏覽器中運(yùn)行 AI 聊天機(jī)器人。

MLC LLM 使用了 Vicuna-7B-V1.1，后者是一種基于 Meta 的 LLaMA 的輕量級(jí) LLM，效果雖然不如 GPT3.5 或 GPT4，但在大小方面比較占優(yōu)勢(shì)。

目前，MLC LLM 可用于 Windows、Linux、macOS 和 iOS 平臺(tái)，暫時(shí)還沒(méi)有適用于 Android 的版本。

根據(jù)外媒tomshardware 的測(cè)試，6GB 內(nèi)存的蘋(píng)果iPhone 14 Pro Max 和 iPhone 12 Pro Max 手機(jī)成功運(yùn)行了MLC LLM，安裝大小為 3GB。而 4GB 內(nèi)存的蘋(píng)果iPhone 11 Pro Max 無(wú)法運(yùn)行 MLC LLM。

此外，ThinkPad X1 Carbon也測(cè)試成功運(yùn)行MLC LLM，這是一款搭載i7-8550U 處理器的筆記本，沒(méi)有獨(dú)立顯卡，配有英特爾UHD 620 GPU。MLC LLM 在 PC 平臺(tái)需要通過(guò)命令行運(yùn)行，外媒測(cè)試表現(xiàn)一般般，回復(fù)時(shí)間需要將近 30 秒，而且?guī)缀鯖](méi)有連續(xù)對(duì)話(huà)能力，希望能在后續(xù)版本中得到改進(jìn)吧。

MLC LLM 的 GitHub 頁(yè)面:點(diǎn)此查看