在2GB DAYU200上本地部署大语言模型

---

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

实现思路和步骤

将轻量级llm模型推理框架inferllm移植到openharmony标准系统，并编译出可以在openharmony上运行的二进制文件。这个推理框架是一个简单高效的llm cpu推理框架，可以在本地部署llm中的量化模型。

使用OpenHarmony NDK来编译OpenHarmony上的InferLLM可执行文件（具体使用OpenHarmony lycium 交叉编译框架,然后编写一些脚本。然后把其存放在tpc_c_cplusplusSIG仓库。)

在DAYU200上本地部署大语言模型

编译获取InferLLM三方库编译产物

下载OpenHarmony sdk,下载地址：

http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList

下载本仓库

git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1

# 设置环境变量export OHOS_SDK=解压目录/ohos-sdk/linux# 请替换为你自己的解压目录 cd lycium./build.sh InferLLM

获取InferLLM三方库头文件及生成的库 

在tpc_c_cplusplus/thirdparty/InferLLM/目录下会生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目录，该目录下存在已编译完成的32位和64位三方库。（相关编译结果不会被打包进入lycium目录下的usr目录）。

LM Studio

LM Studio 是一个桌面应用程序，可以在本地计算机上运行 LLM大语言模型。

156 查看详情

InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-buildInferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build

将编译产物和模型文件推送至开发板运行

• 下载模型文件：https://huggingface.co/kewin4933/InferLLM-Model/tree/main
• 将编译InferLLM生成的llama可执行文件、OpenHarmony sdk中的libc++_shared.so、下载好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夹 llama_file

# 将llama_file文件夹发送到开发板data目录hdc file send llama_file /data

# hdc shell 进入开发板执行cd data/llama_file# 在2GB的dayu200上加swap交换空间# 新建一个空的ram_ohos文件touch ram_ohos# 创建一个用于交换空间的文件（8GB大小的交换文件）fallocate -l 8G /data/ram_ohos# 设置文件权限，以确保所有用户可以读写该文件：chmod 777 /data/ram_ohos# 将文件设置为交换空间：mkswap /data/ram_ohos# 启用交换空间：swapon /data/ram_ohos# 设置库搜索路径export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH# 提升rk3568cpu频率# 查看 CPU 频率cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq# 查看 CPU 可用频率（不同平台显示的可用频率会有所不同）cat /sys/devices/system/cpu/cpufreq/policy0/scaling_*ailable_frequencies# 将 CPU 调频模式切换为用户空间模式，这意味着用户程序可以手动控制 CPU 的工作频率，而不是由系统自动管理。这样可以提供更大的灵活性和定制性，但需要注意合理调整频率以保持系统稳定性和性能。echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor# 设置rk3568 CPU 频率为1.9GHzecho 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed# 执行大语言模型chmod 777 llama./llama -m chinese-alpaca-7b-q4.bin -t 4

移植InferLLM三方库在OpenHarmmony设备rk3568上部署大语言模型实现人机对话。最后运行效果有些慢，跳出人机对话框也有些慢，请耐心等待。

以上就是在2GB DAYU200上本地部署大语言模型的详细内容，更多请关注其它相关文章！

# 物超所值  # 生鲜冷链营销推广模式  # 网站建设的好  # seo优化网站首页位置  # 网页的seo优化培训  # 绵阳网站优化推广费用  # 商水网站优化  # 大客户营销推广法  # 内蒙古俄语网站建设公司  # 开源网站的优化  # 长沙seo快速优化软件  # 自己的  # 鸿蒙  # 可执行文件  # 上汽  # 目录下  # 首款  # 开发板  # 华为  # 是一个  # 三方  # llama  # alpaca模型  # 大语言模型 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 找对了风口想不火都难，乐天派机器人，安卓机器人的最终形态？  AI在教育中的角色：AI如何改变我们的学习方式  如何成功实施人工智能？  为AI而服务设计：构建以人为本的AI创新方法  先进技术在防止全球数据丢失方面的作用  自己动手使用AI技术实现数字内容生产  如何利用物联网技术提高企业生产线智能化水平，提升生产效率  13条咒语挖掘GPT-4最大潜力，Github万星AI导师火了，网友：隔行再也不隔山了  AI框架生态峰会本周开幕 华为昇腾“朋友圈”再聚首 全球首个全模态大模型将登场  Meta发布音频AI模型，仅需2秒片段模拟真人语音  美图吴欣鸿：希望更多人用上AI时代的影像生产力工具  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  人工智能产业协同创新中心：全产业链资源在这里汇聚  IBM与NASA联手开源地理空间AI基础模型，促进气候科学领域进步  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  码刻 | 48小时Hackathon，源码见证新生代AI创新的发生  腾讯企点客服接待与营销分析能力升级！企业操作更高效、人机交互更智能  OpenAI宣布在伦敦设立海外分部，要招揽“世界级人才”  Valve Index VR 头显销量下滑，上市四年的长青树渐失光彩  人工智能在重症监护室的未来  OpenAI CEO 阿尔特曼到访日本，对全球 AI 协调合作表示乐观  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  人工智能如何与智能家居集成  扎克·施奈德新片《月球叛军》曝剧照 机器人首度现身  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  LinkedIn 推出生成式 AI 辅助撰写帖文功能，将向所有用户开放  借助ChatGPT快速上手ElasticSearch dsl  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  干货满满，2025昆山元宇宙国际装备展等你来打卡！  《上古卷轴5》AI高清材质包优化游戏中所有怪物  史玉柱谈AI：国内最缺是计算数学人才，曾给浙大数学系捐五千万  中国气象局预测：到 2030 年，中国人工智能气象应用将达到国际领先水平  英伟达推出 L40S GPU，AI 推理性能超过 A100 约 1.2 倍  小米9号员工李明宣布创业：打造首款安卓桌面机器人  微软AR/VR专利提出使用时间复用谐振驱动产生双极性电源  Meta 为打造元宇宙不惜下血本：VR 开发者年薪高达百万美元  “思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  苹果式 AI 哲学：不着一字，处处落子  当孔子遇见AI｜尼山的“数字”  元宇宙迈入2.0时代，它和生成式人工智能有何关联吗？  亚马逊确认今年不举办re:MARS人工智能大会  0代码微调大模型火了，只需5步，成本低至150块  机构研选 | 虚拟电厂是电力物联网升级版 智能电网望迎来高速发展  世界水下机器人大赛：9国青年携手逐梦深蓝  放弃自动驾驶，也是一种和解  日本演员工会提出AI立法建议 要求建立“声音肖像权”  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  Nature封面：量子计算机离实际应用还有两年 

 2024-02-07