【[102星]ExlLlamaV3：为现代消费级GPU优化的本地运行LLMs的量

爱生活爱珂珂 2025-04-07 13:50:59

【[102星]ExlLlamaV3：为现代消费级GPU优化的本地运行LLMs的量化和推理库。亮点：1. 支持多种架构，适配更多模型；2. EXL3量化格式，高效转换，仅需几分钟到几小时；3. 低内存需求，70B模型仅需16GB显存】

'An optimized quantization and inference library for running LLMs locally on modern consumer-class GPUs'

GitHub: github.com/turboderp-org/exllamav3

量化技术 LLMs优化 高效推理 AI创造营

0 阅读：0

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
【[60星]Open-Qwen2VL：这是一个高效预训练多模态大语言模型的开源项
2
【[534星]Graft：一款为边缘计算、离线优先和分布式应用量身打造的开源事务
3
【[131星]Moshi-Finetune：轻松微调Moshi模型的高效工具，让
4
【[179星]Godot MCP：为Godot游戏开发提供强大的AI辅助开发工具
5
【[242星]guMCP：Gumloop Unified Model Conte
6
【[129星]Awesome-MLLM-Reasoning-Collection
7
【[175星]physics-sims：通过LLM提示生成的有趣物理模拟项目。亮
8
【[17星]ggml-easy：让GGML模型加载和执行变得轻而易举的C++轻量
9
【[428星]robot_lab：基于IsaacLab的机器人强化学习扩展库，为
10
【[271星]aws/nova-act：为开发者提供在浏览器中执行任务的AI模型

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
安卓闭源了，中国手机厂商末日来临？华为鸿蒙崛起？突发大新闻，谷歌终于对安卓下
2
雷军小米YU7樱花照人家拍车自己买的，雷总拍车自己造的[捂脸哭]太全面了，这么早起
3
英伟达CEO黄仁勋：有华为在美国就“搞不定”​​​
4
曝iPhone19Pro外形颠覆现在就已经预测了，2027年的iPhone1
5
2025年最值得买的手机，你选哪个​​​
6
某搜索已经很久不用了，还有好几个几乎就胎死腹中了。李开复说的可能是对的！​​​
7
国产光刻机真的来了，这是真的吗？​​​
8
iPhone17全系列的模板又被爆出来了，看来外观设计就是这样了，没什么悬念了
9
为什么美女的手机没有摄像头？
10
2025AI最新人工智能龙头​​​

科技最新文章

1
曝iPhone19Pro外形颠覆我很好奇，iPhone的外形还能有啥颠覆的呢？
2
曝iPhone19Pro外形颠覆现在就已经预测了，2027年的iPhone1
3
曝iPhone19Pro外形颠覆今年的17算是比较大更新了全玻璃确实是苹果自
4
苹果不会在美组装iPhone特朗普：关税大棒已备好，iPhone生产线何时搬回
5
苹果不会在美组装iPhone这很正常！苹果要是真把iPhone生产线搬回美国，
6
美媒称iPhone最高或涨至1.6万元美国的一顿乱棒，没奈何华为一丝一毫，却把特
7
荣耀手机全线“暴跌”，这三款已经白菜价荣耀Magic6目前是2759，内置骁
8
中国人离不开的5大软件，你敢卸载哪一个?1，微信，9.9亿用户;2，淘宝
9
为啥很多人买苹果手机，而不买国产高端机呢？内行人的话戳穿了真相:我上个月，国
10
雷军这次是真摊上事了！小米汽车的电池配置曝光后，大家都惊呆了：并不是宁德时代的，而且比亚迪也只给了电