deepseek的开源方向开始开花结果了。来自清华大学的kvcache.ai团队

韩胤看趣事 2025-02-11 23:18:54

deepseek的开源方向开始开花结果了。

来自清华大学的kvcache.ai团队即将发布的ktransformer大模型加载框架v0.3，大大优化了本地加载满血deepseek 671b的运行效率，

目前仅用一台双路Intel Xeon 4代cpu+一块24g显卡的服务器就跑出了13 tokens/s的速度，中文每秒应该有20字左右，3倍于llama.cpp

0 阅读：260

猜你喜欢

韩胤看趣事

韩胤看趣事

感谢大家的关注

作者最新文章

1
deepseek的开源方向开始开花结果了。来自清华大学的kvcache.ai团队
2
四川小孩扔鞭炮炸车那个事相关好几个消息都是谣言，有的人真TM的无聊啊。
3
小红书上被马斯克炸出来几个自称在美国政府工作的说中文的，有意思。
4
有个事请教大家：我每个季度都会写一篇业委会工作总结的docx公示出去。里面的内容
5
这难道是我们未来的养老前景?
6
李飞飞团队用不到50美元训练出新模型 这不得感谢deepseek开源?
7
出国旅游哪怕是去发达国家，也一定要事先做好医疗准备。千万不要假设外国的医疗水平比
8
已经这么直接了？睁眼看世界的时候到了啊。。。
9
回头想想deepseek这事对海龟是个打击。很久以来学术圈都在仰视外国，项目带头
10
我不是基督徒，更不是打着基督外衣行种族歧视之事的白皮，所以我不信什么“平等爱所有

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

社会TOP

1
【#27岁男子超车致事故后竖中指被行拘#广东警方：他全责！】2月11日，广东
2
【#道明寺来跟杉菜告别了#】#杉菜去流星花园了#2月3日，据台媒消息，透过经纪
3
【#二月新规来了#】新国标对食品添加剂作出修改，更好保障“舌尖上的安全”；食用油
4
【#男子半夜回公司1年多盗窃460余万#：悄悄记下保险箱密码，公司盘账终发现】据
5
#全世界都在看东北人转手绢#【#亚冬会开幕式转手绢还会变色#[666]】亚冬会开
6
【#山东淄博一游乐园用驴充当斑马#，#游乐园称用驴充当斑马为宣传引流#】近日，有
7
#最后一天假期怎么过#【转起！#大年初七不教训小孩#】今天是农历大年初七，传说这
8
【#大S发病到猝逝仅5天#！赴日当天已哮喘　病逝东京医院完整时间轴曝】#大S赴日
9
哪吒2票房有望破中国影史记录今天，哪吒2票房将超过《战狼2》和《长津湖》，登
10
【#客户大额资金异常流动银行报警拦截#】#男子借100万转出80万银行报警#朝阳

社会最新文章

1
百色事件女主为何自杀，为何不第一时间求助，硬是搞出病来死掉……背后这2个原因细思
2
【转发收藏！#2025元宵晚会最全阵容#】近日，总台及各大卫视跨年晚会阵容陆续公
3
留宿女网友引火烧身，已婚男被开除，法院判了
4
【#27岁男子超车致事故后竖中指被行拘#广东警方：他全责！】2月11日，广东
5
【#男子半夜回公司1年多盗窃460余万#：悄悄记下保险箱密码，公司盘账终发现】据
6
【#缅甸捣毁多个电诈窝点#抓捕百余名犯罪嫌疑人】当地时间2月10日晚，缅甸国家
7
【#多方回应服务区垃圾桶发现大量酥肉腊味#】近几日，一则“服务区垃圾桶出现大量
8
【#客户大额资金异常流动银行报警拦截#】#男子借100万转出80万银行报警#朝阳
9
【#撒贝宁悼念黄旭华#】2月10日上午7时，湖北武汉市武昌殡仪馆内，一束束鲜花写
10
【#汪小菲张兰抖音账号被无限期封禁#】据抖音安全中心：近期，徐熙媛（大S）女士逝