用微信扫描二维码
分享至好友和朋友圈
QQ空间 扫一扫
用微信扫描二维码
分享至好友和朋友圈
【
据腾讯音乐介绍，奇喵相机高速的绘图背后，得益于腾讯音乐娱乐集团（TME）旗下天琴实验室深耕多时的MUSE FaceIn形象复刻能力，以及MUSELight大模型加速框架。在MUSELight的加持下，奇喵相机获得了30%以上的性能提升，极大缩短了出图时间，提升用户体验的“丝滑感”。
作为腾讯音乐首个音视频实验室，天琴实验室针对大模型应用落地的痛点，已于去年5月发布了MUSELight大模型推理加速框架1.0版本。近日，天琴实验室正式发行MUSELight 2.0版本，将从技术层面协助行业解决大语言模型（Large Language Models，LLMs）及Stable Diffusion（SD）模型在实际部署应用上的难点，为LLM和SD模型在多个领域的应用落地提供了有利支持，助推企业和机构更好实现数字化转型和智能化升级。
据了解，天琴实验室本次研发的MUSELight加速框架2.0版本引入了Flash Attention 2、Flash Decoding，启发式自动选择不同的Attention实现算子等技术，支持多个主流开源LLM及SD模型的推理加速。MUSELight通过对模型重新进行自顶向下的独创性优化，合理安排显存内存间数据交换、显存复用、优化计算流程，针对不同GPU架构，对不同类型计算层进行数据和计算线程的重排，以及特别的推理场景算子优化等技巧，使得其能够大幅提升显存利用率和计算效率，减少大量非必要的访存、计算开销，为解决模型推理部署中的瓶颈问题提供了强有力支持。
在奇喵相机之外，MUSELight还与腾讯云进行深度合作，向行业合作伙伴进行赋能，助力行业提供更快的大模型推理体验，同时大幅度降低成本。此外，MUSELight还与作为全球数字科创领域独角兽的APUS达成了云上云下全方位合作，提升绘图中台能力30%-40%。
关注同花顺财经（ths518），获取更多机会
0人
+1
收藏(0)
分享到：
用微信扫描二维码
分享至好友和朋友圈
用微信扫描二维码
分享至好友和朋友圈
