确实,最近国产图像大模型的发展非常迅速,很多模型都开源了,这为图像处理领域带来了很多新的可能性。这些模型在图像生成、图像修复、图像风格转换等方面都有很好的表现。
然而,你提到的中文渲染是短板,这一点确实存在。虽然这些模型在图像生成方面表现出色,但在处理中文相关的图像内容时,可能会遇到一些挑战。这可能是因为中文和英文在语言结构、文字表达方式等方面存在差异,导致模型在处理中文内容时不够准确。
总的来说,国产图像大模型的发展前景非常广阔,但仍有一些需要改进的地方。未来,随着技术的不断进步和优化,相信这些模型会在中文渲染等方面取得更好的表现。
相关阅读延伸:又一国产图像大模型开源,实测连续P图绝了,中文渲染是短板
智东西12月8日报道,今日,美团正式发布并开源图像生成模型LongCat-Image,这是一款在图像编辑能力上达到开源SOTA水准的6B参数模型,重点瞄准文生图与单图编辑两大核心场景。
图源:Hugging Face
从官方披露的基准测试结果来看,LongCat-Image主要对标了Seedream4.0、Qwen-Image、HunyuanImage-3.0、Nano Banana以及FLUX.1-dev等主流开源与闭源生图模型,其核心优化集中在“编辑可控性”和“中文文字渲染”两项能力上。
而在实际体验中,它在连续改图、风格变化和材质细节上表现较好,但在复杂排版场景下,中文文字渲染仍存在不稳定的情况。在涉及复杂UI设计、游戏界面生成等任务时,模型的审美也暴露出一定短板,这或许与其不具备联网搜索能力有关。
在体验入口方面,美团也同步提供了多种使用方式。在移动端,LongCat APP已支持文生图与图生图能力;在网页端,用户也可通过https://longcat.ai/进入图片生成入口进行体验。
对于开发者而言,LongCat-Image的模型权重与代码也已同步开源:
Hugging Face: https://huggingface.co/meituan-longcat/LongCat-Image
GitHub: https://github.com/meituan-longcat/LongCat-Image
下面我们就来看看LongCat-Image的模型结构、评测成绩和具体的实测表现。
01.从模型结构到评测成绩,LongCat-Image,把“编辑可控性”和“中文渲染”作为主攻方向
从模型设计上看,LongCat-Image采用了文生图与图像编辑同源的统一架构,并通过渐进式学习策略,在仅6B参数规模下兼顾了指令遵循精准度、生图质量与文字渲染三项能力的协同提升。
模型架构
这套训练路线并非从零开始堆参数,而是基于文生图中期训练模型进行初始化,并在后续阶段采用文生图与指令编辑的多任务联合学习机制,来避免编辑能力在后训练阶段被压缩的问题。
在图像编辑能力上,LongCat-Image在GEdit-Bench、ImgEdit-Bench等多个编辑类基准中取得了开源SOTA成绩。
客观基准测试性能对比
LongCat-Image通过多源数据预训练、指令改写策略与人工精标SFT数据的引入,使模型在面对复杂编辑要求时更不容易出现风格漂移和结构失真。
针对中文文字渲染这一长期痛点,LongCat-Image采用了覆盖8105个规范汉字的合成字形数据进行预训练,并在SFT阶段引入真实世界文本图片强化排版与字体泛化能力,在RL阶段还引入OCR与美学双奖励模型共同约束,最终在ChineseWord评测中取得90.7分的成绩,领先于现有开源模型。
在真实感方面,LongCat-Image通过对抗训练和严格的数据筛选机制,刻意绕开AIGC“塑料感”的纹理陷阱,并在RL阶段引入AIGC检测器作为奖励信号,反向引导模型学习真实世界的物理纹理与光影变化。
综合评测结果显示,在人类主观评分(MOS)维度上,LongCat-Image在文本对齐、视觉真实度与美学质量等多个子项中的表现已接近Seedream4.0等商业模型水平。
人类主观评分(MOS)对比
并列对比评估胜率(SBS)
在图像编辑任务的并列对比评估(SBS)中,LongCat-Image-Edit在综合质量与一致性两项关键指标上,对NanoBanana和Qwen-Image-Edit等模型均取得较高胜率。
整体来看,LongCat-Image在图像编辑任务上已逼近部分闭源模型水平,在文生图基础能力上也保持在开源头部阵营。
02.从漫画重绘到玩偶产品渲染,连续编辑稳定,但中文渲染仍是短板
从实际体验过程来看,LongCat-Image在“连续指令可编辑性”上的表现是较为稳定的,我们直接拿近期大火的《疯狂动物城2》相关图片进行测试,在同一角色基础上连续进行多轮修改。
参考图
指令:修改为像素风格作品。
指令:重绘为彩色,保留像素质感。
指令:图片角色重绘为模仿乐高积木主题的动物。
在漫画图像测试中,通过像素风、彩色像素重绘以及模仿乐高积木动物主题的连续重绘指令,模型可以保持角色结构稳定,同时完成风格与材质的多轮迁移。多次修改过程中,人物轮廓和构图基本未出现明显错误。
在此基础上,我们也进一步尝试了电影海报的制作场景,用同一角色图进行主视觉海报生成与多语言标题渲染测试。
指令:电影《疯狂动物城2》的宣传海报,海报的主画面是电影主角的精彩场面,主标题用艺术手写字体“疯狂动物城2”,下面附上英文名“Zootopia”,另外附上电影海报需要的其他小字,文字清晰可辨认。
在电影海报场景中,模型对参考图的继承能力较为稳定,无论是角色形象还是动态姿势,都能与原始图片保持较高一致度,中英文标题的主标题表现也较为清晰。不过在“小字”区域,一系列细节文字仍然存在乱码与英文混杂的问题,说明中文文字渲染在复杂排版场景下依然存在不稳定性。
进一步测试人物档案式中文海报时,模型可以正确渲染部分核心字段信息,但仍不可避免地出现中英文错位与局部乱码。
指令:生成动画电影角色的人物档案式宣传海报,用文字体现以下信息: 尼克•王尔德(Nick Wilde),是一只在迪士尼动画电影《疯狂动物城》中出场的狐狸。 中文名:尼克狐尼克。 外文名:Nick Wilde。 原型:赤狐。 职业:从骗子到警察。 搭档:兔子警官朱迪。 经典台词:“伤了你的小心脏?”
在产品级渲染测试中,朱迪警官玩偶在影棚光、台灯暖光、自然光客厅与床品光照等多个现实场景下的质感表现相对稳定。短绒毛的细节、眼睛的高光反射、沙发布料与玩偶绒毛之间的材质对比都能够被较为准确地表现出来,整体更接近商业产品渲染效果。
相比之下,在主流模型较为擅长的游戏界面生成场景中,LongCat-Image的短板更为明显。无论是卡牌游戏、射击游戏,还是MOBA类第一视角界面,整体风格都偏向十多年前的UI设计审美,与当下主流游戏产品存在明显代差。
指令:生成一个卡牌游戏界面。
指令:生成一个射击游戏界面。
指令:生成一个英雄联盟的游戏界面。
指令:生成一个王者荣耀第一视角的游戏界面。
从本次测试结果来看,LongCat-Image在改图与产品渲染类任务中的可用性更高,而在游戏界面与复杂排版场景中的表现相对一般。
03.结语:开源图像模型进入“可控编辑”竞赛,AI生图战况升级
从LongCat-Image的整体定位来看,美团并没有试图用更大的参数规模去正面冲击旗舰级生图模型,而是明确选择在可控性、连续编辑和中文渲染这几个方向上深挖。
图像模型的竞争焦点,正在快速向“能否真正进入设计、产品、品牌等具体生产流程”的实用能力集中。
本文来自微信公众号 “智东西”(ID:zhidxcom),作者:江 宇,36氪经授权发布。
