研究方向




研发高效推理框架,提升模型速度与吞吐量、降低推理成本。通过端侧大模型加密保障数据安全,结合端侧 NPU 优化推理技术,实现定制化语音大模型和工具调用大模型端侧部署,强化智能终端 AI 能力。
致力于打造工业多模态大模型及智能模组整体解决方案,通过突破分布式训练、快速调优、网络压缩等关键技术,构建高性能工业视觉 AI 系统。项目将研制系列智能模组产品,实现高精度、低功耗的工业检测:创新开发无代码交互平台,大幅降低 AI 应用部署门槛;推动技术成果转化,有效解决工业质检、设备监控、工艺优化等场景痛点。该方案通过”大模型 +智能模组+无代码平台”的创新组合,为制造业提供高效、灵活、易用的智能化升级路径,助力企业实现降本增效。
IDEA晶泰人工智能实验室致力于将生成式AI与大模型技术深度应用于生物医药领域,聚焦AI辅助小分子和生物大分子建模与药物设计,旨在加速蛋白、抗体及小分子药物的从头发现进程。
实验室在相关领域成果斐然:累计在NeurIPS、ICML等人工智能顶会发表论文8篇,并获授权专利5项。代表性技术包括抗体结构预测模型idealFold,运行速度较行业标准快93倍。小分子模型SubgDiff分子属性预测性能达到SOTA(业界顶尖)水平。发布多模态分子大模型InstructMol、化学反应大模型PRESTO等。此外,实验室构建了高精度文档解析多模态大模型,分子图识别率超97%,已成功赋能晶泰科技PatSight工具,将专利化合物数据挖掘周期从数周缩短至1小时,显著提升了药物研发的数字化效率与智能化水平。
IDEA视见睿来实验室致力于引领AI视频内容生成与编辑的技术变革。
实验室科研实力雄厚,已在CVPR、ICCV等国际顶会发表论文20余篇,在人脸与人体动捕等多项感知技术榜单中位列榜首,获得深圳市自然科学奖一等奖等奖项。 围绕“更精准的感知、更写实的生成、更丰富的交互”三大核心目标 ,实验室构建了全栈技术体系:涵盖单目人体/人脸动捕等感知技术,文字语音驱动、3D高斯溅射渲染等驱动编辑技术,以及高清视频生成与语音克隆技术。
IDEA数说故事实验室构建了具备行业领先水平的大规模商业事理图谱,实现了从理论创新到产品落地的全链路闭环。
算法性能超越SOTA与大模型:自主研发“Trigger-free”事件检测算法(CoDE)及Coarse-to-Fine事件共指技术,不仅在ACE2005等权威数据集上显著优于SOTA,将事件重复率从0.37大幅降至0.02,确保图谱的高质量与精准度。
前沿生成式技术与图计算融合:创新性引入扩散模型用于事件梗概生成,并提出基于强化学习的零样本关系抽取方案(TAG),在保持高性能的同时,推理速度较大模型提升78%;结合自研的高效子图匹配算法(D2Match),显著提升了图谱的搜索与推理能力。
百万级规模落地与服务化:打造InsightHub营销洞察图谱,实现无监督技术下的百万级事件/热点等挖掘。系统已深度赋能“蓝鹰”、“数说小智”等商业产品,并产出ACL、ICML、ICASSP等顶会论文十余篇及多项专利,确立了在商业事理图谱领域的技术标杆地位。
AI智能审图平台,通过实现多模态图文融合与矢量图识别的应用创新,支持建筑图纸 AI 智能审核,通过将 CAD 图纸数字化,结合计算机视觉算法和深度学习等技术智能识别图纸构件、空间以及文字等对象信息,与现行规范进行规则逻辑审查,快速发现并标注设计错误,自动完成图纸的智能审核,提高图纸审核效率。
其中项目研发了基于多模态图文融合的构件识别模型 DIN0-with-text,其在性能(precision、reca11、F1score 等各项指标)、资源占用(显存、时间消耗等)、以及可拓展性等各方面均优于已有算法 3%~6%,目前已在万科 AI 审图产品中成功部署上线,用户反馈良好;研发了矢量图识别方法,目前该模型在公开数据集上的性能评测指标上超越现有最好的学术方法将近10%,在速度上,相比现有方法提升接近提升 20x,目前该方法已经被国际顶级会议ICLR2024 接收。
针对隐私安全计算技术使用难、性能瓶颈等问题,IDEA 翼方健数实验室研发的支持硬件加速的开源 FHE 编译器。
支持包括加减乘除,比较,排序方差,平均等 20+算子,节省用户代码 90%,结合单卡 GPU ,单算子计算性能提升相较CPU最高600倍,相较业内其他GPU方案提升最高40倍加速实现 20-600 倍加速,组合条件下,隐私查询时间小于1秒,密态数据查询端到端性能相较CPU提升20+倍; 目前落地到翼方健数数据要素流通平台XDP,有效较低数据流通中带宽资源需求达 80%。
产品应用


Luban 多媒体智能平台,旨在重新定义视频创作流程,通过将传统视频制作环节全面 AI 化,我们致力于大幅降低创作门槛与成本,赋能用户高效产出高质量的 AI 翻译、数字人、交互对话、及创意视频内容,让创作力自由释放。
SalesPulse 营销智能体平台创新性地实现了 InsightHub 营销洞察图谱与人像生成与编辑技术的深度融合,InsightHub 充当“最强大脑”,利用海量数据构建营销知识图谱,精准捕捉市场脉搏;
而人像生成与编辑技术则是“最强执行者”,以好莱坞级的数字人技术实现高质量内容的规模化生产。二者结合打造一套“数据+策略+执行”一体化的智能体工作台,让个体创业者具备世界级的市场洞察力与内容生产力。


