通信与网络技术发展和应用，给社会产生海量多媒体大数据，为各行业数字化转型和智能化社会构建创造了条件。工程研究中心依托学科优势和人才储备，适时开展大数据智能处理技术研究，结合现代和未来通信网络发展，重点开展针对域自适应深度学习、社交媒体大数据、信息系统和行为人（或目标对象）历史大数据、重点行业生产控制大数据分析和人工智能技术应用，开发面向现实需求（如新药筛选、新冠疫情防控、电力系统协同管控）、未来网络（B5G/6G）研究（新型人机交互跨模态通信），开展大数据智能处理前沿技术创新研究、原型系统开发、应用系统产业化推广等科技攻关活动，如下图所示，有力推动了通信与网络技术领域学术研究、技术进步、社会发展和相关产业节能增效。
图1 工程研究中心大数据智能处理技术研究方向布局
1. 目标域自适应深度学习模型及应用研究
近十多年来，基于深度学习的智能信号与信息处理技术高速发展，人类提前进入了智能时代。在智能信息处理技术中，信息分类是最基本也是最常用的应用之一。尽管在众多标准化数据集上，深度学习的分类模型取得了媲美人工分类的准确率，但许多实际场景与模型训练时的场景有着明显差异，尤其许多实际场景的数据无法预先获得标签信息，使得经典深度学习模型的泛化能力面临严峻的挑战。域自适应理论利用应用领域的数据来实现自适应的模型调整，有效克服了深度学习模型依赖于训练数据分布的缺陷，同时满足了应用领域的复杂性和多变性需求，因而成为当前深度学习的研究热点之一。工程研究中心杨震教授研究团队从无标签目标域的自适应问题出发，面向深度学习的两个热点应用领域—图像分类和新药筛选，分析深度学习模型在泛化性方面的不足。在此基础上，通过研究度量学习、伪边缘以及筛选回归等新的深度学习理论、方法和技术手段，提升模型在复杂和多变环境下的泛化性能。
（1）提出度量学习协助的域自适应算法和通用域自适应图像分类方法
针对图像分类中易误分类的问题，分析了传统域自适应(Domain Adaptation: DA)方法在源域和目标域特征分布对齐时，源域与目标域图像分类误差之间的关系。本文结合度量学习准则，通过在源域引入具有动态边缘的三元组损失函数，进一步控制域对齐后目标域图像分类的误差，并据此提出新的DA算法：度量学习协助的域自适应算法MLA-DA(Metric-Learning-Assisted Domain Adaptation: MLA-DA)。该算法在源域图像的分类学习中有针对性地增加分类边距，使得域对齐后分类边界相对目标域图像更加宽裕。理论和实验结果表明与经典域对齐算法相比，MLA-DA算法在目标域图像分类上具有更好的鲁棒性和泛化性能。
针对图像分类中通用域自适应(Universal Domain Adaptation: UDA)问题，分析了源域图像分类器在目标域图像分类的概率分布，并探索该分布与公共类别集识别的关系。提出了一种利用伪边缘(Pseudo-Margin: PM)的通用域自适应方法，实现公共类别集的精准识别。此外，面向实际应用中目标域图像的类别集完全未知的场景，提出了一种表征源域图像类别在目标域图像中出现概率的模型，并构造了伪边缘向量。然后通过基于伪边缘向量的类级加权对抗训练，尽可能地将公共类别集图像样本的特征分布对齐。实验结果表明，基于概率模型和伪边缘的图像通用域自适应理论，能够准确地识别公共类别集的图像，并取得较好的未知目标域图像分类性能。
为解决多源图像分类中多样性和差异性的矛盾，提出了联合域对齐的技术，同时对齐多个不同的源域图像之间、源域图像与目标域图像之间的公共类别集样本分布，并开创性地提出通用多源域自适应(Universal Multi-Sources Domain Adaptation: UMDA)理论。在此基础上，设计了一种通用多源自适应网络(Universal Multi-Sources Adaptation Network: UMAN)，进一步提高通用图像分类的性能。UMAN以基于伪边缘的通用图像分类的研究为基础，提出联合的多源域图像分类器和对抗损失，有效消除各域样本分布之间的差异，并显著降低系统的复杂度。理论和实验结果表明，采用联合的多源域图像分类器和联合的域对齐损失函数，能够提升深度学习模型的泛化性和鲁棒性，特别是在源域数量多、差异大的复杂场景下。
（2）将无标签目标域自适应深度学习用于新药筛选
研究团队将离散的分类问题一般化为连续的回归问题，并应用于药物虚拟筛选(Virtual Screening: VS)上，进一步验证无标签目标域自适应对基于深度学习的回归模型泛化性能的提升潜力。首先，针对已测定与未测定的分子数据之间的分布差异问题，根据实际待筛选数据库的先验分布，构建新的分子虚拟筛选的标准数据集，用以综合地评价深度学习模型在实际虚拟筛选中的性能。在此基础上提出一个新的实际虚拟筛选(Real Virtual Screening: RealVS)模型。该模型从其他相关靶标的数据中迁移丰富的源域信息，利用域自适应理论适配迁移信息，以减少训练和测试数据分布不一致对模型泛化性能的影响，从而提升模型在目标靶标上的分类筛选能力。此外，采用图注意力机制研究了RealVS模型分类筛选结果的可解释性。实验结果表明，与常用的深度学习方法相比，所提出的RealVS模型明显提升了的分类筛选性能，且具有较强的可扩展性和鲁棒性。
图像分类中的小样本集问题在药物虚拟筛选中更为明显，该问题导致深度学习模型容易过拟合于训练数据，从而难以泛化到无标签的目标域上。针对此问题，本文提出一种新的基于虚拟对抗训练的特征子空间增强(Adversarial Feature Subspace Enhancement: AFSE)技术，以进一步增强深度学习模型在小样本集条件下的泛化性能。具体地，通过特征子空间中的虚拟对抗训练，使得模型在取得更高的特征平滑度的同时，保留对活性值悬崖的表征能力，从而提高深度学习模型在小样本集目标任务上的泛化性。实验结果表明，AFSE方法可运用在多种常用图神经网络上，在大量系统构建的药物虚拟筛选数据集中，取得了多项性能的提高，包括命中高活性分子的比例、预测分子活性的精度，和按活性排序分子的匹配度。
图4 基于虚拟对抗技术的对抗特征子空间增强（AFSE）小样本药物优选法
该研究方向，已完成/在研项目：
国家863重点课题“多语言语音识别关键技术研究与应用产品开发” 课题编号：2006AA010102， 1200万，杨震（副组长）,完成。
国家科技支撑计划“电信运营商业务支撑软件测试与服务平台建设”项目编号：2007BAH17B04，（国拨591万），项目负责人，完成 。
国家重大基础研究计划973课题，课题名称：物联网混杂信息融合与决策研究；课题编号：2011CB302903；课题经费143万，课题负责人杨震，完成。
国家自然科学基金，基于非正交多址的认知无线网接入技术研究项目批准号：61671252，60万+，课题负责人杨震，完成。
国家自然科学基金，62071242，语音的图信号处理理论与技术研究；54万，项目负责人，在研。
该研究方向，申报发明专利20多项，授权专利8项。
2. 跨模态大数据信息处理系统
（1）提出跨模态信息获取和表征的统一模型
跨模态信息（听、看、触、嗅、味等）通过无线通信系统传输至接收端重现，将为用户带来更极致的互动体验和更丰富的场景体验。然而，不同模态信息的感知机理不同，缺乏跨模态信息获取和表征的统一模型；音频、视频、触觉、嗅觉等信号之间性能指标差异显著，传输保障难度加剧；音频、视频、触觉、嗅觉等信号的表现形式各异，以沉浸式体验为目的的综合展现方法还有待突破。工程中心周亮教授团队提出的跨模态原型系统通过研究多模态数据的普适化感知及其表征模型、多模态数据的混合编码设计、多模态异构码流按需调度技术与传输协议设计以及面向沉浸式体验的跨模态信号恢复与重建四个模块共同实现音频、视频和触觉跨模态通信，在远程医疗等应用中提高用户沉浸式体验。
图5 以沉浸式体验为目的的跨模态原型系统
（2）提出音-视-触跨模态通信架构
周亮教授团队专注于探索传统视听服务和新兴触觉服务的相互加持潜力，以期为多媒体用户带来更沉浸式的互动感受和场景体验。针对音频视频和触觉信号在物理特征、传输需求、呈现形式等维度上存在巨大本质差异的问题，提出音-视-触跨模态通信架构，包含触觉信号编码、多模态异构码流传输、跨模态信息重建三个方面。
图6 跨模态传输策略框架
项目团队基于用户触觉感知机理实现了高效鲁棒的触觉信号编码方案，为实现多模态信号的压缩提供了理论依据；同时通过利用码流传输的时空分布不均，提出一种边缘智能赋能下的多模态异构码流传输策略；且通过模态间语义层面的融合及共享，探索了智能、完备的跨模态信息重建机制设计空间。相关理论方法和实践演示属国际标杆，重要成果发表在IEEE JSAC、IEEE NETWORK、IEEE TMM等通信和多媒体领域高水平期刊上，引起了国内外知名专家的广泛关注，为尚在起步阶段的跨模态通信与触觉互联网的研究提供了有力借鉴和启发。
（3）跨模态生成
深度融合文本到图像生成对抗网络根据文本生成图像任务要求计算机能够由文本生成对应的图片，由于其为创作带来的便利性，使其在互联网时代有着重要的研究价值和意义。该任务会给定一段文本，要求模型能够充分理解文本中蕴含的语义信息，并将文本中的语义信息映射为图像中对应的视觉信息，从而得到真实且符合文本描述的图像。利用生成对抗网络进行对抗学习是解决该任务的主要方法之一，在对抗学习中，判别器需要区分生成图片和真实图片，而生成器则需要生成足够逼真的图片，使得判别器无法区分生成的和真实的图片，通过生成器和判别器之间的互相博弈，从而提高生成图片的质量。
提出了一个简单且有效的一阶段文本到图像生成框架，它可以直接由文本生成高分辨率的图片，避免了多阶段框架带来的特征纠缠问题。在生成器中，我们提出了一个深度文本-图像融合模块，通过堆叠基于文本的图像仿射变化，加深了文本与图像的特征融合，从而使得文本信息能够更好的表达在图片中。在判别器中，我们提出了一个目标感知判别器，它由两部分组成，包括一个匹配感知梯度惩罚策略和一个单路判别器。这两个模块构造了一个利于收敛到目标图片的判别器损失曲面，使得模型可以更快且稳定地收敛，从而使得模型得到更好的优化。
通过定性和定量的实验表明，所提出的方法在简化当前生成网络的同时，优化了生成图像的质量，并且提高生成图像与文本的匹配度。
图7 深度融合文本到图像生成对抗网络
该研究方向取得的研究成果：授权发明专利16项。
3. 跨模态大数据的感知和认知
（1）提出跨模态大数据的感知与分析框架
多媒体数据包括文字、图像、音频、视频等，是一种不可或缺且数量庞大的信息载体，已成为当前信息资源建设和信息处理的主体。对多媒体数据的感知与分析是有效理解和利用多媒体数据的关键，是人工智能领域的一个重要研究热点。现阶段，这部分的研究主要面临模态鸿沟、平台鸿沟和空间鸿沟三大挑战。工程中心鲍秉坤教授团队提出跨模态大数据的感知与分析框架，研究多媒体数据的跨模态语义理解、跨平台主题和跨空间事件感知三方面内容。提出了模态共享子空间学习的跨模态语义理解的原创理论，坚持以用户和地理位置为桥梁的跨平台主题发现这一特色研究，探讨引入语义事件尺度实现跨空间事件感知的创新方向，并基于理论与方法研究，实现面向公共安全的跨模态大数据感知与分析平台。相关工作发表论文50 余篇，研究成果得到学术同行的广泛关注与认可，荣获国际会议MMM 2019 年度最佳论文Runner-Up 奖。同时，这部分的研究也得到国家自然科学基金重点项目的资助。
图8 面向公共安全的跨模态大数据感知与分析平台
（2）提出跨模态大数据认知框架
《新一代人工智能发展规划》指出了大数据智能、跨媒体智能、群体智能、混合增强智能和自主智能五个重要发展方向，并从前沿基础理论、关键共性技术、创新应用平台等层面进行系统部署。工程中心鲍秉坤教授团队关注认知计算基础理论与方法研究这一方向，聚焦研究认知进化机理、理论、方法和相关技术，形成跨媒体智能、混合增强智能和自主智能多种形态。针对认知计算研究中，动态跨媒体的知识归纳、知识缺失下的不确定推理、环境反馈下的知识决策、体系化的通用认知测试四个关键科学问题，揭示“学以致用、以用促学”的认知进化机理，研究“知识与经验联合驱动的认知进化”理论和方法，建模认知的“归纳-推理-决策-测试”进化反馈回路。提出知识归纳、知识推理、知识决策和认知测试的方法和技术，使模型具备环境动态自适应、环境开放自适应、环境反馈自适应和环境应用自适应能力，最终实现类人感知、类人思维、类人研判和类人反思。形成跨媒体智能、自主智能和混合增强智能，在公共卫生治理和智能化创作上，进行应用验证。提出的DF-GAN（Deep Fusion GAN）作为一个简单有效的文本生成图片框架，被CVPR’22录用为口头报告，被国际知名机构包括OpenAI、Meta AI Research、微软、智源、百度、字节、京东、达摩院等正面评价或扩展，并引发了大量的跟随研究，包括DTGAN、SSA-GAN、OptGAN、CIGLI、SketchBird、Vastr-GAN等模型。本部分的工作也得到科技创新2030-新一代人工智能国家重大项目的资助。
图9 智能化创作技术框架
该研究方向，完成/在研项目：
认知计算基础理论与方法研究，科技创新2030-“新一代人工智能”重大专项，主持人鲍秉坤，在研，2020.11-2023.10
跨模态社会媒体的深度分析与决策，国家自然科学基金重点项目，项目号61936005，主持人鲍秉坤，在研，2020.01-2024.12
面向社会事件的跨模态知识构建、演化与推理，国家自然科学基金面上项目，项目号61872424，主持人鲍秉坤，在研，2019.01-2022.12
多媒体数据感知与分析，江苏省自然科学基金杰出青年项目，项目号BK20200037，主持人鲍秉坤，在研，2021.01-2023.12
该研究方向取得的研究成果： 申请发明专利1项，发表高水平论文4篇。
4. 基于大数据与人工智能的有源配电网协同管控
有源配电网是传统配电网的新形态，是国家能源战略发展的重要组成部分。而新能源发电的不确定性、源-网-荷动态行为的混杂性以及信息流与能量流深度融合等，使得有源配电网不确定性增强，系统动态特性更加复杂，传统运行控制技术难以适用。在如何认知与评估系统的安全性、如何控制混杂动态行为实现系统安全运行、如何实现系统运行的高效经济等方面，面临一系列亟待解决的国际学术前沿问题和技术难题。在国家智能电网产业集聚发展试点重点项目等支持下，工程研究中心科研团队突破了“多重不确定影响的安全评估、混杂动态行为安全控制、多时空尺度协同优化调度”关键技术难题，研发了核心装置与系统，如图4.30所示，并实现大规模工程应用，产生了显著经济社会效益。技术突破如下：
（1）发明了多重不确定性耦合影响下的安全评估技术。发掘了可再生能源发电以及电动汽车充放电等不确定性的时空分布规律，揭示了多时空分布不确定性的耦合影响机理，发明了基于特性互补 EEAC 算法簇的机理-数据融合安全评估技术，解决了多重不确定性影响下安全评估准确度快速性无法兼顾的难题。实现了评估速度<1s、准确度达±0.5%。
图 有源配电网智能协同管控系统
（2）发明了“源-网-荷”多模态协调切换安全控制技术。发掘了“源-网-荷”多模态切换的逻辑关联性，首次发明了安全事件驱动的“源-网-荷”模态最佳组合在线快速搜索方法与协调切换控制技术，实现了运行模态的柔性重组和智能切换，解决了大扰动下安全性响应速度与切换成本经济性无法兼顾的难题。大扰动下调节时间小于 0.2s（网络时延下 0.3s）。
（3）发明了多时空尺度多目标协同优化管控技术。建立了有源配电网集中协调与分布式协同优化控制架构体系，发明了 “安全切换控制-能量优化调度-协同稳定控制”一体化设计方法与技术，攻克了安全稳定经济多目标协同趋优的难题。
（4）研发了基于仿真平行系统辅助决策的多时空尺度网络化协同“监-管-控”系统。发明了有源配电网仿真平行系统与实际系统间的交互迁移学习技术，研发了全景可视化监控系统、微电网能量管理与控制系统等核心装置与系统，核心功能与性能明显优于国内外同类产品，功能指标达到国际领先水平。
该研究方向，完成相关科研项目：
国家自然科学基金重点项目，“基于数据与机理分析的有源配电网状态估计与网络化趋优协调控制”，项目号61533010，时间2016.01-2020.12，主持人岳东，完成。
国家智能电网产业集聚发展试点重点项目，“基于微电网的虚拟电站及多种能源综合利用技术研究”，宁经管委发[2015]360号，时间2014.03-2016.09，主持人岳东，完成。
国家自然科学基金面上项目，“智能电网愿景下分布式微电网并网消纳协同自律系统多目标自趋优控制的研究”，编号61573300，项目负责人岳东，完成。
江苏省重点研发计划，“智能微电网电能质量多时间尺度协调优化治理关键技术及系统研发”，编号，SJ216005，项目负责人岳东，完成。
该研究方向获授权国家发明专利 40 件，制定行业标准 1 项，软著 3 件。项目成果成功应用到国家重大示范工程以及 18 省区 200 多家企业，实现 100%达标，消除了大规模新能源并网对配电网安稳运行带来的隐患。在有源配电网领域国内市场占有率位居第一，近两年，新增销售 5.76 亿元，经济效益显著。获江苏省技术发明奖1项，省部级科技进步奖1项。