新闻动态

首页 > 新闻动态 > 超算&AI应用周报 | 谷歌时间序列预测模型TimesFM、智谱开源模型CogVLM2、ChatGLM3-6B上线
2024-06-01

超算&AI应用周报 | 谷歌时间序列预测模型TimesFM、智谱开源模型CogVLM2、ChatGLM3-6B上线

导读

周报内容均源自海内外主流媒体报道、高校官网等公开信息梳理、相关领域优质KOL原创深度,主要包括超算快讯、前沿应用、学术研究等。


本期超算&AI应用周报共4180字,预计阅读时间15分钟,您可以重点专注以下内容。


  • 超算AI快讯:

  • AI模型:超算互联网上线谷歌时间序列预测模型TimesFM、智谱CogVLM2、ChatGLM3-6B、Phi-3-medium-128k-instruct、Mistral-7B-Instruct-v0.3

    HPC软件:Raspa2 v2.0.48版本、Nektar ++v5.5.0版本上线超算互联网

  • 前沿应用:儿童节福利!上超算互联网免费创作AI卡通图;LCM迎来强力对手!PCM SD加速模型重塑图像生成速度与质量

  • 学术研究:南京大学团队AlignGPT模型实现多模态语言处理;论文速递|基于栅格的地理空间细胞自动机模型混合体系结构的并行框架


640.jpg


一、超算AI快讯:


算互联网上线谷歌时间序列预测模型TimesFM,零样本时间序列预测新突破


本周,超算互联网上线Google 时间序列预测模型TimesFM(Time Series Foundation Model)。这项技术能够利用大量历史数据来学习事件的模式和趋势,进而对新的、未见过的数据做出准确的预测。时间序列预测在天气预报、能源需求预测、金融市场分析、工业监控、疾病发展预测等多个领域都极为重要,能够帮助人们做出更明智的决策。


TimesFM模型特点包括:


  • 高效预测:TimesFM能够处理长上下文序列,适应不同预测期限。

  • 灵活性:对于非连续或不同频率的数据,模型可以自动处理。

  • 广泛适用:无论高频短周期还是低频长周期数据,都能进行有效预测。

  • 预训练模型:使用预先训练好的模型,大大降低了应用门槛。

  • API友好:支持数组和DataFrame输入,便于集成到现有工作流程中。


640 (1).jpg


超算互联网上线智谱开源模型CogVLM2、ChatGLM3-6B


近日,智谱开源了新一代多模态大模型CogVLM2 系列模型,CogVLM2在多个基准测试中取得了 SOTA 性能,性能接近或超过了 GPT-4V。CogVLM2 具有广泛的应用场景,包括图像理解与生成、OCR、图表理解、跨学科推理等复杂任务。


超算互联网现已上线CogVLM2模型的两个版本:CogVLM2-llama3-chat-19B、CogVLM2-llama3-chinese-chat-19B,支持一键启用,免费商用,模型亮点包括:


  • 深度融合: 视觉专家模块深度融合于语言模型中,实现视觉与语言的深度交互,提升多模态理解能力。

  • 高效推理: 尽管总参数量为 190 亿,但实际推理时仅激活约 120 亿参数,提高了推理效率。

  • 高分辨率支持: 支持高达 1344 分辨率的图像输入,提升了对高分辨率图像的处理能力。

  • 中英文双语支持: 提供支持中英文双语的开源模型版本,扩展了模型的应用范围。


此外,智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型ChatGLM3-6B已在超算互联网上线。目前,ChatGLM3-6B对学术研究完全开放,在完成企业登记获得授权后,允许免费商业使用。


640 (2).jpg


640 (3).jpg


Phi-3-medium-128k-instruct上线超算互联网,打造高效指令执行引擎


刚刚在微软 Build 开发者大会上亮相的Phi-3-medium-128k-instruct现已上线超算互联网。

Phi-3-medium-128k-instruct是Phi-3系列中的一个特定版本,拥有140亿的参数量,并在多个基准测试中表现优异,性能超过了Gemini 1.0 Pro,Mistral-8x22B等模型,已成为目前消费级硬件上可用的绝佳的模型。


模型亮点包括:


  • 性能特点:它在处理指令任务时展现出高效和准确性,能够生成高质量的文本输出,同时保持对上下文的敏感性,确保响应与之前的对话或输入内容连贯一致。相比未优化的基线模型,它在指令执行的准确性、反应速度和用户满意度上都有显著提升。

  • 指令优化:该模型经过专门训练,能够更好地理解和执行用户的直接指令或请求。这种“instruct”变体通常会利用更多的指令导向数据进行微调,以提高其在遵循用户指令、提供准确且有用信息方面的能力。

  • 应用场景广泛:Phi-3-medium-128k-instruct适用于广泛的场景,包括但不限于编程辅助(如代码自动补全、代码解释)、创意写作、学术研究、客户服务自动化、以及任何需要高度交互式和指令驱动的AI应用。


640 (4).jpg


超算互联网上线文本生成模型Mistral-7B-Instruct-v0.3


本周,Mistral-7B-Instruct-v0.3上线超算互联网平台,Mistral-7B-Instruct-v0.3是Mistral-7B模型的高级版本,它采用分组查询注意(GQA)更快的推理和滑动窗口注意(SWA)以有效地处理长序列,并专门针对基于防御的任务进行了微调。


模型亮点在于:


  • 强大的泛化能力:该模型经过精心设计和微调,能够在多种任务上展现优异的性能,从文本生成到指令执行,包括但不限于问答、对话、总结、创作等。

  • 原生函数调用功能:允许模型在生成文本时直接调用外部函数,增加了模型的实用性和灵活性。

  • 指令优化:"Instruct"变体专门针对指令型任务进行了优化,使得模型更擅长理解和执行用户的具体指令,提升了交互性和实用性。

  • 易于部署与使用:Mistral-7B-Instruct模型提供了便捷的部署方式,可通过Ollama等工具仅需几个命令行就能在本地运行。


640 (5).jpg


Raspa2 v2.0.48版本上线超算互联网


RASPA是一个通用的经典模拟软件包,被广泛应用于化学、材料和能源等领域的研究和开发。它提供了一套强大的工具和算法,用于模拟和分析纳米孔材料中的吸附、扩散、相平衡等过程。

Raspa2 v2.0.48版本目前已上线超算互联网,该代码采用了分子动力学和蒙特卡洛的最新算法,包括折射/测量保留积分、埃瓦尔德求和、配置偏置蒙特卡洛、连续分数成分蒙特卡洛、反应蒙特卡洛和贝克最小化。

RASPA 的应用内容:包括计算共存特性、单一和多种成分的吸附等温线、自扩散和集体扩散、反应系统和可视化。


640 (6).jpg


Nektar ++v5.5.0版本上线超算互联网


Nektar++是一个用于求解偏微分方程的开源软件框架。它基于谱/高阶元素方法,提供了一套强大的工具和库,用于开发高性能、可扩展的PDEs求解器。


Nektar ++v5.5.0版本目前已上线超算互联网,主要更新内容包括:


  • 对Parareal和PFASST驱动程序的重新设计并添加滑动网格功能。

  • 对ADRSolver 添加了对空间恒定但方向可变扩散的支持并内联 Vmath 库。

  • IncNavierStokesSolver添加了新功能:在动态参考系中添加弹性支撑物体,并修复了错误。

  • CompressibleFlowSolver添加了三个亚声速入流边界条件:EnforceEntropyPresure, EnforceEntropyVelocity, and EnforceEntropyTotalEnthalpy。


640 (7).jpg


二、前沿应用:


儿童节福利!上超算互联网免费创作AI卡通图


为让更多大、小朋友能轻松创作新颖有趣、独一无二的表情包、童话绘本,从6月1日起国家超算互联网(SCNet)推出免费AI作图活动。所有平台注册用户,只需发动想象力输出简洁提示词,依托“文生图”AI模型就可快速输出创意图片,所有流程线上完成,无须本地部署,便捷高效。

本活动所用模型包括通义千问语言模型Qwen1.5-7B-Chat以及字节跳动文生图开源模型SDXL-lightning。用户只需四步就可开启AI作图之旅,详情的AI绘本制作教程可进一步参考“SDXL-lightning”商品页使用手册与视频教程。


640 (8).jpg


LCM迎来强力对手!PCM SD加速模型重塑图像生成速度与质量


最近,一个新的SD加速模型——PCM面世,该模型成功解决了LCM模型存在的多项缺陷,并对AnimateLCM进行了改良,确保了动画直接生成的高质量。


640 (9).jpg


其主要特点与优势在于:


  • 增强的CFG规模接受度:PCM解决了LCM模型在处理CFG时的局限性,原先LCM仅能接受CFG值小于2的情况,而PCM能够接受更大的CFG值。这不仅扩展了模型的应用场景,还有可能增强了图像的动态范围,减少过度曝光问题。

  • 推理步骤的一致性提升:PCM通过改进算法,确保了在不同推理步骤下模型输出结果的一致性和清晰度,即使在推理设置不理想的情况下也能生成高质量图像,避免了因步骤设置不当导致的图像模糊问题。

  • 优化的分布一致性:针对LCM模型在低推理步骤下分布一致性不佳的问题,PCM通过优化损失函数和训练过程,显著提升了低推理设置下生成图像的质量,增强了图像的整体一致性和细节表现。

  • AnimateLCM的优化集成:PCM特别优化了对AnimateLCM的支持,使得直接生成动画成为可能且质量可靠,极大减少了动画后期处理的需求,加速了动画制作流程,对于动画创作者来说是一个重大的便利。

  • 整体质量和稳定性:PCM不仅提升了图像生成的速度,还确保了生成内容的稳定性和高质量,为图像和动画的生产设立了新的标准,预示着扩散模型领域的技术进步和创新潜力。


内容链接:http://www.keji100.net/news/202405/78296.html


三、学术研究:


南京大学团队AlignGPT模型实现多模态语言处理


近期,由南京大学的研究团队研发出一种新的多模态大型语言模型——AlignGPT。其主要特点在于预训练阶段对于图像-文本对的处理方法。


640 (10).jpg


具体来说:


  • 差异化对待图像-文本对:在预训练过程中,并非对所有图像-文本对采用统一的处理方式,而是有选择性或有侧重地进行训练。这意味着模型可能会更关注那些信息量大、语义关联性强或者具有特定代表性的图像-文本配对,以此来优化学习效果和提高模型的泛化能力。

  • 多模态整合能力:作为多模态模型,AlignGPT能够理解并生成与图像相关的文本内容,以及根据文本生成或选择合适的图像描述,这种能力使得它在跨模态理解和生成任务上表现出色。

  • 潜在的高级语义对齐:模型名称中的“Align”可能暗示了研究团队在努力实现图像和文本之间的高级语义对齐,确保模型不仅能够匹配基本的视觉特征和文字描述,还能捕捉到两者间深层的语义关系。

  • 大规模预训练:尽管没有直接提及,但考虑到当前大型语言模型的训练趋势,AlignGPT很可能也是在大规模数据集上进行预训练的,这有助于模型学习到更广泛的语言模式和世界知识。

  • 潜在的应用广泛性:鉴于其多模态特性,AlignGPT可应用于各种场景,如内容生成、视觉问答、图像标题生成、多媒体信息检索等。


论文链接:https://arxiv.org/abs/2405.14129


论文速递|基于栅格的地理空间细胞自动机模型混合体系结构的并行框架


近日,中国地质大学(武汉)关庆锋教授团队在IJGIS发表题为《A parallel framework on hybrid architectures for raster-based geospatial cellular automata models》的论文,探讨了地理空间元胞自动机(Geo-CA)模型在土地利用模拟中的应用与挑战,特别是在处理大规模数据和复杂计算需求时的效率问题。Geo-CA模型通过模拟元胞状态变化来反映土地利用动态,对于理解人与自然环境的互动及指导可持续发展规划至关重要。然而,随着数据密度和计算复杂性的增加,传统Geo-CA模型面临计算效率低下等难题。


为应对这些挑战,研究引入了一种新的并行计算框架,旨在提升Geo-CA模型的计算效率和适用性。此框架通过以下几点创新实现:


  • 开发了一个通用的并行策略,不仅适用于特定模型,还能广泛应用于含有土地利用变化模拟的Geo-CA模型;

  • 设计了基于机器学习的并行规则挖掘模块,有效应对复杂转换规则的识别问题,尽管通常伴随较高的计算复杂度;

  • 实现了受需求限制的土地利用变化并行模拟模块,能够在分布式异构系统上高效运行,同时克服了实时统计土地利用比例以符合需求约束的难题;

  • 引入了回溯机制,确保模拟过程遵守土地利用需求的硬性限制。


640 (11).jpg

图:包含混合并行计算模式的框架图


研究展示了该框架通过并行化处理两个先进的Geo-CA模型(PLUS和MCCA)的能力,验证了框架在提高模拟效率和灵活性方面的潜力,为未来大规模土地利用模拟提供了强有力的计算工具。


论文链接:https://www.tandfonline.com/doi/full/10.1080/13658816.2024.2343776


640 (12).jpg


点击进入HPC&AI应用知识库