项目经历

8/17/2024

# 1. 大模型一体化平台

平台概述:该平台致力于实现大模型领域的产学研用一体化,主要服务于科研技术人员的研发需求和传统行业人员的实际应用。平台整合了实验室的学术成果及开源社区的前沿技术,加速科研人员的研发进程,并为其他传统行业提供智能化转型解决方案。

大模型一体化平台-首页

平台功能:

  • 模型推理功能:对基座模型和微调后的模型部署推理服务,支持vLLM技术加速推理,提高响应速度与并发吞吐量。
  • 数据标注功能:具备多模态的数据集标注功能,支持通过大模型服务进行预标注,用于提供训练数据。
  • 模型微调功能:提供了多种对基座大模型进行微调的方式,针对全量微调支持了GaLore降低显存占用的优化算法。
  • 工具调用功能:封装了LangChain工具链调用,提供拖拽连线配置的可视化交互界面便捷构建任务流。
  • 场景接入功能:提供了若干场景接入模板,平台内部署的服务只需简单配置即可通过模板创建应用。
  • 知识仓库功能:提供了解析知识文件构建检索服务的功能,可作为RAG中的检索部分接入任务流服务。
  • 模型评估功能:自定义测试问题,对基座模型服务、微调推理服务、任务流服务评估效果,支持相互比较。
  • 资源管理功能:基于Slurm封装了资源调度与监控功能,对集群提供分布式训练及推理的算力支持。
  • 密钥授权功能:平台内部署的服务是受限访问的,提供密钥授权方式脱离平台调用,供其他系统集成。
  • 夫子明察场景:开发了基于案例检索回复、基于法条检索回复、三段论推理判决、司法对话等应用场景。
  • 智慧政务场景:开发了智能搜索问答、政策法规问答、报告亮点生成、时空报告生成、重点工作预警等应用场景。

平台架构:

大模型一体化平台-技术架构

平台介绍详见:大模型一体化平台-介绍材料.pdf (opens new window)

# 2. 山东大学AI助手

山东大学AI助手包含众多依托大模型的功能模块,旨在为校园用户提供高效、智能的支持,涵盖科研、教学、服务、法律及管理等领域,提升师生在科研、教学和管理中的工作效率,满足多样化的智能化需求。

山东大学AI助手-首页

平台功能:

  • 基座模型:基座大模型核心引擎,使用校园数据进行微调训练,可满足校园用户的基本问答需求。
  • 科研助手:支持论文翻译、润色、总结、综述、问答等功能,为师生日常科研工作提供全面支持。
  • 教学助手:基于主题生成PPT,提供交互式编辑功能,提升日常教学及学术汇报材料的准备效率。
  • 服务助手:通过RAG挂载领域知识库,提供精准专业的智能问答服务,支持横向扩展和数据更新。
  • 法律助手:司法领域垂直模型,支持法律咨询、辅助判决、文书生成、合同审查等专业法律服务。
  • 管理助手:具备Text2SQL及图表生成功能,用户可通过自然语言查询和分析数据,助力管理决策。

山东大学AI助手-后台

平台介绍详见:山东大学AI助手-介绍材料.pdf (opens new window)

# 3. 模型研发平台

平台概述:旨在整合人工智能和大数据技术,开发多功能的工具库、算法库和模型库,提供存储、处理、分析、展示和服务的一体化解决方案。平台支持各种主流深度学习框架,简化了从数据源配置到模型训练和服务部署的完整研发流程。通过平台,用户可以轻松进行模型研发和数据分析任务,提高传统行业领域利用人工智能技术的效率。

模型研发平台-首页

# 4. 可重构大数据平台

平台概述:从基因角度分析犬只行为的项目,包含IB和IBT两个子系统,主要定位是面向科研人员使用。IB包含Web端和Pad端,用于犬只繁育及基因数据收集。IBT是整个平台的核心,它利用“可重构“的设计思想,内置许多基因分析算法。

可重构大数据平台-IB

平台特色:

  • 基因数据处理:待处理的数据总量约2320亿,将参考基因组多线程缓存进Redis集群里,利用PyVCF解析Call-SNP后的基因测序文件,采用多进程的方式处理,将数据存入Kafka消息队列集群,最后Doris集群从Kafka中以近实时的速度消费数据入库。
  • 基因分析算法:借助生物研究的Plink、Admaxture以及深度学习技术实现祖源分析、外观分析、行为分析、基因预测等算法。
  • HPC架构思想:从计算机体系结构层面优化性能,利用磁盘顺序读写、多级缓存、流式处理等思想设计架构,实现高性能计算。

可重构大数据平台-平台整体架构

Last Updated: 5/4/2025, 4:42:45 PM