一、课程介绍：

人工智能技术近年来发展迅速，应用广泛，但是在边缘端上如何落地已经成为AI发展的瓶颈。生成式人工智能GPT技术又横空出世，迅速广泛应用。本次研修班从两个层面来讲述，一是我们的工作生活如何受益于GPT AI技术，如何实现计算机语言的AI自动编程，这样可以极大地提高编程效率和降低学习难度；二是介绍了人工智能模型如何移植到FPGA上的流程和方法，充分利用了FPGA强大的并行处理能力，解决了人工智能落地的问题。

编程需要大量的时间和精力去学习和调试，尤其是对于适用于FPGA设计的硬件描述语言Verilog HDL,而最近两年横空出世的生成式GPT AI技术则为我们提供了很好的智能工具。本次研修班将介绍GPT AI如何应用于工作和生活中，应用于Vivado和Vitis FPGA软件设计工具链，如何实现Verilog、Python的自动编程。GPT应用不限AI编程，在文章写作、绘图、视频和机器人等领域亦有应用。

由于人工智能落地需要在边缘端具有较强的算力和较低的延迟，纯粹用软件实现AI模型，已经不能满足这一要求，这便提出了将模型软件算法转变为硬件实现加速，而FPGA可以任意定制AI模型，又由于是定制化模型，同等条件下可以提供比GPU更强的算力和更好的性价比，也为FPGA开辟了新的热门应用领域。由于这是新的交叉学科领域，我们开设这个研修班方便大家跨越知识壁垒，以实现FPGA的AI模型的训练与移植。

为了实现将人工智能模型移植到FPGA上，我们需要先拿到模型或训练模型，需要先学习掌握这个基础知识。因此我们先介绍了最基本的人工智能实现原理、AI模型的关键组件卷积层、池化层、激活函数、全连接层的概念和作用，以及如何用这些组件实现模型的训练和推理，帮助学员理解消化和掌握人工智能的概念和流程。我们的例程有从网站上直接拿到这些模型和在计算机上先进行迁移训练得到这些模型，再进行FPGA的移植与实现。

FPGA由于时延小、算力强、功耗低在汽车自动驾驶、数据中心、5G、挖矿等领域应用广泛。FPGA AI技术以其并行化处理能力提升了模型的算力，以硬件的可以定制裁剪提升了效率，以硬件的可重构实现了在线升级。同时随着AI模型的快速演进，亦可以灵活升级保护了投资，而不像其他的方式必须更换硬件。其单位功耗算力比GPU方式高出数十倍，更适合于边缘端和移动端的AI应用。但FPGA AI技术有着比GPU更高的技术门槛，它们虽然比任何其他AI技术更加高效灵活。如果仍然采用Verilog/HDL进行模型编程,则工作量巨大，模型一旦不易修改，而Vitis AI人工智能FPGA工具链，让开发者可以在其熟悉的环境下进行开发，降低了FPGA AI技术门槛。

本次研修班将带你从头开始讲解实操AI模型原理、组件、训练、框架转换、PC推理、量化编译、镜像制作、平台制作和开发板运行全流程。研修班涉及多种AI框架和编程语言，支持视频多媒体框架GStreamer和VVAS管道编程，支持开发板编译ONNX模型，将OP自动分配到CPU和DPU中，让你以最快的方式熟悉上手FPGA人工智能。

本课程涵盖大量实验，所有讲解原理都会通过实验来验证说明，不仅加深学员的随堂理解，也可以为学员以后的工程实现提供一份参考模版。

二、协办单位：

三、主办单位：

北京中际孚歌科技有限公司

北京中际赛威文化发展有限公司

四、研修时间：2025年5月22 – 24日 （三天授课）

五、研修地点：上 海

六、培训对象：

课程适合于使用FPGA器件进行科研、教学和产品开发和验证的工程师、教师等工程技术人员，也适合于相关专业领域的研究生和高年级本科生。

七、工具平台：

培训课程使用的部分软硬件工具由培训方提供。

硬件平台：Xilinx ultra96 / KOMKria KV260；图形工作站

软件平台：Xilinx Vitis最新版本

八、课程大纲:

一、讲解多种语言Verilog、Python人工智能自动编程的环境搭建和实现方法，FPGA设计软件Vivado和Vitis如何设置以实现智能化编程。

1、介绍各种AI智能语言编程工具，集成式VS Code、网页版编程工具和浏览器插件工具的特点、安装与使用。讲解强大的代码编辑器VS Code软件与插件安装、虚拟环境设置和依赖库安装，以实现AI支持Verilog、Python、Testbench。讲解网页版编程工具的特点与比较，生成式AI模型的区别与选取。

2、讲解FPGA软件Vivado和Vitis如何配置，以便使用VS Code编辑器。

3、以若干实例讲解从Vivado项目建立、AI实现Verilog模块源程序和Testbench自动编程、优化调整和仿真测试的全过程，认识AI编程的作用和问题，以便更好地掌握它，提高您的编程效率，达到事半而功倍。

4、高级语言Python作为应用更广泛和更智能化的编程工具，人工智能与Python结合得更为紧密，我们以若干实例来介绍AI如何自动生成视频处理、爬虫和数据处理的Python程序，掌握AI Python的自动编程和渐近调试方法，为您的工作和学习提升效率，FPGA的PYNQ技术亦为Python在FPGA上的应用提供的支撑平台。

二、初步介绍人工智能实现原理、主要参数和在PC机上实操，以及FPGA AI的环境搭建、移植流程、FPGA DPU支持的OP、流程中模型的参数转换以适应FPGA处理的要求。

1、讲解计算机如何模仿人脑实现人工智能，并由此派生出的主要组件卷积层、池化层、激活函数、全连接层的概念。

2、讲解训练中的重要概念正向传播、反向传播、最常用的梯度下降法、学习率、损失函数和优化函数，并通过这些方法和函数如何控制推理结果。

3、讲解并在PC机上实操mnist或cifar模型的设计、数据集准备、损失函数和优化函数选择、模型训练、后处理编程和推理测试，了解整个AI模型的运作过程。

4、以口罩模型和在PC机上实操，讲解最常用的yolo模型实现原理和模型训练，模型框架转换caffe和tensorflow，其训练得到的模型在PC机上使用Keras框架上，用python进行后处理编程验证。

5、FPGA AI环境搭建。介绍虚拟机VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安装和环境变量设置。

6、FPGA AI开发原理和流程。介绍深度学习处理单元DPU、AI优化器、AI量化器、AI编译器、运行时XRT、DPU指令集等Vitis AI主要概念、开发流程、专有命令和API接口。

7、介绍FPGA DPU支持的OP定义，和AI模型如何在框架转换、固化量化编译过程中对模型参数的修改来匹配实现FPGA DPU和处理速度的要求，量化数据集的准备和处理以及如何通过脚本编程实现方便快速移植。

三、介绍FPGA AI开发板的配置使用、例程讲解和FPGA AI处理显示过程中各环节的延时分析。

1、演示FPGA AI项目视频文件，让学员对FPGA AI项目的应用范围和实现方法有一个直观的认识。

2、FPGA AI开发板介绍和使用。Alveo系列、Versal系列、ZynqMP系列，重点介绍本课程所用开发板Kria KV260、Ultra96、ZCU104，内容包括开发板硬件接口和连接、镜像烧录、网络配置、通讯软件和例程演示。

3、Kria KV260 AI开发板加速原理和自带例程详解。介绍开发板自带的两种加速核人脸识别Smartcam、人物跟踪Aibox-reid实现原理、C++、Python和GStreamer VVAS三种语言例程演示和程序解析，其中包含VART调用DPU流程和命令，比特流和kernel载入、输入预处理、模型运行和输出参数后处理全过程。

4、口罩识别yolov3-tiny模型训练、PC验证和移植KV260全流程。这是一个包括转化与固化、量化与编译、镜像生成再将xmodel模型放到KV260上进行实操验证。讲解PC上的模型转换程序、docker脚本、固化脚本、量化脚本、编译脚本，开发板上图像预处理程序、DPU AI调用命令集和yolos模型后处理程序（包括目标阈值筛选、非最大值抑制 NMS和目标框绘制）。

5、KV260 Vitis AI 1.4 yolov4-tiny模型编译生成xmodel，开发板后处理程序解读，开发板实操x11和hdmi显示和影响时延因素分析，本节生成的模型也在下面的Gstreamer编程中使用。

四、硬件平台制作、ONNX模型自动分配OP开发新流程、视频套件Gstreamer VVAS 管道编程与实现。

1、采用Tcl脚本形式开发KV260硬件平台，介绍makefile、Vitis、Vivado、Tcl批处理文件，其中对于涉及到Vitis开发软件亦做了简单介绍,也可以用Vitis或Vivado Gui界面打开分析。

2、自Vitis AI 3.0以后Vitis AI增加了新功能VOE，对AI模型进行量化和生成onnx模型，在开发板上直接编译量化模型就可以自动实现OP在DPU与CPU之间的自动分配，解决了FPGA AI的痛点。以语义分割模型segmentation为例，演示讲解这个新流程和后处理编程实现。

3、介绍多媒体GStreamer框架和插件、基本元素、主要模块和主要参数，并通过若干实例了解其原理和掌握其编程。

4、介绍基于Gstreamer框架的视频开发套件Vitis Video Analytics SDK (VVAS)，包括硬件与软件对应的层次结构，主要组件作用与命令格式，并渐次增加功能模块的方式讲解VVAS pipeline语言的编写，掌握用这种高度集成和方便的工具实现FPGA AI视觉应用编程。

5、利用上节的课程中方法编译得到yolov2-tiny xmodel模型，使用VVAS编程语言讲解编写目标识别pipeline, 实现在KV260上的视频文件读取、图像预处理、DPU运行、后处理、视频输出和存盘的所有功能。

6、讲解人脸识别和人物跟踪模型Gstreamer VVAS管道的编程，分析参数感受不同的参数对视频带来的影响，学会正确设置Gstreamer VVAS参数。

九、主讲专家：

DR.Wang，博士，中兴、华为公司资深研发专家，历任国家轨道交通实验室技术总监、美资Oplink光联通讯公司研发总监、港资英海威光电通信公司技术总监、美资Lumentum公司高级研发经理、中兴通信公司大项目经理、华为公司资深硬件专家，长期在国内外头部企业从事研发和管理工作，实战经验丰富，同时兼任多家大学教授，对于FPGA授课培训有成熟独特的方式体系，深受学员好评。

十、培训费用及注意事宜：

1、培训费：4500元/人 (含培训费、午餐费、资料费、证书费)。

2、付款方式：学员报名后，请直接将款汇到指定账号（见回执表）。

3、以上费用不含食宿，培训期间食宿可统一安排，费用自理。

4、培训会务工作由北京中际孚歌科技有限公司组织，并为学员出具正式发票。

十一、证书颁发： 培训结束后由主办单位向参会单位学员颁发结业证书。

十二、课程咨询：010-64113137