GitHub Actions 工件存储优化：大文件缓存与按需下载策略

xiaoshi 05-30 19 抢沙发

默认

摘要： ...

解锁 GitHub Actions 工件存储优化：大文件缓存与按需下载策略

在软件开发的持续集成和持续部署（CI/CD）流程中，GitHub Actions 已经成为众多开发者的得力助手。不过，随着项目规模的扩大，尤其是涉及到大文件时，工件存储就成了一个让人头疼的问题。接下来，咱们就聊聊如何通过大文件缓存和按需下载策略来优化 GitHub Actions 的工件存储。

大文件缓存的魅力

什么是大文件缓存

大文件缓存是一种将频繁使用的大文件存储在特定位置的技术。在 GitHub Actions 里，每次运行工作流时，如果某些大文件内容没有改变，就不用重复下载或重新生成这些文件，而是直接从缓存中获取。比如在一个机器学习项目中，预训练模型文件可能非常大，每次训练前都下载这个文件会浪费大量时间和带宽。通过大文件缓存，就可以避免这种情况。

缓存带来的好处

节省时间：缓存能显著减少工作流的运行时间。以一个大型代码库的编译过程为例，如果编译依赖的第三方库文件被缓存，再次编译时就可以快速从缓存中获取这些文件，而不用重新下载，大大提高了编译效率。
降低成本：频繁下载大文件会消耗大量的网络带宽，而大文件缓存可以减少这种不必要的带宽消耗，降低存储和下载成本。

如何设置大文件缓存

在 GitHub Actions 中设置大文件缓存并不复杂。可以使用 actions/cache 这个官方提供的动作。只需要在工作流文件中指定缓存的路径和键值，就可以实现缓存的创建和恢复。例如：

- name: Cache large files
  uses: actions/cache@v3
  with:
    path: |
      large_files_directory
    key: ${{ runner.os }}-large-files-${{ hashFiles('large_files_directory/**') }}

在这个例子中，path 指定了要缓存的目录，key 是缓存的唯一标识符，当文件内容发生变化时，key 也会改变，从而创建新的缓存。

按需下载策略的智慧

按需下载的概念

按需下载就是根据实际需求来决定是否下载大文件，而不是在每次工作流运行时都盲目下载。这样可以避免不必要的下载操作，提高工作流的执行效率。例如，在一个多模块的项目中，只有当某个特定模块需要使用大文件时，才去下载这个文件。

实现按需下载的方法

条件判断：在工作流文件中使用条件语句来判断是否需要下载大文件。比如，可以根据某个环境变量的值或者某个文件的存在与否来决定是否执行下载操作。示例代码如下：
name: Check if large file is needed id: check run: | if [ -z "${{ env.NEED_LARGE_FILE }}" ]; then echo "Large file is not needed." echo "need_large_file=false" >> $GITHUB_OUTPUT else echo "Large file is needed." echo "need_large_file=true" >> $GITHUB_OUTPUT fi
name: Download large file if: steps.check.outputs.need_large_file == 'true' run: | wget https://example.com/large_file.zip
触发式下载：可以设置工作流在特定事件触发时才下载大文件。比如，只有当代码合并到主分支或者有特定标签推送时，才执行大文件的下载操作。