gitlab - Gitlab-Ci。在阶段之间传输 maven m2 本地存储库
问题描述
同学们好。我在生产中使用 gitlab ci。我有很多阶段。1)构建工件 2)部署到外部服务器 3)使用 jfrog cli 部署到工件
我在缓存 Maven 本地存储库时遇到问题。我的跑步者在第一步(构建)中下载所有依赖项,并在最后一步(部署到工件)中执行相同的操作。我的跑步者也在最后阶段之前从 m2 文件夹中删除了所有数据:
Removing .m2/antlr/
Removing .m2/aopalliance/
Removing .m2/asm/
Removing .m2/avalon-framework/
Removing .m2/backport-util-concurrent/
Removing .m2/ch/
Removing .m2/classworlds/
Removing .m2/com/
Removing .m2/commons-beanutils/
Removing .m2/commons-chain/
Removing .m2/commons-cli/
Removing .m2/commons-codec/
Removing .m2/commons-collections/
Removing .m2/commons-digester/
Removing .m2/commons-io/
Removing .m2/commons-lang/
Removing .m2/commons-logging/
Removing .m2/commons-validator/
Removing .m2/dom4j/
Removing .m2/io/
Removing .m2/javax/
Removing .m2/junit/
Removing .m2/log4j/
Removing .m2/logkit/
Removing .m2/net/
Removing .m2/org/
Removing .m2/oro/
Removing .m2/sslext/
Removing .m2/xml-apis/
Removing .m2/xmlunit/
Removing jfrog
Removing target/
我的 gitlav-ci yaml(没有第二步):
stages:
- build
- deploy-artifactory
variables:
MAVEN_OPTS: "-Dmaven.repo.local=${CI_PROJECT_DIR}/.m2"
MAVEN_CLI_OPTS: "-s .m2/settings.xml --batch-mode"
cache:
key: "$CI_JOB_NAME"
paths:
- .m2/
build:
image: maven:latest
stage: build
tags:
- build
script:
- adduser --disabled-password --gecos '' mynonrootuser
- chmod --recursive 777 .
- git version
- su --command='mvn versions:set -DgenerateBackupPoms=false -DnewVersion="$CI_COMMIT_REF_SLUG-SNAPSHOT"' mynonrootuser
- su --command='mvn $MAVEN_CLI_OPTS clean install -B -f ./pom.xml' mynonrootuser
artifacts:
expire_in: 5 mins
paths:
- target/*.jar
only:
- develop
deploy-artifactory-snapshot:
retry: 2
image: maven:latest
stage: deploy-artifactory
tags:
- release
before_script:
- curl -fL https://getcli.jfrog.io | sh
- ./jfrog rt config --url=${ARTIFACTORY_URL} --user=${ARTIFACTORY_USER} --password=${ARTIFACTORY_PASSWORD}
- ./jfrog rt c show
- export M2_HOME=/usr/share/maven
- sed -i 's,MAVEN_REPO_SNAPSHOT_DEPLOYER,'"$MAVEN_REPO_SNAPSHOT_DEPLOYER"',g' configuration.yml
- sed -i 's,MAVEN_REPO_RELEASES_DEPLOYER,'"$MAVEN_REPO_RELEASES_DEPLOYER"',g' configuration.yml
- sed -i 's,MAVEN_REPO_SNAPSHOT_RESOLVER,'"$MAVEN_REPO_SNAPSHOT_RESOLVER"',g' configuration.yml
- sed -i 's,MAVEN_REPO_RELEASES_RESOLVER,'"$MAVEN_REPO_RELEASES_RESOLVER"',g' configuration.yml
script:
- ./jfrog rt mvn "versions:set -DgenerateBackupPoms=false -Dartifactory.publish.artifacts=false -DnewVersion="$CI_COMMIT_REF_SLUG-SNAPSHOT"" configuration.yml --build-name=scdfrestrunner --build-number=$CI_JOB_ID
- ./jfrog rt mvn "clean install" configuration.yml --build-name=scdfrestrunner --build-number=$CI_JOB_ID
- ./jfrog rt bce scdfrestrunner $CI_JOB_ID
- ./jfrog rt bp scdfrestrunner $CI_JOB_ID
only:
- develop
解决方案
有几种方法可以处理构建作业/阶段之间的依赖关系。
缓存,指南可在此处获得。
例如 m2 的缓存部分
# Cache modules in between jobs
cache:
key: ${CI_COMMIT_REF_SLUG} # cache is for per branch
paths:
- ${CI_PROJECT_DIR}/.m2
缓存也可以使用诸如minio(开源 s3 之类的存储解决方案)之类的东西来执行。此处提供与 gitlab指南的集成。但是由于缓存需要压缩和解压缩大量的工件可能会引入缓慢(但显然比没有缓存的速度要快)。为了避免这个问题,可以使用 docker 卷。
泊坞窗卷
基本上我们可以使用开箱即用的 docker 卷,比如~/.m2
从主机位置安装。如果您在 kubernetes 集群中使用,您可以为此利用kubnernets 卷解决方案。您必须自定义构建映像位以支持安装依赖目录,以下是 mvn 构建映像的示例。这种方法更好,因为您不能在构建目录之外缓存。
例如泊坞窗图像
FROM maven:3.5.4-jdk-8
# m2 dir on docker container
ENV MAVEN_OPTS "-Dmaven.repo.local=/.m2/repository"
ENV MAVEN_CLI_OPTS "-s /usr/local/.m2/settings.xml --batch-mode"
ADD .m2 /usr/local/.m2 # copy settings.xml to build image
# same as the m2 dir specified in MAVEN_OPTS
VOLUME /.m2
神器
如果您只想传递您的构建目录,例如/target
,您可以使用 gitlab 工件解决方案,此处提供指南。
推荐阅读
- visual-studio-code - Visual Studio Code 插件创建指南
- php - 将数据从oracle数据库插入mysql数据库
- python - pandas.read_stata() 错误:解包需要 4 个字节的缓冲区
- c++ - 字符串的拆分
- python - 当 RabbitMQ 消费者闲置一天后,该消费者会被自动移除
- python - 如何在 python 中使用多线程将数据写入文本文件?
- node.js - NGINX 未找到 404 资源未加载
- powershell - 使用 Powershell 比较两个哈希值
- r - R中字符串中间的单词完全匹配
- spring - 为什么 Spring Data Rest 必须扩展 CrudRepository 而不是 Repository?