releng/doc/release.md

   1 # Definition of Done for Simantics Platform Releases
   2
   3 1. All Git repositories that are part of the Simantics release train have a branch called `release/x.y.z[.w]` and tag called `x.y.z[.w]`.
   4 2. [A change log entry](https://www.simantics.org/redmine/projects/simantics-platform/wiki/ChangeLog) is compiled from the issues in this release and made available to the general public separately for the platform and for the open products included in the release train.
   5 3. [Roadmap](http://dev.simantics.org/index.php/Roadmap) is up-to-date.
   6 4. [Tutorials](http://dev.simantics.org/index.php/Tutorials) are up-to-date and coherent with the platform.
   7 5. For all new major/minor releases, Wiki documentation is backed up (cloned).
   8
   9 ----
  10
  11 # Simantics Platform Release Process
  12
  13 * Create `release/x.y.z[.w]` release stabilisation branch
  14 * Repeat until stable:
  15   * Develop, test and document components and test products
  16 * Tag the release in repository
  17 * Backup documentation wiki databases
  18 * Build and publish SDK package with and without sources
  19   * Does not really require any work
  20 * Build Simantics open source products and plug-in components which are a part of the release train
  21 * Update websites to reflect the new release
  22
  23 ----
  24
  25 # Released Plug-in Components and Products
  26
  27 There are both plug-in components and products that are part of the _Simantics Release Train_ that shall be released simultaneously to a major or minor Simantics release.
  28
  29 Plug-in components are installable features that are deployed online as P2 repositories for general availability. Products are deployed as ZIP files and made available online in designated locations on simantics.org.
  30
  31 Core components of the release train:
  32 * External third party library dependencies required by the platform - [simantics/third-party.git](https://gerrit.simantics.org/r/gitweb?p=simantics/third-party.git;a=summary)\r
  33 * The Simantics Platform - [simantics/platform.git](https://gerrit.simantics.org/r/gitweb?p=simantics/platform.git;a=summary)\r
  34
  35 Plug-in components that are part of the release train:
  36 * Simupedia - [members/simupedia.git](https://gerrit.simantics.org/r/gitweb?p=members/simupedia.git;a=summary)
  37 * FMIL - [simantics/fmil.git](https://gerrit.simantics.org/r/gitweb?p=simantics/fmil.git;a=summary)
  38 * FMI Studio - [members/fmi.git](https://gerrit.simantics.org/r/gitweb?p=members/fmi.git;a=summary)
  39 * Interoperability components - [simantics/interop.git](https://gerrit.simantics.org/r/gitweb?p=simantics/interop.git;a=summary)
  40 * Simantics R binding - [simantics/r.git](https://gerrit.simantics.org/r/gitweb?p=simantics/r.git;a=summary)
  41 * Matlab SCL binding - [simantics/matlab.git](https://gerrit.simantics.org/r/gitweb?p=simantics/matlab.git;a=summary)
  42 * Python SCL binding - [simantics/python.git](https://gerrit.simantics.org/r/gitweb?p=simantics/python.git;a=summary)
  43 * Simantics System Dynamics - [simantics/sysdyn.git](https://gerrit.simantics.org/r/gitweb?p=simantics/sysdyn.git;a=summary)
  44 * Simantics District modelling components - [simantics/district.git](https://gerrit.simantics.org/r/gitweb?p=simantics/district.git;a=summary)
  45 * Simantics 3D modelling components - [simantics/3d.git](https://gerrit.simantics.org/r/gitweb?p=simantics/3d.git;a=summary)
  46 * Simantics Proteus toolset - [gold-members/proteus.git](https://gerrit.simantics.org/r/gitweb?p=gold-members/proteus.git;a=summary)
  47
  48 Products that are part of the release train:
  49 * Simantics Desktop
  50 * Simantics System Dynamics Tool
  51   * This is Simantics Desktop with Simantics System Dynamics Tool features installed
  52
  53 For simplicity, each of these components are versioned accoring to platform versioning, i.e. for Platform SDK 1.26.0 there will be Simantics Desktop 1.26.0, Sysdyn 1.26.0, and so on.
  54
  55 ----
  56
  57 # Release Schedule
  58
  59 * Releases are branched 4 weeks before the set release date.
  60 * During this time no more new features are allowed in the release branch and the existing work shall be stabilized. Work must be focused on bug fixes and documentation.
  61 * Source code changes to release branches are forbidden in the last 2 weeks. Documentation-only changes are still allowed. However, if critical show-stopper problems surface during that time, the changes must be done. After that the release engineering team must decide whether to stick to the original release schedule or whether to delay the release.
  62
  63 ----
  64
  65 # Simantics Platform Release - Step by Step
  66
  67 ## Create release branch from selected commit
  68
  69 When release stabilisation starts, branch all relevant repositories like this:
  70
  71     git clone ssh://<user>@gerrit.simantics.org:29418/simantics/platform.git
  72     cd platform
  73     git branch release/x.y.z[.w] <commit>
  74     git push origin release/x.y.z[.w]
  75
  76 When creating major/minor releases `<commit>` is usually a commit in the `master` branch.
  77 With service releases, branch from an existing `release/*` branch instead.
  78
  79 Instead of doing this clone+branch+push sequence for every SDK repository separately,
  80 please use the included `release-helper.sh` shell script to perform this mechanical work. The script supports many useful basic git commands which all perform the requested operation on all the release train repositories. The operations can be seen from the help text printed by the script when given no arguments:
  81
  82     Usage: release-helper.sh <version> <branch-name> <user-name> clone|branch|checkout|fetch|list-tags|pull|push|push-tags|remove-tag|status|tag
  83
  84 Always begin by cloning all the repositories for working on
  85
  86     ./release-helper.sh x.y.z release/x.y.z your-git-username clone
  87
  88 This will create a directory called `x.y.z` under the current working directory and clone all the repositories under it. The first `<version>` argument is only used for the base working directory `x.y.z`. The second `<branch-name>` argument tells what branch to specify to the action, i.e. `branch`, `checkout`, etc.
  89
  90 Branching and pushing the branches to remote happens as follows:
  91
  92     ./release-helper.sh x.y.z release/x.y.z your-git-username branch
  93     ./release-helper.sh x.y.z release/x.y.z your-git-username checkout
  94     ./release-helper.sh x.y.z release/x.y.z your-git-username push
  95
  96 If you're creating a service release `x.y.w` from `x.y.z` where `w > z`, do this:
  97
  98     ./release-helper.sh x.y.w release/x.y.z your-git-username clone
  99     ./release-helper.sh x.y.w release/x.y.z your-git-username checkout
 100     ./release-helper.sh x.y.w release/x.y.w your-git-username branch
 101     ./release-helper.sh x.y.w release/x.y.w your-git-username checkout
 102     # Perhaps make modifications to the branch here and commit to each project separately
 103     ./release-helper.sh x.y.w release/x.y.w your-git-username push
 104
 105 ## Prepare release branch for use
 106
 107 In release 1.31.0 Simantics started using the wonderful tool from Obeo ([https://github.com/mbarbero/fr.obeo.releng.targetplatform](https://github.com/mbarbero/fr.obeo.releng.targetplatform)) to generate `.target` files from `.tpd` files which allow much simpler specification of the target contents and also composition of .tpd files via inclusion.
 108
 109 In the following steps, it is recommended to ensure every `.target` file is up-to-date by regenerating them from `.tpd` files. While doing so, take care to use up-to-date online contents to perform the generation.
 110
 111 ### Prepare `.tpd` files in platform repository
 112
 113 0. Ensure you've ran\r
 114
 115        ./release-helper.sh x.y.z release/x.y.z your-git-username checkout
 116
 117    to make sure you're working on the release branch before doing anything.
 118
 119 1. Go into the cloned platform repository at `x.y.z/platform`\r
 120
 121 2. Edit all target platform files in `releng/org.simantics.sdk.build.targetdefinition/`, i.e.
 122    * `org.simantics.sdk.build.targetdefinition.tpd`
 123    * `simantics.tpd`
 124
 125    Replace the following rows in both mentioned files:
 126
 127    ~~~
 128    location "http://www.simantics.org/download/master/external-components/maven" {
 129    location "http://www.simantics.org/download/master/external-components/manual" {
 130    include "http://www.simantics.org/download/master/org.simantics.sdk.build.targetdefinition.tpd"
 131    location "http://www.simantics.org/download/master/sdk" {
 132    ~~~
 133
 134    with
 135
 136    ~~~
 137    location "http://www.simantics.org/download/release/x.y.z[.w]/maven" {
 138    location "http://www.simantics.org/download/release/x.y.z[.w]/manual" {
 139    include "http://www.simantics.org/download/release/x.y.z[.w]/org.simantics.sdk.build.targetdefinition.tpd"
 140    location "http://www.simantics.org/download/release/x.y.z[.w]/sdk" {
 141    ~~~
 142
 143 3. Edit version number of `org.simantics.sdk` feature in `features/org.simantics.sdk.feature/feature.xml` to `x.y.z`.
 144    ~~~
 145    <feature
 146          id="org.simantics.sdk"
 147          label="Simantics SDK"
 148          version="x.y.z"
 149          provider-name="VTT Technical Research Centre of Finland">
 150    ~~~
 151
 152    If the release branch you're setting up is a hotfix-release `x.y.z.w`,
 153    don't include the `.w` part in this version.
 154
 155    An example of these changes can be seen in
 156    [gitweb](https://gerrit.simantics.org/r/gitweb?p=simantics%2Fplatform.git;a=commit;h=5271b0faa98303225d00e6cd838d3fc52488545c)
 157    or [review 1361](https://gerrit.simantics.org/r/#/c/1361/).
 158
 159 4. Ensure that Gitlab has a release engineering issue for the branched release,
 160    such as [Simantics 1.34.0 release engineering](https://gitlab.simantics.org/simantics/platform/issues/16)
 161    * Make a new release issue with title `$version release engineering`.
 162    * Add a link to the previous previous release's issue in the new issue description, e.g. `simantics/platform#16`.
 163    * Add labels `releng` and `$version` to the new issue
 164
 165
 166 5. Commit the changes made
 167
 168         git commit -a
 169
 170    with the commit message
 171
 172         Configured release/x.y.z[.w] branch for SDK builds.
 173
 174         gitlab #xxxx
 175
 176    where `#xxxx` is the number of the x.y.z[.w] release engineering issue and push them to remote
 177
 178         git push origin release/x.y.z[.w]
 179
 180 6. If you are branching from `master`, bump the revision of master right now to start the next release cycle in master.
 181    An example of these changes can be seen in [gitweb](https://gerrit.simantics.org/r/gitweb?p=simantics%2Fplatform.git;a=commit;h=564ac84a2949b19ce5c1c7c838b575527ec42b09) or in [review 1362](https://gerrit.simantics.org/r/#/c/1362). The changes include:
 182    * Simantics Desktop splash screen update (version number)
 183    * Simantics target platform name to state correct development version
 184    * org.simantics.sdk feature version bump
 185    * org.simantics.sdk.repository project version bump
 186
 187    Commit the changes with the following commit message
 188
 189        Bumped master target and org.simantics.sdk feature versions to x.y.z[.w].
 190
 191        gitlab #yyyy
 192
 193    where `#yyyy` is the number of the next release's release engineering issue.
 194
 195 7. Do the same for simupedia target platform files as was done in task 6.\r
 196    for platform target definitions.
 197
 198 ### Test Release Train build
 199
 200 Trigger an execution of the [simantics-release-train](https://www.simantics.org/jenkins/job/simantics-release-train/) Jenkins job with parameters
 201 * GERRIT_REFNAME: `release/x.y.z[.w]`
 202 * PUBLISH_ARTIFACTS: `true`
 203
 204 to ensure that all components of the release train build fine and to publish first versions of P2 repositories of everything online.
 205
 206 The release train build is currently never ran automatically.
 207 However, after following all these steps, whenever changes are pushed/merged to `release/x.y.z[.w]` branch in Gerrit, new Jenkins builds are triggered automatically and they will publish the results (P2 repositories/products) at their designated locations online.
 208
 209 #### [Optional reading] Release train build details
 210
 211 The release train build does two very important steps as the first things,
 212 i.e. build the external dependency P2 repositories for both the
 213 Platform SDK and Simupedia:
 214 ~~~
 215 stage('External Dependencies') {
 216     node {
 217         build job: 'SDK/Deploy External Components to Web', parameters: params1
 218         build job: 'Member Components/Simupedia/fi.semantum.simupedia.build.p2.site', parameters: params1
 219     }
 220 }
 221 ~~~
 222 After that it builds the Platform SDK and Simupedia before building anything else:
 223 ~~~
 224 stage('SDK') {
 225     node {
 226         build job: 'SDK/Simantics SDK', parameters: params1
 227         // Note that Simantics SDK builds simupedia-git as well
 228     }
 229 }
 230 ~~~
 231
 232 ## Review documentation
 233
 234 Documentation to review:
 235 * [Developer wiki](http://dev.simantics.org/)
 236 * [End-user wiki](https://www.simantics.org/end_user_wiki)
 237 * [Member wiki](https://www.simantics.org/members)
 238
 239 For each wiki page:
 240 * Read through and get authors to fix found problems, such as TODOs or invalid information.
 241
 242 ## Review tutorials
 243
 244 * Ensure tutorial wiki documentation at http://dev.simantics.org/index.php/Tutorials is up-to-date with the released platform
 245 * Ensure tutorial projects and product build properly
 246
 247 * com.acme.movie
 248   - Build with Buckminster, com.acme.movie.product.site.feature
 249
 250 ## Tag release/* branches
 251
 252 When the release branches are ready for the release, tag them with the tag `vx.y.z[.w]`:
 253
 254     ./release-helper.sh x.y.z release/x.y.z your-git-username checkout
 255     ./release-helper.sh x.y.z release/x.y.z your-git-username pull
 256     ./release-helper.sh x.y.z release/x.y.z your-git-username tag
 257     ./release-helper.sh x.y.z release/x.y.z your-git-username push-tags
 258
 259 > Note: release-helper.sh will supply the -m argument to git tag to create an [annotated tag](https://git-scm.com/book/en/v2/Git-Basics-Tagging).
 260 > Only annotated or signed tags can be pushed to Gerrit.
 261
 262 ## Backup documentation wiki databases
 263
 264 **NOTE: This step is now deprecated since we are in the process of moving all mediawiki-based documentation into the platform git repository.**
 265
 266 This step is only necessary for major/minor releases, not for service releases.
 267
 268 The wiki databases to be backed up are:
 269 * [Developer wiki](http://dev.simantics.org/)
 270 * [End-user wiki](https://www.simantics.org/end_user_wiki)
 271
 272 These are MediaWiki installations. The only sane way to "tag" the documentation
 273 is to back up the mysql database backing the wiki. Should the wiki be required
 274 at a later time for some reason, we'll put the documentation up then in a
 275 separate Mediawiki installation.
 276
 277 1. Dump documentation wiki databases using [dump-wikis.sh](./dump-wikis.sh) script.
 278 2. Put the generated backup x.y.z.tar.gz at /var/backup/simantics-releases/x.y.z/wiki/
 279
 280 ## Compile change log entry
 281
 282 * Edit the [main page](https://www.simantics.org/redmine/projects/simantics-platform/wiki/ChangeLog) and add a a link for release x.y.z[.w].
 283 * Open the change log page of the previous release, e.g. [1.25.0](https://www.simantics.org/redmine/projects/simantics-platform/wiki/Simantics_1250)
 284 * Open the new link in another browser/tab to start editing the new wiki page
 285 * Edit the previous release's page and copy its wiki source contents over to the new release's page.
 286 * Fix the content to match the new release:
 287   * Remove the issue content of the previous release
 288   * Fix release number, release date, release branch link and the link to all issues closed for the release
 289     * Save new public issue query that lists all issues closed for the release by [starting from the previous release's query](https://www.simantics.org/redmine/projects/simantics-platform/issues?query_id=122)
 290   * Add filter to query: **Release Notes: Any** to only show issues that have some content in their Release Notes field
 291   * Export closed issue list as CSV with selected columns only. Open the resulting CSV file in Excel.
 292   * Use **Data -> Text to Columns** with tab column separation to columnize the result
 293   * Format the list as a table so that there is only one issue / row
 294   * Remove all other columns besides: Issue #, Tracker, Release Notes
 295   * Format the data into a Textile table:
 296     * Copy to table contents as text into [PSPad](http://www.pspad.com/)
 297     * Replace (CTRL+H) tabs (`\t`) with `|` with `Regular Expressions` selection checked
 298     * Use **Insert Text Into Lines..** (ALT-I) to fix line beginnings and ends:
 299       * Text:
 300         * At Lines Begin: `|#`
 301         * At Lines End: `|`
 302   * Copy the resulting textile table over to the change log page
 303 * Highlight major issues in the list by changing the text background color of the **Type** column:
 304   * `%{background: lightsalmon}Major Bug%`
 305   * `%{background: lightgreen}Major Feature%`
 306   * `%{background: lightgreen}Major Enhancement%`
 307
 308 ## Disseminate information about the release
 309
 310 * [Developer Wiki](http://dev.simantics.org): Update roadmap at [http://dev.simantics.org/index.php/Roadmap](http://dev.simantics.org/index.php/Roadmap)
 311 * [Redmine](https://www.simantics.org/redmine/): Post news on the developer/user-visible changes here
 312 * [simantics.org](https://www.simantics.org): Post news on the release and a link to the redmine post
 313 * [Members Wiki](https://www.simantics.org/members/): Update frame plan to reflect the realized dates and link to Redmine news
 314 * [mailto:simantics-developers@simantics.org](mailto:simantics-developers@simantics.org) Send "newsletter" to `simantics-developers@simantics.org:
 315
 316 **Newsletter template:**
 317 ~~~
 318 Hello everyone,
 319
 320 Simantics release x.y.z[.w] has been released. Head over to
 321 https://www.simantics.org/redmine/news/<news number>
 322 for the release news.
 323
 324 Best regards,
 325 Simantics Release Engineering Team
 326 ~~~
 327
 328 **Redmine news template:**
 329 ~~~
 330 Title: Simantics x.y.z[.w] released
 331
 332 Simantics x.y.z[.w] was released on <date>.
 333 Please find change log at: [[simantics-platform:Simantics_xyzw|Simantics x.y.z[.w]]]
 334
 335 Insert some general thoughts on the release...
 336 ~~~
 337
 338 ----
 339
 340 # TODO
 341
 342 * Incorporate tutorial code in the platform repository as a separate folder to allow platform builds to directly ensure that the tutorial code still builds OK