releng/doc/release.md

   1 # Definition of Done for Simantics Platform Releases
   2
   3 1. The `simantics/platform` and `simantics/third-party` Git repositories have a branch `release/x.y.z[.w]` and tag `x.y.z[.w]`.
   4 2. [A change log entry](https://www.simantics.org/redmine/projects/simantics-platform/wiki/ChangeLog) is compiled from the issues in this release and made available to the general public separately for the platform and for the open products included in the release train.
   5 3. [Roadmap](http://dev.simantics.org/index.php/Roadmap) is up-to-date.
   6 4. [Tutorials](http://dev.simantics.org/index.php/Tutorials) are up-to-date and coherent with the platform.
   7 5. For all new major/minor releases, Wiki documentation is backed up (cloned).
   8
   9 ----
  10
  11 # Simantics Platform Release Process
  12
  13 * Create `release/x.y.z[.w]` release stabilisation branch
  14 * Repeat until stable:
  15   * Develop, test and document components and test products
  16 * Tag the release in repository
  17 * Backup documentation wiki databases
  18 * Build and publish SDK package with and without sources
  19   * Does not really require any work
  20 * Build Simantics open source products and plug-in components which are a part of the release train
  21 * Update websites to reflect the new release
  22
  23 ----
  24
  25 # Released Plug-in Components and Products
  26
  27 There are both plug-in components and products that are part of the "Simantics release train" that shall be released simultaneously to a major or minor Simantics release.
  28
  29 Plug-in components are installable features that are deployed online as P2 repositories for general availability. Products are deployed as ZIP files and made available online in designated locations on simantics.org.
  30
  31 Products that are part of the release train:
  32 * Simantics Desktop
  33 * Simantics System Dynamics Tool - [simantics/sysdyn.git](https://www.simantics.org:8088/r/gitweb?p=simantics/sysdyn.git;a=summary)
  34
  35 Plug-in components that are part of the release train:
  36 * Simantics R - [simantics/r.git](https://www.simantics.org:8088/r/gitweb?p=simantics/r.git;a=summary)
  37 * FMIL - [simantics/fmil.git](https://www.simantics.org:8088/r/gitweb?p=simantics/fmil.git;a=summary)
  38 * FMI Studio - [members/fmi.git](https://www.simantics.org:8088/r/gitweb?p=members/fmi.git;a=summary)
  39 * Simupedia - [members/simupedia.git](https://www.simantics.org:8088/r/gitweb?p=members/simupedia.git;a=summary)
  40
  41 For simplicity, each of these components are versioned accoring to platform versioning, i.e. for Platform SDK 1.26.0 there will be Simantics Desktop 1.26.0, Sysdyn 1.26.0, and so on.
  42
  43 ----
  44
  45 # Release Schedule
  46
  47 * Releases are branched 4 weeks before the set release date.
  48 * During this time no more new features are allowed in the release branch and the existing work shall be stabilized. Work must be focused on bug fixes and documentation.
  49 * Source code changes to release branches are forbidden in the last 2 weeks. Documentation-only changes are still allowed. However, if critical show-stopper problems surface during that time, the changes must be done. After that the release engineering team must decide whether to stick to the original release schedule or whether to delay the release.
  50
  51 ----
  52
  53 # Simantics Platform Release - Step by Step
  54
  55 ## Create release branch from selected commit
  56
  57 When release stabilisation starts, branch `simantics/platform` and `simantics/third-party` repositories:
  58
  59     git clone ssh://<user>@www.simantics.org:29418/simantics/platform.git
  60     cd platform
  61     git branch release/x.y.z[.w] <commit>
  62     git push origin release/x.y.z[.w]
  63
  64     git clone ssh://<user>@www.simantics.org:29418/simantics/third-party.git
  65     cd third-party
  66     git branch release/x.y.z[.w] <commit>
  67     git push origin release/x.y.z[.w]
  68
  69 When creating major/minor releases `<commit>` is usually a commit in the `master` branch.
  70 With service releases, branch from an existing `release/*` branch instead.
  71
  72 ## Prepare release branch for use
  73
  74 ### Prepare .target files
  75
  76 1. Retrieve release branch of the platform repository
  77
  78        git clone ssh://<user>@www.simantics.org:29418/simantics/platform.git
  79        cd platform
  80        git branch release/x.y.z[.w] remotes/origin/release/x.y.z[.w]
  81        git checkout release/x.y.z[.w]
  82
  83 2. Edit all target platform files in  `releng/org.simantics.sdk.build.targetdefinition/`, i.e.
  84    * `simantics.target`
  85    * `org.simantics.sdk.build.targetdefinition.target`
  86
  87    At the beginning of simantics.target file, increment `sequenceNumber` by 1 and replace
  88    the version numbers in target name and `org.simantics.sdk.feature.group` and
  89    `org.simantics.sdk.source.feature.group` with `x.y.z[.w]`:
  90    ~~~
  91    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
  92    <?pde version="3.8"?>
  93    <target name="Simantics x.y.z[.w]" sequenceNumber="11">
  94    <unit id="org.simantics.sdk.feature.group" version="x.y.z[.w]"/>
  95    <unit id="org.simantics.sdk.source.feature.group" version="x.y.z[.w]"/>
  96    ~~~
  97
  98    Next, replace the following rows in both mentioned files:
  99
 100    ~~~
 101    <repository location="http://www.simantics.org/download/master/sdk"/>
 102    <repository location="http://www.simantics.org/download/master/external-components/maven"/>
 103    <repository location="http://www.simantics.org/download/master/external-components/manual"/>
 104    ~~~
 105
 106    with
 107
 108    ~~~
 109    <repository location="http://www.simantics.org/download/release/x.y.z[.w]/sdk"/>
 110    <repository location="http://www.simantics.org/download/release/x.y.z[.w]/external-components/maven"/>
 111    <repository location="http://www.simantics.org/download/release/x.y.z[.w]/external-components/manual"/>
 112    ~~~
 113
 114 3. Edit version number of `org.simantics.sdk` feature in `features/org.simantics.sdk.feature/feature.xml` to `x.y.z[.w]`.
 115    ~~~
 116    <feature
 117          id="org.simantics.sdk"
 118          label="Simantics SDK"
 119          version="x.y.z"
 120          provider-name="VTT Technical Research Centre of Finland">
 121    ~~~
 122
 123    An example of these changes can be seen in [gitweb](https://www.simantics.org:8088/r/gitweb?p=simantics/platform.git;a=commit;h=bab5c9bd68277c76dc5c20bc7a60a9896cbd1540).
 124
 125 4. Ensure that Redmine has a release engineering issue for the branched release, such as [Simantics 1.30.0 release engineering](https://www.simantics.org/redmine/issues/7263). Make a copy of the previous release issue to create the new one. Include link to original issue while copying.
 126
 127 5. Commit the changes made
 128
 129         git commit -a
 130
 131    with the commit message
 132
 133         Configured release/x.y.z[.w] branch for SDK builds.
 134
 135         refs #xxxx
 136
 137    where `#xxxx` is the number of the x.y.z[.w] release engineering issue and push them to remote
 138
 139         git push origin release/x.y.z[.w]
 140
 141 6. If you are branching from `master`, bump the revision of master right now to start the next release cycle in master.
 142    An example of these changes can be seen in [gitweb](https://www.simantics.org:8088/r/gitweb?p=simantics/platform.git;a=commitdiff;h=ae93c9930c6345c32219e6845b9e72e9d9d2d28c).
 143
 144    Commit the changes with the following commit message
 145
 146        Bumped master target and org.simantics.sdk feature versions to x.y.z[.w].
 147        refs #yyyy
 148
 149    where `#yyyy` is the number of the next release's release engineering issue.
 150
 151 ### Initialize release branch distribution web site
 152
 153 * Run [SDK/Deploy External Components to Web](https://www.simantics.org/jenkins/job/SDK/job/Deploy%20External%20Components%20to%20Web/) build with parameters:
 154   * **GERRIT_REFNAME:** `release/x.y.z[.w]`
 155   * **PUBLISH_ARTIFACTS:** `true`
 156 * Run the [SDK/Simantics SDK](https://www.simantics.org/jenkins/job/SDK/job/Simantics%20SDK/) build with parameters:
 157   * **GERRIT_REFNAME:** `release/x.y.z[.w]`
 158   * **PUBLISH_ARTIFACTS:** `true`
 159
 160 Running these two builds will ensure that both the external components required to build the SDK and the Simantics SDK for the new release branch are published online at `http://www.simantics.org/download/release/x.y.z[.w]/`.
 161
 162 After this, whenever changes are pushed/merged to `release/x.y.z[.w]` branch in Gerrit, new **SDK/Simantics SDK** builds are triggered automatically and they will publish the results at the same location online.
 163
 164 This means that one does not have to do any tricks after this to build and publish the SDK as a P2 repository online. It is an automated process that is performed by the [SDK/Simantics SDK](https://www.simantics.org/jenkins/job/SDK/job/Simantics%20SDK/) Jenkins job.
 165
 166 ## Review documentation
 167
 168 Documentation to review:
 169 * [Developer wiki](http://dev.simantics.org/)
 170 * [End-user wiki](https://www.simantics.org/end_user_wiki)
 171 * [Member wiki](https://www.simantics.org/members)
 172
 173 For each wiki page:
 174 * Read through and get authors to fix found problems, such as TODOs or invalid information.
 175
 176 ## Review tutorials
 177
 178 * Ensure tutorial wiki documentation at http://dev.simantics.org/index.php/Tutorials is up-to-date with the released platform
 179 * Ensure tutorial projects and product build properly
 180
 181 * com.acme.movie
 182   - Build with Buckminster, com.acme.movie.product.site.feature
 183
 184 ## Tag release/* branches
 185
 186 When the release branches are ready for the release, tag them with the tag `vx.y.z[.w]`:
 187
 188     git clone ssh://<user>@www.simantics.org:29418/simantics/platform.git
 189     cd platform
 190     git checkout release/x.y.z[.w]
 191     git tag vx.y.z[.w] -m "Simantics x.y.z[.w] simultaneous release"
 192     git push origin --tags
 193
 194     git clone ssh://<user>@www.simantics.org:29418/simantics/third-party.git
 195     cd third-party
 196     git checkout release/x.y.z[.w]
 197     git tag vx.y.z[.w] -m "Simantics x.y.z[.w] simultaneous release"
 198     git push origin --tags
 199
 200 > Note The -m argument must be supplied to create an [annotated tag](https://git-scm.com/book/en/v2/Git-Basics-Tagging).
 201 > Only annotated or signed tags can be pushed to Gerrit.
 202
 203 ## Backup documentation wiki databases
 204
 205 This step is only necessary for major/minor releases, not for service releases.
 206
 207 The wiki databases to be backed up are:
 208 * [Developer wiki](http://dev.simantics.org/)
 209 * [End-user wiki](https://www.simantics.org/end_user_wiki)
 210
 211 These are MediaWiki installations. The only sane way to "tag" the documentation
 212 is to back up the mysql database backing the wiki. Should the wiki be required
 213 at a later time for some reason, we'll put the documentation up then in a
 214 separate Mediawiki installation.
 215
 216 1. Dump documentation wiki databases using [dump-wikis.sh](./dump-wikis.sh) script.
 217 2. Put the generated backup x.y.z.tar.gz at /var/backup/simantics-releases/x.y.z/wiki/
 218
 219 ## Compile change log entry
 220
 221 * Edit the [main page](https://www.simantics.org/redmine/projects/simantics-platform/wiki/ChangeLog) and add a a link for release x.y.z[.w].
 222 * Open the change log page of the previous release, e.g. [1.25.0](https://www.simantics.org/redmine/projects/simantics-platform/wiki/Simantics_1250)
 223 * Open the new link in another browser/tab to start editing the new wiki page
 224 * Edit the previous release's page and copy its wiki source contents over to the new release's page.
 225 * Fix the content to match the new release:
 226   * Remove the issue content of the previous release
 227   * Fix release number, release date, release branch link and the link to all issues closed for the release
 228     * Save new public issue query that lists all issues closed for the release by [starting from the previous release's query](https://www.simantics.org/redmine/projects/simantics-platform/issues?query_id=122)
 229   * Add filter to query: **Release Notes: Any** to only show issues that have some content in their Release Notes field
 230   * Export closed issue list as CSV with selected columns only. Open the resulting CSV file in Excel.
 231   * Use **Data -> Text to Columns** with tab column separation to columnize the result
 232   * Format the list as a table so that there is only one issue / row
 233   * Remove all other columns besides: Issue #, Tracker, Release Notes
 234   * Format the data into a Textile table:
 235     * Copy to table contents as text into [PSPad](http://www.pspad.com/)
 236     * Replace (CTRL+H) tabs (`\t`) with `|` with `Regular Expressions` selection checked
 237     * Use **Insert Text Into Lines..** (ALT-I) to fix line beginnings and ends:
 238       * Text:
 239         * At Lines Begin: `|#`
 240         * At Lines End: `|`
 241   * Copy the resulting textile table over to the change log page
 242 * Highlight major issues in the list by changing the text background color of the **Type** column:
 243   * `%{background: lightsalmon}Major Bug%`
 244   * `%{background: lightgreen}Major Feature%`
 245   * `%{background: lightgreen}Major Enhancement%`
 246
 247 ## Disseminate information about the release
 248
 249 * [Developer Wiki](http://dev.simantics.org): Update roadmap at [http://dev.simantics.org/index.php/Roadmap](http://dev.simantics.org/index.php/Roadmap)
 250 * [Redmine](https://www.simantics.org/redmine/): Post news on the developer/user-visible changes here
 251 * [simantics.org](https://www.simantics.org): Post news on the release and a link to the redmine post
 252 * [Members Wiki](https://www.simantics.org/members/): Update frame plan to reflect the realized dates and link to Redmine news
 253 * [mailto:simantics-developers@simantics.org](mailto:simantics-developers@simantics.org) Send "newsletter" to `simantics-developers@simantics.org:
 254
 255 **Newsletter template:**
 256 ~~~
 257 Hello everyone,
 258
 259 Simantics release x.y.z[.w] has been released. Head over to
 260 https://www.simantics.org/redmine/news/<news number>
 261 for the release news.
 262
 263 Best regards,
 264 Simantics Release Engineering Team
 265 ~~~
 266
 267 **Redmine news template:**
 268 ~~~
 269 Title: Simantics x.y.z[.w] released
 270
 271 Simantics x.y.z[.w] was released on <date>.
 272 Please find change log at: [[simantics-platform:Simantics_xyzw|Simantics x.y.z[.w]]]
 273
 274 Insert some general thoughts on the release...
 275 ~~~
 276
 277 ----
 278
 279 # TODO
 280
 281 * Start using [https://github.com/mbarbero/fr.obeo.releng.targetplatform](https://github.com/mbarbero/fr.obeo.releng.targetplatform) to generate `.target` files. `.tpd` files allow specifying version ranges instead of specific versions.
 282
 283
 284 * Create a parametrized release train pipeline build in Jenkins that creates all artifacts of a simantics release
 285   * Desktop, Sysdyn, R, Simupedia, FMIL, FMI Studio
 286
 287
 288 * Incorporate tutorial code in the platform repository as a separate folder to allow platform builds to directly ensure that the tutorial code still builds OK