Improve performance of CommandMetadata (de)serialization

gitlab #60

Change-Id: I499dc390e84a733e9a890164695a79ad2a40e05f

Add max digits for ruler node for subclasses to override

gitlab #59

Change-Id: I7063af75d8ae1190271386a8441b90ccec7342af

Prevent paste to resources that are `L0.Entity_published`

gitlab #57

Change-Id: Ie4728421bca56ba0c10ae03d08f99123faffa1f1

Updated file importer interface and fixed Spreadsheet import

Spreadsheet import through the generic file importer always failed,
since the books cannot be imported to Development Project. Now the
generic file interface takes this into account and provides the
selection as a resource. Currently only ExcelFileImport uses

Amend 1: Changed the way the selected resource is found
Amend 2: Take into account Tuukka's review comments (1,2,3 and 5)
Amend 3 and 4: Changes by Jani and Miro to fix some issues with the
interface

gitlab #53
gitlab #56

Change-Id: Ibfb9d54d8c36a3dc2aa7da8f1043613159ae8383

Spreadsheet updates cell values properly

Cells referencing other cells weren't updated after change
"8c8283a01e63980527d605936286747006bea601" (see in History view), in
StandardNodeManager.java. I added a new setValue function that takes a
list of Nodes that need to be updated (removes them from valueCache),
which allows only specific cells to be updated when another cell is
updated.
I also removed invalidation code from Spreadsheet's "All.java" class and
added them to the value updated in SpreadsheetNodeManager, which
invalidates recursively the cells the use another cell.
I also made sure that SpreadsheetCells jave the same properties through
their life-cycle, rather than creating a properties map whenever the
properties are called.

gitlab #48
gitlab #54
gitlab #55

Change-Id: I125f644e014310937ed7697e9f44ec33825f9b0f

Spreadsheet Fixes

-Fix ArithmeticExpression + and - String cell value evaluation to check
for number properly.
-decodePossibleCellAbsolute by location rather than decodeCellAbsolute
in "getPossibleCellEditor" to avoid error being thrown unnecessarily
when trying to access cells by ID "Headers" (which is not a proper cell
ID)
-Update cell content expression after change rather than leaving the
default value.

gitlab #43
gitlab #44
gitlab #45

Change-Id: I8a89d86f6cdfd0651a36176a69066b8faa4faeac

Utilities for listing of statements in DB

gitlab #42

Change-Id: I5d79c2542cffaff56cb6e6405c466e030115c7c3

Re-export simulation.sequences in simulator.toolkit

gitlab #49

Change-Id: I12435be168e141efb69691d1dbe3cf8a92c4f8bc

Merge "Use Runtime.halt instead of System.exit in delayed shutdown"

Use Runtime.halt instead of System.exit in delayed shutdown

Change-Id: I4c43ff1f73639948bcefa4bf3c41cf4a06ff6b95

Getter for experiment from DynamicExperimentActionContext

gitlab #47

Change-Id: I287952c70b5540b6ec4491cacba4a2804510b684

Merge "Better emptying of trash bin"

Merge "Block external and excluded seeds in ConsistsOfProcess"

Better emptying of trash bin

Statement removal was broken in write only request. TG remover did not
correctly manage internal resources. Added hardening against errors.

gitlab #32

Change-Id: I120fcbdb7077e0f037104331480a2b1ab090d798

Add workbenchselection json fetcher to SCL interface

Requires some small refactoring changes to AdaptableHintContext and
classes using it, which is why so many files were affected.

gitlab #41

Change-Id: I35bc8abe9e1eca8ff34ee503925645ee14d41664

Block external and excluded seeds in ConsistsOfProcess

refs #14162

Change-Id: I3d8048ee763b5e41e0b9835afcb129ad50b88025

Force platform shutdown after some delay when workbench is closed

gitlab #37

Change-Id: I6ab788e55824dbc3b2dd656cbb6ead407e35938a

Graph debugger: handle case where assertions does not have predicate

gitlab #38

Change-Id: I85b9b2c014b44bcaec7cf3117b87df1215143435

Added safety to release-helper.sh

Change-Id: I4505f0e6c935a94ebd4a869e39455fe6ff10b91c

History data collector did not collect min/max/avg values correctly

gitlab #35

Change-Id: Iabc44ba0d8fb8a0348f27df07cd4d114975c4d0d

SCL API for GraphFile plug-in.

gitlab #34

Change-Id: I81b9d41cfa392545df629bf9e7a6197c21effa58

Modified UTF-8 decoding fixes for TG reading and indexing

gitlab #33

Change-Id: Ibd4239b76d1d88fe4303bec9d7cc407d15e8505b

Inlined Prelude/maybe

gitlab #31

Change-Id: I88298efc212596ad57adf468ed54b8f268050126

Added Prelude/maybe

`maybe def f v` returns `def` if `v=Nothing` and `f x` if `v=Just x`.

gitlab #31

Change-Id: I3319ee8e9e4cf678aece4878c1fb2ddf33395bc4

Generic OpenDiagramFromComponentAdapter

gitlab #30

Change-Id: Ib17df6e2a29642aa2e98976e4ad8df0cafd4e72e

Added exception safety for createHistorySamplerItem2

gitlab #9

Change-Id: I2a5894b73a638aad3e05ee42d0b10e40d60f3270

Async utilities for SCL

* scheduleAtFixedRate
* scheduleWithFixedDelay
* schedule

gitlab #23

Change-Id: I72ab85f4458a17a83fa4de95bc668d8fadac1d50

Allow ExecutorWorker thread pool shutdown

Also made the pool spawn daemon threads to allow shutdown regardless of
whether the pool is shut down or not.

gitlab #29

Change-Id: I680e15407c0fd0586070a212d291efd44dc28f5d

Reinitialize visible diagrams after shared library migration

gitlab #28

Change-Id: Ie3f8f5c90ed98490e2f03f1c955995d30b9a3923

Prefer methods with more parameters when resolving importJava

gitlab #27

Change-Id: Idd6ec1a08f127a503c456cea45f5bda7dbf9703a

HistorySampler.sample(HistorySamplerItem2, ...) now uses mipmapped data

Implemented selection of sampled history data source based on the
seconds/pixel (= timeWindow / maxSamples) ratio provided to the sampler.
This is one way to attempt not sampling too much data for trend views
that cannot inherently handle large amounts of data.

gitlab #9

Change-Id: I8c67068d6e832d33d4ac3adef270d31f1cb0e722

Upper bound to ANTLR version range

gitlab #24

Change-Id: I23967ea9b3e4bc6960f83b6d22bd3f3a80e3b43b

Fix ANTLR package versions

gitlab #24

Change-Id: I9c9cdbe4fe3f27364f7248822942bca75a268525

Removed org.simantics.ltk[.antlr] bundles, exact import for antlr

gitlab #24

Change-Id: I582628d505edcec5565e768a42b984fdb3e096fb

Removed extra debug/timing prints from graph compiler

gitlab #25

Change-Id: Ibeb73046154a53595acd3bb31e51551c4b5c9fe5

Restricted version of imported ANTLR packages, compile with 3.5.2

gitlab #24

Change-Id: Ie5bace3044f290d400a17c2bbe97774429c86ba8

Improvements to Lucene indexing

refs #7750

Change-Id: Ie93ff3058882bc61835d25d72440031c240be494

New implementation of server state based on StandardNodeManager

gitlab #20

Change-Id: I51e56095fb1e76b4c67945eead07d1e9da54eed4

Modernized release engineering instructions.

Worked around Windows FS problems in IndexedRelationsSearcherBase

See https://blogs.msdn.microsoft.com/oldnewthing/20120907-00/?p=6663/

gitlab #19

Change-Id: Ia12c848aa75836597121eadec05061ea23bb1240

Prevent NPE if the path to the module source cannot be found

gitlab #18

Change-Id: Iac92cfae81f8caffa5c8dfba129e3e9868801e82

Fix for empty cancelled write transactions leaving scheduled updates

gitlab #15

Change-Id: I844dab6a59df56f2097a507bcd6b6d3ec75124b1

Bumped master versions to 1.35.0

gitlab #16

Change-Id: Iafe0abeaffca3d15c35c629f7fe2eb4aaac437a5

Use SLF4J Logger in SessionRequestManager.

gitlab #14

Change-Id: Ia79a0fd4b895f02f98c6113cd1ca9fe95104c9d0

Merge "Fixes to thread safety problems in SCL compiler"

Fixes to thread safety problems in SCL compiler

gitlab #12

Change-Id: I0b0aec3bb71138a5033ae2337178c86ff04f5e59

Improvements to SCL HTTP client

Add missing Proc effect to buildClient function. Function to read
content length from response. Function to read headers from response.
Option to add read / write progress callback functions.

gitlab #11

Change-Id: Iaff99e05e35a494b154d7d5b04bd936bb95b0407

Fixed ComponentCopyAdvisor to account for L0.TypeWithIdentifier properly

The previous fix done for the same problem in Simantics redmine issue
7842 and commits
c912edf13bf5a91b2f6dc855f54d8728aa0a64f5,
803c42fd316859809eaeb3dc6a88b22cbf86b4b6 and
0cfc6a9b8b186ba432bc6758c089726b1471fd1f was simply wrong. Using
ModelingUtils.needsIdentifier is the most proper way to fix this.

gitlab #10

Change-Id: Id7cdc32a6596588154913fced742d751ce6ba864
(cherry picked from commit 290c3cfc8bf5a7b2cc6e8532f124512e0bf10517)

Merge "Added another sampling method to HistorySampler"

Added another sampling method to HistorySampler

This intentionally doesn't replace the original history
sampling function since it might be used elsewhere.

gitlab #9

Change-Id: Ie7ea8f37f29a5a277a6678e7716e340884d30e69

GraphList: List interface to linked lists in Simantics database

gitlab #8

Change-Id: I87a1dc12d84c7875db075dec09ad08a60d8e40d1

Merge "Fix column width issues on HiDPI displays. KeyTiSelection fixes."

Fix column width issues on HiDPI displays. KeyTiSelection fixes.

gitlab #7

Change-Id: I03a51472f2e9d38a78e38b92617d0e9f975f6c54

Deprecate duplicate functionality in SimanticsUI

gitlab #4

Change-Id: I0f4482a8c2d482e59d0e1641de65a3936a03f1eb

Filter also history items in resource search dialog

refs #7864

Change-Id: I5d9dac3fc1dd43c21ff4a63d9e7ecab0081c3dcb

Merge "Support for edge widths in rendering"

Support for edge widths in rendering

Change-Id: I079ad59d7997a4a17abaf7835f7d71ce8c006085

Merge "Fixed record constructor resolving from namespaces"

Fixed SCLCompletionProposal.validate to allow complete matches as well

This fixes a case where the SCL module editor stops showing content
proposals once they fully match with the typed word, which is really
annoying.

gitlab #3

Change-Id: I7b1119bff4cb08063a838a441a628a785344220b

Fixed record constructor resolving from namespaces

Change-Id: Ib8b40c416672bcc97ec7ec24c97e1a0df08a8730

Added SCL functions for exporting event log contents to CSV

gitlab #2

Change-Id: I14423646d035e02f0ec6149a87d170ebb3c01bae

New solver for SCL effects inequalities

In particularly, solving of cyclic inequalities.

Change-Id: I5d5734e9f029bf694221db2d7fc994d16d8d607a

New method to Prelude: indexSet

Change-Id: I06affe3386f014ae098c31416503fd941f3c7d36

New SCL syntax <<effects>>

Change-Id: Iec61620d424e583b854a743ccc4ac37dc8e8f56f

Function to read and write bytes from streams

Change-Id: I5aa133cbdda3acaf36ed4cb0d7175a7ec1e8caff

Create HTTP(s) client in SCL with certificate verification disabled

Also fixed buildClient function to actually use the provided
ClientBuilder.

refs #7870

Change-Id: Ie0d7ae420fc3b96df607efacb64a8bc8384ec717

Merge "Some SCL functions to control graphical debugger"

Some SCL functions to control graphical debugger

Possibility to set statement filter and add resources with a function.

refs #7869

Change-Id: Ifb5cc1fb09d3120ea73302d0b1195bc00ec2949e

Test equality of ObjectVariants using Objects.equals

refs #7865

Change-Id: I331d7696662709cdabaa9808d07071b079fc853e

System.currentTimeMillis to "Simantics/Misc" SCL-module

refs #7867

Change-Id: Ib7a26a7e982dca3de316cb203763a0f720a12b84

Better fix for ClusterTable maps going out of sync

ClusterSmall.toBig was not copying importance over to the constructed
ClusterBig causing importanceMap to go out of sync on the first call to
ClusterSmall.toBig.

refs #7724

Change-Id: I6e56b7f94962de3ec243a9d50775e649f930d0d2
(cherry picked from commit 980d21d8a26dddd2e57dbffdc8f320a76aa0973e)

Fixed ClusterTable cluster hash/importance map book-keeping problem

The main problem was that importance values should have been started
from 1 and 0 is considered an invalid importance value. This prevents
ClusterTable.replaceCluster from making mistakes in importanceMap.

refs #7724

Change-Id: Ie15a2d11bef2b8bdbcee2f5baba47633faa97826
(cherry picked from commit f59872e129c2d1b84fe322ae120fbeac22a94f88)

Merge "Refactoring CHR handling code"

Refactoring CHR handling code

refs #7866

Change-Id: If2b2a08c740c93d1a4b01830ab0e6de3c014fbec

Merge "(refs #7866) Better error location for the NPE in compilation"

(refs #7866) Better error location for the NPE in compilation

Change-Id: I3027ac4cd1061edefed6b46ddf1c79773d03caca

Allow changing DisposingPolicy max queue length

Needed to suppor preference-configurability of diagram editor background
disposal.

refs #7863

Change-Id: Ibf9f29dde2c06f5b055bfd42f989368c7573f327
(cherry picked from commit 56a44956cc6cf02ee85b7cfd55c8d3cbfb80a82f)

Use unpack in hdf.hdf5lib

Unpack helps on Linux, since otherwise libhdf5_java.so cannot find
libhdf5.so.101.

refs #7858

Change-Id: I8946d5e30b2b4c8ac98a5555f8869399b516fdca

Upgraded HDF5 library to 1.10.2 and added linux support

Amend by Miro:
Ran patchelf -set-rpath \$ORIGIN libhdf5_java.so and updated README

refs #7858

Change-Id: Ibe6d56443b8d02c4e2896adaed9b76f86e042f6e

Fixes the dpi value in SVGSalamander to 96

If SVG file defining symbol graphics does not contain unit information,
it is converted from points to pixels using a dpi-value. The value is 96
in most cases but in some machines differs from this default. This makes
the symbol graphics scaled compared to originally drawn graphics which
is undesirable.

refs #7860

Change-Id: I1f858ec0703a6f4dba9547fed2aca0438172248b

A utility class for recursive search in cyclic graph

refs #7859

Change-Id: Idba80d0a6a42ab06fa774da1933ffd1d636085f1

Fixing problems in the database unit testing environment with Acorn

* Removed static map from org.simantics.acorn.FileIO.
  Moved the map into a session service as org.simantics.acorn.FileCache
* Changed org.simantics.db.testing.common.Tests utilities to use Acorn
  instead of ProCore (AcornTestHandler). Did not introduce abstraction
  for this for now.

refs #7855

Conflicts:
bundles/org.simantics.acorn/src/org/simantics/acorn/FileIO.java

Change-Id: Iec42395cc71b30a4c376a44778b358e3807e6ec9
(cherry picked from commit 03fac449ec81e88669169d671bb386eb93ac060d)

Finalizing improve startup time for fresh or rollback'd session

Finally fixed the long-sought InputStream reading bug from
TransferableGraphFileReader.InputChannel.read(ByteBuffer).

The ByteFileReader implementation expected the provided
ReadableByteChannel to always provide a full buffer of data unless EOF
was encountered and the InputChannel.read implementation was not taking
care of that.

Also added simpler utilities for reading TG's from files/InputStreams
directly using static TransferableGraphFileReader.read(File/InputStream)
methods.

PlatformUtil.readTG can now finally use TransferableGraphFileReader for
maximal performance.

refs #7835

Change-Id: I170986bf271a409f9205fad808ae029becc1d3a4

Show imports of nonexistent modules as errors

Previously there was a separate error category IMPORT_ERROR for all
import errors that was sorted with WARNINGS. Now IMPORT_ERROR category
is also used for import failures whose reason is compilation problem in
the upstream module (although this is fatal for compilation, the problem
is not located in the current module).

refs #7857

Change-Id: Id9227a69d045b68a3e94c1562eb6d24f70d7aaa1

Streaming serialization of values, debugger for corrupted values

refs #7856

Change-Id: If9d7bdb84c46c3b3626241f9a63e582fe0a15004

Support diagram profile activity store/restore in model export/import

Diagram profile selections are stored in the "profiles" workspace
persistent virtual graph. They cannot be done in the persistent database
because we do not want the profile selections to be part of the database
version/undo history. This just doesn't fit the current way of using
diagram profiles.

The code introduced in this commit needs to be put to use in
product-specific custom export/import logic and copy/paste handlers to
take advantage of it.

refs #7854

Change-Id: Ib996144f1afa376a1563e4309fe41421ee4da529
(cherry picked from commit 95e05b3cc3208ec57118e8167a090c9b90edfaf2)

Use synchronized hash map instead of ConcurrentHashMap in LazyModule

refs #7826

Change-Id: I660f5f3312a7d1db49441f02d55864e36c950d74

Cleaning up some bloat from CompilePGraphs

refs #7852

Change-Id: Ie3cfe8d7873f9c687bffca776054c626cc65497b

Race condition fix caused deadlock, allow parallel recomputation

refs #7826

Change-Id: Ib0515c2ae7d3e6d1474f991965307969a439baf7

Escape the dot in regular expression

refs #7848

Change-Id: Iffbdcdc50150f24e4f6517fd8154a5a47bbf8eb0

Reset SVGNode's data hash on clean up

AnimatedSVGNode assumes that its diagram cache is initialized if data
hash is not null.

refs #7851

Change-Id: Id143816210c7905a772e2c391a32026bf838f8e6

Fail-safe import can now be disabled with a system property

Use the system property -Dorg.simantics.tg.import.failOnMissingEntities@
to disable fail-safe import by settings its value to true.

refs #7850

Change-Id: I2c29d1795ba0c04b16be1798c237651556326bd9
(cherry picked from commit f7c2f46c7c411c5c9dd3323d3cec3a4b8b6a3bbe)

Improved subscription CSV export wizard page initial selection handling

Now it supports chart/chart group/chart item selections as well to
initialize the subscription item selection.

refs #7849

Change-Id: Idbfbd979116b932f0d54958a63b01142401366a6
(cherry picked from commit b6f0f7aa4de4c172a830ef9087749e38185a8edf)

Fixed invalid comparison from AcornBackupProvider.RestoreCopyVisitor

Also removed unnecessary Files.exists checks.

refs #7847

Change-Id: I67d9d5a500824a275f4412ef2ecb7c2860f7f1c7

Removed redundant Files.exists/isDirectory checks

refs #7847

Change-Id: Id2f5936a801ece1828c13e29662c15d61b04abaa

Fixed compilation problems and SWTAWTComponent focus problem with Java9+

refs #7848

Change-Id: If166f7864d05c67f4c58b87018b273a36f085801

Use searchByTypeShallow in ModelingUtils.createMissingGUIDs

refs #7845

Change-Id: Idf9c33687c53a9725821911fce59d9cf7287ce9c

Improved network-drive-resilience in index directory creation

In a product, the removed Files.exists(p) && !Files.isDirectory(p) code
threw an exception because the examined path was not guaranteed to be in
a coherent state at the time of examination but Files.createDirectories
would still take care of throwing any exceptions if there were any
problems in creating the directory.

The worst thing was that this exception was hidden and not even logged.
Luckily a problem case forced the find.

refs #7845

Change-Id: Id44c5118ad97fbb83dcec87f77717185d3e402a1

Prevent NPEs in ViewUtils layout loading code

refs #7843

Change-Id: Ia34be3d08b8a368ed314c56e3af0b4e39aa45cec

Only claim new identifier if instance L0.TypeWithIdentifier

Fixed long-standing bug from CopyComponentAdvisor which added
identifiers for non-STR.Component instances which has started causing
problems in team server products in version comparisons.

refs #7842

Change-Id: Iac3e604993ec579cd8feb443843af944a8fa01f3
(cherry picked from commit c912edf13bf5a91b2f6dc855f54d8728aa0a64f5)