Add org.simantics.db.testing plugin to SDK build

refs #7204

Change-Id: Ifac7487f2a8d232372421e75550dc2e63cd7df5c

Improved logic in new head state creation.

Earlier any IOException during the reading of head state was interpreted
as empty DB. This might cause unwanted DB reset. It's better to identify
need for empty head state based on main state head directory.

Switched AcornDatabase.start logic back to using RandomAccessFile for
touching the db/lock file. Using RandomAccessFile instead of
FileSystemProvider.newFileChannel in Windows better prevents any other
process from removing the lock file. The newFileChannel version did not
prevent the user from initially running 'del lock' to remove the file -
although the file will be recreated quickly by the system.

Also AcornDatabase.start now re-throws ProCoreException if
opening/locking the lock-file fails with IOException to prevent the
system from attempting to start up without a proper database to work
with. Previously the system just logged the start-up problem and
continued.

refs #7124

Change-Id: I850b47d8f692e3d1b8ce177b9269540edc4dc272

FileImportService fails to match file extensions

Extensions always contain leading dot, so match accordingly. Remove
leading asterisk from candidates if one exists.

refs #7203

Change-Id: If8399760c70fcfc1f7822035fc971499621c72c7

Try to acquire DB lock even if the lock file already exists

Lock file may already exist if the program crashed or was terminated
forcefully. It is ok to try acquiring the lock on existing lock file.

refs #7124

Change-Id: I1467dee3d889d18c68664f6df0b9fa9b13296351

Merge changes I09c034e1,Ideac8aae,Ib7751212,Id09d9a3c,I39696ee5, ...

* changes:
  Use ListIndexRoots in migration
  ListIndexRoots request
  SingletonRead base class
  GenericReadBase2 without the unused template parameter
  Initial selection for diagram viewer should be the diagram itself
  Support VP.Test in action browse context contribution
  InstanceOf tester (VP.Test)

Use ListIndexRoots in migration

refs #7198

Change-Id: I09c034e1723ec8bc35706d137f5a8c8cba96a44a

ListIndexRoots request

refs #7197

Change-Id: Ideac8aaeb23154aa94d465b838903f4fa373a458

SingletonRead base class

refs #7196

Change-Id: Ib7751212d5cad181c74a1680962e4c84a43e4ebb

GenericReadBase2 without the unused template parameter

refs #7195

Change-Id: Id09d9a3c8f2752fda0d2b846f69382249374704a

Initial selection for diagram viewer should be the diagram itself

refs #7194

Change-Id: I39696ee530cd04fb91562400f0b4937b30a121c7

Support VP.Test in action browse context contribution

refs #7193

Change-Id: If8237793dda6f6191e0aec06c30573cc2f97134f

InstanceOf tester (VP.Test)

refs #7192

Change-Id: Ife996f7b8dfa7d302877aef7dfad7f4bc711211d

Fixed bad bug related to AcornBackupProvider

AcornBackupProvider was invoking GraphClientImpl2.makeSnapshot with true
parameter which caused the invocation to write the main.state file when
backups were made which was totally unintentional. The main.state file
is now only written only when the database session is shut down, i.e.
not at all in ClusterManager.makeSnapshot.

Also includes robustness fixes for Acorn database directory locking by
using the Java NIO API for atomic existence testing and creation of the
lock file.

refs #7186

Change-Id: Id668528f8aea789945a4ae3a212d14b07554ba0d

Changed external reference flag texts to obey current name/label mode

Text shown in external reference type diagram flags now obeys the
currently selected Name/Label model that can be controlled using code in
class org.simantics.NameLabelUtil.

Previously the text shown in normal diagram external reference flags was
always preferring to show the Label property of diagrams and related
modules and if labels were not defined, the Name property would be used
instead.

refs #7178

Change-Id: I85efb6e68f92fdb18d1445037da5285700ca5398

Fixed BrowseContext test code to work headlessly

Previous code invoked JFaceResources.getDefaultFontDescriptor which
eventually invoked Display.getCurrent which would assert out in a
headless test environment.

refs #7184

Change-Id: I59349b8845b8f41d96356764972abcac44d35022

Fixed bad logical bug from Acorn's MainState.load rollback

The major bug was the logical not in MainState.load rollback which
caused the database revisioning to be started from 0 when the database
was *not* empty. It should have been the other way around.

Also cleaned up the database head.state validation code by not using
exceptions for flow control in validating head.state files.

refs #7124

Change-Id: I7cd57fa73d39a637c71159df63566aed5063fc40

Merge "(refs #7178) Validator for build.properties"

(refs #7178) Validator for build.properties

Checks that certain typical Simantics files exists in build.properties,
if they exist in the plugin.

Change-Id: I3e9303698d19a6f312c2cf2de213849a51744f04

Process disableIndex and databaseId arguments in SCLScriptRunner
application

fixes #7183

Change-Id: Ia83059a2c2331f770245635685b1b4e77887c904

Merge changes I7c81eac8,I15581be9

* changes:
  Fixed URI problems related to EnternalEntities during import
  Removed IRequest references and usage from Document/All

Fixed URI problems related to EnternalEntities during import

Introduced a new function, getTrueUri, that gives the escaped URI.
Used when finding external entities.
Previously, getUri was used, which made finding external entities
impossible, for all User Component's with a space in their name.

refs #7182

Change-Id: I7c81eac8843f98f19054ad5df0b4ee73d2a1753e

Added Simantics/PGraph SCL API for compiling shared ontologies TGs

Moved CompilePGraph action implementation to org.simantics.modeling and
made the code headless. UI problem reporting can be done using the
provided CompilePGraphs.UserAgent interface.

refs #7181

Change-Id: I0c9e7fe5e4916077268651a6dea6c869f08a7d72

Removed IRequest references and usage from Document/All

An recent change (Revision 82ed7c74) to Document/All.scl  added IRequest
usage and references. IRequest should not be used in Documents/All.
82ed7c74 broke SimupediaServer's Request.scl, since
Request.scl uses Document/All and also already had IRequest defined.

refs #7173

Change-Id: I15581be91cc98756025afdd6acbf72318de84228

(refs #7180) Configurable font for FlagNode

Change-Id: I01e041e83ed8d66ad203107c2b4ff1d670756e5f

Added file-extension filter function to Core.scl for Dropins.

Generic file-importer can be asked which extensions are supported. Added
that function to Core.scl.

refs #7154

Change-Id: If9d76c61e19ea543eda9ee23524d18c5d4623ee3

Fix compilation problems from org.simantics.gnuplot/pom.xml

The problem surfaced after putting the maven graph compiler plugin into
use.

refs #7178

Change-Id: Icb660bc39711951c545a50baed945d0d6c3a7996

Added graph compilation goal to Maven build.

Removed graph.tgs and resource files.

Added reference to graph builder repository

Change-Id: Ic7d17214827259fcb02fa881653961d0e8885744

(refs #7177) Rounded connections

Adds HasRounding property to G2D that rounds connections in the
diagrams.

Change-Id: I2f5429f90e926b9569633056d50a233cf9f4c395

Some fixes for resource cleaning spreadsheets in simupedia

refs #7173

Change-Id: I2b8cf12a0abae25f34e691c5251a34fa0e2ab1f9

Merge "(refs #6924) Support for record field access syntax."

Added maxQueueLength parameter constructor for DisposingPolicy.

Previously DisposingPolicy was hardcoded to 8 item queues.

refs #7172

Change-Id: I2b7df0b71483396490ab559271f7531ae80d0822

Improved Acorn database rollback logic.

MainState will no longer destroy the entire database if the user removes
directories but forgets to remove the main.state file. The information
stored in main.state is now regarded as cached information only and if
it seems invalid or cannot be read, the same normal rollback logic will
be performed every time.

Another enhancement is that rollback will now automatically store the
revisions deleted by the rollback procedure in timestamped
<workspace>/db/recovery/yyyy-M-d_HH-mm-ss/ folders for later inspection
and debugging. Previously the code just deleted all the extra revisions.
Manually removing the recovery-folder is always a safe operation to
perform.

Also fixed a bug in databoard Files class readFile methods that take
a File as argument. Previously all the functions constructed a
BinaryFile using the default mode which is "rw". This unintentionally
made the readFile methods create an empty file if the file did not
exist. All such methods have been changed to use mode "r".

refs #7124

Change-Id: I3ac04d2e33151b33f4982cf7a2edce7ddb896e11

(refs #6924) Support for record field access syntax.

Because the record field access syntax is harder to implement when the
old Variable access syntax is also supported, this feature is only
enabled (and Variable disabled), when the following module header is
used:

module {
    fields
}

This change contains also refactoring and cleaning up of code
related to variable resolving and field handling.

Change-Id: I8e877573131d501e1a6e63bdde39e064df9ded39

(refs #7168) User Thread.stop to terminate execution in SCL console

Change-Id: I07b5bc2fd64953c8d67d19582cadcc348addb6e3

(refs #7105) Added defaultLocalName property to SCL modules

In textual modules defaultLocalName can be set in the module header. For
ontology modules, use Ontology.defaultLocalName property.

Change-Id: I2966c0b16e5d5f07c0e591a094f63908a7b492b3

Merge "Removed jsonValues since there already is Data/Json"

Export also dynamic issues to issue CSV export file

refs #7167

Change-Id: I8070697535fb0f0db64c87bc86cb0d521edb9e10
(cherry picked from commit 8217d73384dd10e8558e0a24c7202d5182012275)

Removed jsonValues since there already is Data/Json

A more generic possibleFromDynamic.

Alternative method modelling.

Combined multiple Antti's commits

Get rid of uses of gnu.trove2

refs #7156

instantiateUnder function property for types

refs #7157

SCLDropAction

refs #7158

Empty RVI literal in L0

refs #7159

possibleFromDynamic coersion function in Simantics/DB

refs #7160

jsonValues parsing function into Simantics/DB

refs #7161

Generic instantiation action based on instantiateUnder

refs #7162

ModelBrowser.handleDrop action should be run in SWT thread

refs #7163

RVI support in Simantics/Variables

refs #7164

Variables change

Change-Id: If21b623c27b660a9b6bc150c905f0360b15d08a0

Allow tab-separated columnized logging of memory use

refs #7166

Change-Id: I6a7f38757db1c3cfcd0d04cfedfd963fde4c5a4d

Some fileimport enhancements - Add support for Excel import

Removed e.printStackTrace() method calls

refs #7154

Change-Id: Ic70c24330683b3477b928daf966fd44fa30ac363

Rudimentary Linux and MacOSX support for org.simantics.nativemem

Linux now supports current and peak RSS and OSX only supports peak RSS
information.

Moved org.simantics.nativemem + JNA into a separate feature
org.simantics.nativemem.feature from org.simantics.utils.feature to not
force the dependency onto all products.

refs #7166

Change-Id: Id114659065097ecd45f8b40ff9d07e2df0b33db2

Get rid of uses of gnu.trove2

refs #7156

Change-Id: Iea74017d93d7d5a1a7254d4b540369e52fbab879

Fixed TrendNode.setTrendSpec to properly update item axes

The previous code was not counting the set axes hidden/unhidden between
successive TrendNode.setTrendSpec calls.

refs #7155

Change-Id: I7aa9d8dec76d4328d2f4d12dfd0f9523fea71f2c

Fixed priority comparison direction change caused by commit 4495707b

refs #7147

Change-Id: I6bc9c7b165f80a76b58bdc4f7f4d754e705e962e

Less memory use for TG import when NamespaceMigrationStep is involved

MigrationStateImpl.getProperty for root resource(s) keys now first
exports CURRENT_TG back to disk if the TG has already been loaded and
then imports it back using StreamingTransferableGraphImportProcess. This
avoids the need to keep the whole TransferableGraph1 in memory while
doing the import and also allows for the use of the leaner Streaming
import process.

refs #7153

Change-Id: I2ef6ae055cd8a497263c3aa3e95c86ff29a96f3e

Merge "Fixed regression caused by commit e6c0bd94."

Fixed regression caused by commit e6c0bd94.

refs #7142

Change-Id: I8d15afab87f00b84ea3ecae22d1666c614418371

(refs #7152) Remove extra line number indicators in status bar

Change-Id: Ib8f7b09260f3e64bb123fcbe26ade29937e1b429

Fixed NPE bug caused by UpdateIssuesForOpenDiagrams issue view handler

refs #7149

Change-Id: I61be5de3a09d821fb6a27b299e082d00d84e77d5

table column resizing for SCL console manage imports dialog.

refs #7150

Change-Id: Ie951241aaccbaa266eaaa42369ced699dd56aafb

Symbol code style into platform

refs #7146

Change-Id: Ic417ecdf8ff59c2f89747d82932dfd404c3293c4

Generic Model Import

refs #7144

Change-Id: I3bcf568b70e12b3493563901c7de228b9be35cd4

Contributed profile entries

refs #7148

Change-Id: I9fe9a7f6a3d6eb2d2bf3122d7960e220895cba63

Broken tab contribution sorting causes missing contributions

refs #7147

Change-Id: I82719519e4a1bcad541e1ce45db2ff16099cd17a

Merge "Model export broke down due to internal resource changes"

Model export broke down due to internal resource changes

refs #7145

Change-Id: I799a57b37763b9def8313989a38afa5560389077

Added alternatives taking RequestProcessor to WorkbenchSelectionUtils.

Fixed several places which were found to use a method from
WorkbenchSelectionUtils that could potentially try to initiate a new
read transaction through org.simantics.db.Session to pass the current
ReadGraph over to WorkbenchSelectionUtils instead. This fixes the very
same problem from OpenWithMenuContribution that was introduced in
6d3ad788 change I45cfa3940df8e1f4abe016b215843dc083227b2b.

Also, ComponentTypeViewerData.editValue now prevents committing new
entered value if the value does not pass input validation.

refs #7077
refs #7142

Change-Id: I542bd24e24ebc46c7da790c847ffafc5b8d18053

(refs #7141) Converted an error to a warning

Change-Id: I8b29ed7d532a8c7ec09622a3e0fa55f925737bdc

Fixed diagram NPE regressions caused by commit 5d2af6df

The code was not taking into account that IG2DNode.getBoundsInLocal can
return null.

refs #7109

Change-Id: I9f41b9f2119ba8d273daf97b1b1e90a03d91fd22

Merge "Declare effects for constants and variables"

Declare effects for constants and variables

Effectful constants and variables now correctly declare their effects.

refs #7140
[PRIVATE-13312]

Change-Id: Ie40c3985ac61acb707293161b8aefb361d691732

Merge "Accept existential variables as record shorthand fields"

Accept existential variables as record shorthand fields

Change-Id: I2d4ca35f26ba80795696b357f81d778420f40d51

Fixed old DB tests to compile after merging commit:d33a5a61.

refs #6998

Change-Id: I0dc864d925bc1a2b27b32d4211dfd788e3ec41fe

Merge branch 'feature/funcwrite'

Map some ListUtils functions to SCL (refs #7134).

Change-Id: I7307c34dd068af6f3be1032d6e5841d5b3b1c346

Merge "Enabling ResourceFile CR filtering based on locale"

Merge "Update all graph.tg files that seem to be out-of-date in git"

Enabling ResourceFile CR filtering based on locale

Change-Id: Ia16ff6a5fd090aca4f679a1d5aa1e5ae2590b37d

Update all graph.tg files that seem to be out-of-date in git

refs #7132

Change-Id: Id6513256d7987c322dd35833f7b8fc87607d6e5e

Allow SWTThread to be constructed to do execute(Runnable) asynchronously

refs #7131

Change-Id: I0fa2072895253cf0fcf80f3de48efe536004c6b8

Dynamic positioning of terminals in G2D

refs #7119

Change-Id: Ib0585c71c94ddca77ce41311cdce4916d033afba

Guard against NPE in ConnectionRelationLabelDecorationRule

refs #7121

Change-Id: I3067fa3f80823690301239adba24f3548721a500

Support SVG generation from scenegraph

refs #7054

Change-Id: Ide69219fee786bd19ccf447c227c2424d9cabdc2

Database backwards compatibility fix for fail-safe import changes

To keep databases created before Mar 30 18:39 compatible with the
current git master version.

refs #7016

Change-Id: Ic327809eae90d01d115cfb880a33b9dc37051a36

Allow overriding of CopyPasteHandler and Paster methods

Changed some method signatures from private to protected for
inheritance purposes.

refs #7125

Change-Id: Ib66104a271d18824ad1f397e4a48e89086f694cd

Slightly improved diagnostics in ExtendedUris

refs #7120

Change-Id: I22cde4ac4dbd9c0542316889670925c40918b3bb

Move graph file document codes around a bit

refs #7118

Change-Id: I8a1036a8717b74f3e57b5ea2519de27fb9dc2eab

Replaced use of deprecated BinaryFunction et al with BiFunction et al

Also added missing logic to GraphExplorerComposite.SelectionElement to
discover Resource from Variable when WorkbenchSelectionElement is asked
for AnyResource. This is part of the fix for #7116.

Fixed breakage from ContextualHelp F1 keystroke handler which was
introduced in the original SVN commit r32734 (#6446).

refs #7116
refs #7117

Change-Id: Ia7c88d2c1b274fd788a0a18d95c2f059cea36086

Fixed target definition files after commit:e6d39241.

refs #7114

Reversioned org.jdom2 from 2.0.6 to 2.0.6.b0001

This ensures that people loading the target platform will
receive the correct version of the plug-in. Currently developers
still have old cached versions of the old bundle with version
2.0.6 that the system unwantedly keeps loading while P2 should
be loading the correct file on the web. The only way to prevent
this is to bump the version qualifier stamp to force downloads.

refs #7114

Import/export changes. A load.

May cause some problems. Exports create Internals instead of blanks if
possible. FixExportedOntology treatment now produces tgs that are
compatible with Graph Compiler. Import creates L0.ExternalEntity
instances for unresolved external references (thus making it fail safe).

Note that addBuiltin("http://Projects") was removed from class
CoreInitialization because its existence resulted in a non-functioning
URI space because:
* http://Projects was added as a "built-in resource" when the database
is first initialized which means that
ReadGraph.getResource("http://Projects") would succeed even when the
resource was not yet properly imported from the project ontology
* When the project ontology is imported, a new resource is created to
represent http://Projects instead of using the existing uninitialized
"built-in resource". The L0.ExternalEntity changes made to the standard
transferable graph import in this patch caused the code to find the
built-in resource for "http://Projects" and think that it has to be a
resource that's already properly initialized. This led to the TG import
not initializing the resource at all. Previously there was a bug here as
well but it was hidden by the fact that the system would import the
actual/new "http://Projects" resource from the ontology anyway. This
effectively left the uninitialized built-in resource just hanging in the
database as trash.

refs #7016

Change-Id: I5d9dd8dea4df58cc54d4a6664c112a770ae7f7b3

Bumped master target and org.simantics.sdk feature versions to 1.29.0.

refs #7114

Added base diagram profile style for showing terminal names on diagrams

Previously there has been an implementation for showing terminal names
in the symbol editor (SymbolTerminalNameStyle). This implementation is
for showing symbol instance terminal names on modelling diagrams
containing symbol instances. The names are positioned outside the
current symbol's bounding box.

ConnectionPointNameStyle also employs the new TextNode automatic text
flipping feature added in #7112.

refs #7107

Change-Id: Icf4709bf115a9c25b894192d186c6ce514cc0d29

Added automatic text flipping option for text readability in TextNode

refs #7112

Change-Id: I6027ff66e3bc60d81385088fcf072e09dff7e6a7

Support tg discovery in export/import

refs #7103

Change-Id: I471f9f0d5fa2b1bb1b825d7fde69eabc57422799

Added alias property to L0.SCLModule

refs #7105

Change-Id: I7f8a2f3cb4c0a4c317619adc561d93334edea529

(refs #7090) New functions subquery and subqueryC

For making graph queries.

Change-Id: I3ca5088ff2fd43730a64bb7a169d84500a939cd5

Use node bounds for defined elements

refs #7109

Change-Id: I887c20e105c1f4b0f852de0d3e0d4beba3e30071

sclAssertion template into MOD (add missing files)

Added missing files related to:
Iec870d7723cebe17d29e93533b4d80bb78ae9b20.

refs #7081

Change-Id: I76204909f13a31133773322bf1b7c6e6be126db7

Opening symbol code editor / symbol drop handler code editor fails

Opening symbol code editor / symbol drop handler code editor fails if
there is no existing code available.

refs #7106

Change-Id: Iceea446030237819878fda58a40a557b5f03f91a

Merge "Not possible to open declaration of SCL module from relative path (F3)"

Merge "(refs #7102) Fixed comparator NodeEventHandler.TreePreOrderComparator"

Not possible to open declaration of SCL module from relative path (F3)

Resolve absolute path of SCL module when user presses F3 on
import/include that uses relative path. Refactored absolute path
resolving to static utility function.

refs #7101

Change-Id: I21cadedd6b8baf9ec4d7fae25cd4a0135836a439

(refs #7102) Fixed comparator NodeEventHandler.TreePreOrderComparator

Change-Id: Ib7db825832affc47306e351d28935752a8a1c9d6

Hardening of DB index integrity

Mark index dirty as early as possible on write operations (and sync to
disk). Clean index dirtiness indicator as last step when deleting the
index. Cache dirty statuses to write dirty files only once.

refs #7075

Change-Id: I1c8a6882270b5fbd53bc88249ba5f50c05a83b51

Added functional FileOperation interface to FileService.

This makes using method references with FileService easier/possible and
provides for cleaner code.

refs #7100

Change-Id: I6929654b5f9d41cbad9fe4b35b2219d91e64a791

Project feature dependency injection is broken

refs #7027

Change-Id: I97bef3d5be9bf2689de25919d021a3ab005137a4

possibleActiveRunVariable should return Maybe Variable

refs #7026

Change-Id: I00cd147ab934932027753bd9f17b51da5c05a85e

Removed useless class org.simantics.utils.thread.Executors2.

Also removed the optional org.eclipse.swt dependency introduced to
org.simantics.utils.thread by Executors2. org.simantics.utils.thread.swt
already contains SWTThread which is where this dependency should be
kept.

refs #7099

Change-Id: Ica27eed205306090f876767cd0a018009fb25fd5