fix #1345: don't remove big endian test for other platforms

thanks to @ePirat, it turns out that !EMSCRIPTEN does not evaluate to 1 on other platforms, so the the #1345 actually disabled the test for all platforms.

Merge pull request #1345 from msabwat/emscripten

emscripten: disable big endian test

emscripten: disable big endian test

This test should not run on the emscripten platform because of :
https://github.com/emscripten-core/emscripten/blob/dff33368427fba16745c8ce52f11484a67b2855d/cmake/Modules/TestBigEndian.cmake#L5

Import files tiff and yuv(raw) (#1316)

Merge pull request #1350 from rouault/remove_jpwl_jp3d_mj2

Remove obsolete components JPWL, JP3D and MJ2

Remove obsolete components JPWL, JP3D and MJ2

Merge pull request #1348 from rouault/fix_kdu

tools/travis-ci/install.sh: fix links to Kakadu and jpylyzer binaries

.travis.yml: disable tests that no longer pass for unknown reason

tools/travis-ci/install.sh: fix links to Kakadu and jpylyzer binaries

Merge pull request #1321 from ffontaine/master

Fix cmake file with DESTDIR

cmake/OpenJPEGConfig.cmake: replace ABSOLUTE by REALPATH

Fix #1174 by replacing ABSOLUTE by REALPATH which will resolve symlinks:
https://cmake.org/cmake/help/latest/command/get_filename_component.html

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Revert "Use INC_DIR for OPENJPEG_INCLUDE_DIRS (fixes uclouvain#1174)"

This reverts commit 65586374d639cfc0104419992f9022174b412594 which
breaks cross-compilation of poppler under buildroot (because of
DESTDIR usage).

Merge pull request #867 from pseiderer/fix-lcms2-static-linking-using-pgk-config

Fix lcms2 static linking using pgk config

thirdparty: lcms2: append flags found by pkg-config if available

This change allows to get all required CFLAGS/LDFLAGS in case of static only
build.

Fixes a buildroot build failure (see [1], [2] and [3]).

[1] http://autobuild.buildroot.net/results/5ce/5cee20afd8bef5268832cddcb3a5270746be7a57
[2] http://lists.busybox.net/pipermail/buildroot/2016-November/177187.html
[3] http://lists.busybox.net/pipermail/buildroot/2016-November/177188.html

Signed-off-by: Peter Seiderer <ps.report@gmx.net>
---
Depends on https://github.com/uclouvain/openjpeg/pull/866

Merge pull request #866 from tSed/master

fix static build only against tiff and its indirect dependencies

Merge pull request #1317 from ffontaine/master

CMakeLists.txt: Don't require a C++ compiler

CMakeLists.txt: Don't require a C++ compiler

By default, CMake assumes that the project is using both C and C++.  By
explicitly passing 'C' as argument of the project() macro, we tell CMake
that only C is used, which prevents CMake from erroring out if a C++
compiler doesn't exist.

Signed-off-by: Peter Korsgaard <peter@korsgaard.com>
[Retrieved (and slightly updated by adding enable_language(CXX) if
WITH_ASTYLE is set) from:
https://git.buildroot.net/buildroot/tree/package/openjpeg/0003-CMakeLists.txt-Don-t-require-a-C-compiler.patch]
Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Fix Windows build

patch provided 3rdparty zlib to work with MacOS

Add HOWTO-RELEASE

Comment back opj_previous_version in abi_check.sh

abi_check.sh: Update version number for automatic abi check

Merge pull request #1312 from stweil/news

Fix year in NEWS

Fix year in NEWS

Signed-off-by: Stefan Weil <sw@weilnetz.de>

Prepare for v2.4.0

Merge pull request #1310 from Jamaika1/patch-1

Change defined WIN32

Merge pull request #1307 from cygwin-lem/pr_use-OPENJPEG_INSTALL_DOC_DIR-to-DESTINATION-of-HTMLs

Set ${OPENJPEG_INSTALL_DOC_DIR} to DESTINATION of HTMLs

Merge pull request #1308 from timgates42/bugfix_typo_produced

docs: fix simple typo, producted -> produced

Change defined WIN32

docs: fix simple typo, producted -> produced

There is a small typo in thirdparty/include/zlib.h, thirdparty/libz/zlib.h.

Should read `produced` rather than `producted`.

Set ${OPENJPEG_INSTALL_DOC_DIR} to DESTINATION of HTMLs

Use ${OPENJPEG_INSTALL_DOC_DIR} as DESTINATION of HTML documents,
instead of share/doc.

Merge pull request #1306 from matthew-sharp/master

Use INC_DIR for OPENJPEG_INCLUDE_DIRS (fixes uclouvain#1174)

Use INC_DIR for OPENJPEG_INCLUDE_DIRS (fixes uclouvain#1174)
This fixes the case where the cmake file is accessed via a symlink.

Merge pull request #1304 from rouault/fix_1302

pi.c: avoid out of bounds access with POC (fixes #1302)

pi.c: avoid out of bounds access with POC (fixes #1302)

Merge pull request #1303 from zodf0055980/fix#1283

Encoder: grow again buffer size

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Merge pull request #1301 from rouault/fix_1299

opj_j2k_write_sod(): avoid potential heap buffer overflow (fixes #1299) (probably master only)

Merge pull request #1300 from rouault/complement_1293

pi.c: avoid out of bounds access with POC (refs https://github.com/uclouvain/openjpeg/issues/1293#issuecomment-737122836)

Merge pull request #1298 from rouault/fix_1297

opj_t2_encode_packet(): avoid out of bound access of #1297, but likely not the proper fix

opj_j2k_write_sod(): avoid potential heap buffer overflow (fixes #1299) (probably master only)

pi.c: avoid out of bounds access with POC (refs https://github.com/uclouvain/openjpeg/issues/1293#issuecomment-737122836)

opj_t2_encode_packet(): avoid out of bound access of #1297, but likely not the proper fix

Merge pull request #1295 from rouault/fix_1293

opj_j2k_setup_encoder(): validate POC compno0 and compno1 (fixes #1293)

Merge pull request #1296 from rouault/workaround_1294

opj_t2_encode_packet(): avoid out of bound access of #1294, but likely not the proper fix

opj_j2k_setup_encoder(): validate POC compno0 (fixes #1293)

opj_t2_encode_packet(): avoid out of bound access of #1294, but likely not the proper fix

Merge pull request #1292 from rouault/fix_1286

Encoder: avoid global buffer overflow on irreversible conversion when…

Encoder: avoid global buffer overflow on irreversible conversion when too many decomposition levels are specified (fixes #1286)

Merge pull request #1291 from rouault/tnsot_zero_missing_eoc

Decoding: deal with some SPOT6 images that have tiles with a single tile-part with TPsot == 0 and TNsot == 0, and with missing EOC

pngtoimage(): fix wrong computation of x1,y1 if -d option is used, that would result in a heap buffer overflow (fixes #1284)

Decoding: deal with some SPOT6 images that have tiles with a single tile-part with TPsot == 0 and TNsot == 0, and with missing EOC

Merge pull request #1288 from zodf0055980/master

Free p_tcd_marker_info to avoid memory leak

Free p_tcd_marker_info to avoid memory leak

Merge pull request #1287 from zodf0055980/master

Encoder: grow again buffer size

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Encoder: grow buffer size in opj_tcd_code_block_enc_allocate_data() to avoid write heap buffer overflow in opj_mqc_flush (fixes #1283)

Fix typo in internal function name

Merge pull request #1253 from rouault/floating_point_irreversible_encoding

Single-threaded performance improvements in forward DWT for 5-3 and 9-7 (and other improvements)

Bump Java compatibility from 1.5 to 1.6 (#1263)

Merge pull request #1276 from rouault/fix_1243

Encoder: avoid uint32 overflow when allocating memory for codestream buffer (fixes #1243)

Encoder: avoid uint32 overflow when allocating memory for codestream buffer (fixes #1243)

Merge pull request #1262 from rouault/fix_1261

opj_decompress: fix double-free on input directory with mix of valid and invalid images

opj_decompress: fix double-free on input directory with mix of valid and invalid images (CVE-2020-15389)

Fixes #1261

Credits to @Ruia-ruia for reporting and analysis.

Merge pull request #1260 from sebras/fix-issue-1259

openjp2: Plug image leak when failing to allocate codestream index.

Merge pull request #1258 from sebras/fix-issue-1257

openjp2: Plug memory leak when setting data as TLS fails.

openjp2: Plug image leak when failing to allocate codestream index.

This fixes issue #1259.

openjp2: Plug memory leak when setting data as TLS fails.

Previously the Tier 1 handle was not freed when setting it as
TLS failed.

This fixes issue #1257.

Merge pull request #1256 from sebras/master

openjp2: Error out if failing to create Tier 1 handle.

openjp2: Error out if failing to create Tier 1 handle.

Previously when the handle failed to be created (e.g. when
opj_calloc returned NULL due to low memory), the code still
assumed that the t1 handle pointer was valid and dereferenced
NULL, causing a crash. After this commit OpenJPEG will instead
error out under this condition.

This fixes issue #1255.

Testing for invalid values of width, height, numcomps (#1254)

T1 encoder: speed-up by aggressive inlining and more cache friendly data organization

~ 9% speed improvement seen on 10980x10980 uint16 image, T36JTT_20160914T074612_B02.tif
opj_compress time from 17.2s to 15.8s

Forward DWT 9-7: major speed up by vectorizing vertical pass

`bench_dwt -I -encode` times goes from 8.6s to 2.1s

Forward DWT 5-3: major speed up by vectorizing vertical pass

`bench_dwt -encode` times goes from 7.9s to 1.7s

Forward DWT: small code refactoring to allow future improvements for the vertical pass

dwt.c: remove unused typedef

Forward DWT 5x3: performance improvements in horizontal pass, and modest in vertical pass

Forward DWT: small code refactoring to allow future improvements for the horizontal pass

Speed-up 9x7 IDWD by ~30% with OPJ_NUM_THREADS=2

"bench_dwt -I" time goes from 2.2s to 1.5s

Remove useless + 5U margin in opj_dwt_decode_tile_97()

Nothing in code analysis nor test suite shows that this margin is
needed.
It dates back to commit dbeebe72b9d35f6ff807c21c7f217b569fa894f6
where vector 9x7 decoding was introduced.

Speed-up 9x7 IDWD by ~20%

"bench_dwt -I" time goes from 2.8s to 2.2s

bench_dwt.c: add a -I switch to test irreversible FWDT/IDWT

Merge pull request #1211 from sebras/master

Add check to validate SGcod/SPcoc/SPcod parameter values.

Irreversible decoding: partially revert previous commit, to fix failures in test suite

Irreversible compression/decompression DWT: use 1/K constant as per standard

The previous constant opj_c13318 was mysteriously equal to 2/K , and in
the DWT, we had to divide K and opj_c13318 by 2... The issue was that the
band->stepsize computation in tcd.c didn't take into account the log2gain of
the band.

The effect of this change is expected to be mostly equivalent to the previous
situation, except some difference in rounding. But it leads to a dramatic
reduction of the mean square error and peak error in the irreversible encoding
of issue141.tif !

Irreversible decoding: align code more closely to the standard by avoid messing up with stepsize (no functional change)

opj_dwt_encode_1_real(): avoid many bound comparisons, similarly to decoding side

opj_j2k_setup_encoder(): add validation of tile width and height to avoid potential division by zero

opj_mct_encode_real(): add SSE optimization

Testing: revise testing of lossy encoding by comparing PEAK and MSE with original image

compare_images.c: code reformatting

tcd.c: add comment

Encoder: use floating-point operations for irreversible transformation

dwt.c: change sign of constants to match standard and compensate (no functional change)

Add multithreaded support in the DWT encoder.

Update the bench_dwt utility to have a -decode/-encode switch

Measured performance gains for DWT encoder on a
Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz (4 cores, hyper threaded)

Encoding time:
$ ./bin/bench_dwt -encode -num_threads 1
time for dwt_encode: total = 8.348 s, wallclock = 8.352 s

$ ./bin/bench_dwt -encode -num_threads 2
time for dwt_encode: total = 9.776 s, wallclock = 4.904 s

$ ./bin/bench_dwt -encode -num_threads 4
time for dwt_encode: total = 13.188 s, wallclock = 3.310 s

$ ./bin/bench_dwt -encode -num_threads 8
time for dwt_encode: total = 30.024 s, wallclock = 4.064 s

Scaling is probably limited by memory access patterns causing
memory access to be the bottleneck.
The slightly worse results with threads==8 than with thread==4
is due to hyperthreading being not appropriate here.

Add multithreading support in the T1 (entropy phase) encoder

- API wise, opj_codec_set_threads() can be used on the encoding side
- opj_compress has a -threads switch similar to opj_uncompress

Merge pull request #1246 from rouault/write_plt

Add support for generation of PLT markers in encoder

Add support for generation of PLT markers in encoder

* -PLT switch added to opj_compress
* Add a opj_encoder_set_extra_options() function that
  accepts a PLT=YES option, and could be expanded later
  for other uses.

-------

Testing with a Sentinel2 10m band, T36JTT_20160914T074612_B02.jp2,
coming from S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE

Decompress it to TIFF:
```
opj_uncompress -i T36JTT_20160914T074612_B02.jp2 -o T36JTT_20160914T074612_B02.tif
```

Recompress it with similar parameters as original:
```
opj_compress -n 5 -c [256,256],[256,256],[256,256],[256,256],[256,256] -t 1024,1024 -PLT -i T36JTT_20160914T074612_B02.tif -o T36JTT_20160914T074612_B02_PLT.jp2
```

Dump codestream detail with GDAL dump_jp2.py utility (https://github.com/OSGeo/gdal/blob/master/gdal/swig/python/samples/dump_jp2.py)
```
python dump_jp2.py T36JTT_20160914T074612_B02.jp2 > /tmp/dump_sentinel2_ori.txt
python dump_jp2.py T36JTT_20160914T074612_B02_PLT.jp2 > /tmp/dump_sentinel2_openjpeg_plt.txt
```

The diff between both show very similar structure, and identical number of packets in PLT markers

Now testing with Kakadu (KDU803_Demo_Apps_for_Linux-x86-64_200210)

Full file decompression:
```
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp.tif

Consumed 121 tile-part(s) from a total of 121 tile(s).
Consumed 80,318,806 codestream bytes (excluding any file format) = 5.329697
bits/pel.
Processed using the multi-threaded environment, with
    8 parallel threads of execution
```

Partial decompresson (presumably using PLT markers):
```
kdu_expand -i T36JTT_20160914T074612_B02.jp2 -o tmp.pgm -region "{0.5,0.5},{0.01,0.01}"
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp2.pgm  -region "{0.5,0.5},{0.01,0.01}"
diff tmp.pgm tmp2.pgm && echo "same !"
```

-------

Funded by ESA for S2-MPC project

struct opj_j2k: remove unused fields, and add some documentation