Prepare for v2.4.0

Merge pull request #1310 from Jamaika1/patch-1

Change defined WIN32

Merge pull request #1307 from cygwin-lem/pr_use-OPENJPEG_INSTALL_DOC_DIR-to-DESTINATION-of-HTMLs

Set ${OPENJPEG_INSTALL_DOC_DIR} to DESTINATION of HTMLs

Merge pull request #1308 from timgates42/bugfix_typo_produced

docs: fix simple typo, producted -> produced

Change defined WIN32

docs: fix simple typo, producted -> produced

There is a small typo in thirdparty/include/zlib.h, thirdparty/libz/zlib.h.

Should read `produced` rather than `producted`.

Set ${OPENJPEG_INSTALL_DOC_DIR} to DESTINATION of HTMLs

Use ${OPENJPEG_INSTALL_DOC_DIR} as DESTINATION of HTML documents,
instead of share/doc.

Merge pull request #1306 from matthew-sharp/master

Use INC_DIR for OPENJPEG_INCLUDE_DIRS (fixes uclouvain#1174)

Use INC_DIR for OPENJPEG_INCLUDE_DIRS (fixes uclouvain#1174)
This fixes the case where the cmake file is accessed via a symlink.

Merge pull request #1304 from rouault/fix_1302

pi.c: avoid out of bounds access with POC (fixes #1302)

pi.c: avoid out of bounds access with POC (fixes #1302)

Merge pull request #1303 from zodf0055980/fix#1283

Encoder: grow again buffer size

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Merge pull request #1301 from rouault/fix_1299

opj_j2k_write_sod(): avoid potential heap buffer overflow (fixes #1299) (probably master only)

Merge pull request #1300 from rouault/complement_1293

pi.c: avoid out of bounds access with POC (refs https://github.com/uclouvain/openjpeg/issues/1293#issuecomment-737122836)

Merge pull request #1298 from rouault/fix_1297

opj_t2_encode_packet(): avoid out of bound access of #1297, but likely not the proper fix

opj_j2k_write_sod(): avoid potential heap buffer overflow (fixes #1299) (probably master only)

pi.c: avoid out of bounds access with POC (refs https://github.com/uclouvain/openjpeg/issues/1293#issuecomment-737122836)

opj_t2_encode_packet(): avoid out of bound access of #1297, but likely not the proper fix

Merge pull request #1295 from rouault/fix_1293

opj_j2k_setup_encoder(): validate POC compno0 and compno1 (fixes #1293)

Merge pull request #1296 from rouault/workaround_1294

opj_t2_encode_packet(): avoid out of bound access of #1294, but likely not the proper fix

opj_j2k_setup_encoder(): validate POC compno0 (fixes #1293)

opj_t2_encode_packet(): avoid out of bound access of #1294, but likely not the proper fix

Merge pull request #1292 from rouault/fix_1286

Encoder: avoid global buffer overflow on irreversible conversion when…

Encoder: avoid global buffer overflow on irreversible conversion when too many decomposition levels are specified (fixes #1286)

Merge pull request #1291 from rouault/tnsot_zero_missing_eoc

Decoding: deal with some SPOT6 images that have tiles with a single tile-part with TPsot == 0 and TNsot == 0, and with missing EOC

pngtoimage(): fix wrong computation of x1,y1 if -d option is used, that would result in a heap buffer overflow (fixes #1284)

Decoding: deal with some SPOT6 images that have tiles with a single tile-part with TPsot == 0 and TNsot == 0, and with missing EOC

Merge pull request #1288 from zodf0055980/master

Free p_tcd_marker_info to avoid memory leak

Free p_tcd_marker_info to avoid memory leak

Merge pull request #1287 from zodf0055980/master

Encoder: grow again buffer size

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Encoder: grow again buffer size in opj_tcd_code_block_enc_allocate_data() (fixes #1283)

Encoder: grow buffer size in opj_tcd_code_block_enc_allocate_data() to avoid write heap buffer overflow in opj_mqc_flush (fixes #1283)

Fix typo in internal function name

Merge pull request #1253 from rouault/floating_point_irreversible_encoding

Single-threaded performance improvements in forward DWT for 5-3 and 9-7 (and other improvements)

Bump Java compatibility from 1.5 to 1.6 (#1263)

Merge pull request #1276 from rouault/fix_1243

Encoder: avoid uint32 overflow when allocating memory for codestream buffer (fixes #1243)

Encoder: avoid uint32 overflow when allocating memory for codestream buffer (fixes #1243)

Merge pull request #1262 from rouault/fix_1261

opj_decompress: fix double-free on input directory with mix of valid and invalid images

opj_decompress: fix double-free on input directory with mix of valid and invalid images (CVE-2020-15389)

Fixes #1261

Credits to @Ruia-ruia for reporting and analysis.

Merge pull request #1260 from sebras/fix-issue-1259

openjp2: Plug image leak when failing to allocate codestream index.

Merge pull request #1258 from sebras/fix-issue-1257

openjp2: Plug memory leak when setting data as TLS fails.

openjp2: Plug image leak when failing to allocate codestream index.

This fixes issue #1259.

openjp2: Plug memory leak when setting data as TLS fails.

Previously the Tier 1 handle was not freed when setting it as
TLS failed.

This fixes issue #1257.

Merge pull request #1256 from sebras/master

openjp2: Error out if failing to create Tier 1 handle.

openjp2: Error out if failing to create Tier 1 handle.

Previously when the handle failed to be created (e.g. when
opj_calloc returned NULL due to low memory), the code still
assumed that the t1 handle pointer was valid and dereferenced
NULL, causing a crash. After this commit OpenJPEG will instead
error out under this condition.

This fixes issue #1255.

Testing for invalid values of width, height, numcomps (#1254)

T1 encoder: speed-up by aggressive inlining and more cache friendly data organization

~ 9% speed improvement seen on 10980x10980 uint16 image, T36JTT_20160914T074612_B02.tif
opj_compress time from 17.2s to 15.8s

Forward DWT 9-7: major speed up by vectorizing vertical pass

`bench_dwt -I -encode` times goes from 8.6s to 2.1s

Forward DWT 5-3: major speed up by vectorizing vertical pass

`bench_dwt -encode` times goes from 7.9s to 1.7s

Forward DWT: small code refactoring to allow future improvements for the vertical pass

dwt.c: remove unused typedef

Forward DWT 5x3: performance improvements in horizontal pass, and modest in vertical pass

Forward DWT: small code refactoring to allow future improvements for the horizontal pass

Speed-up 9x7 IDWD by ~30% with OPJ_NUM_THREADS=2

"bench_dwt -I" time goes from 2.2s to 1.5s

Remove useless + 5U margin in opj_dwt_decode_tile_97()

Nothing in code analysis nor test suite shows that this margin is
needed.
It dates back to commit dbeebe72b9d35f6ff807c21c7f217b569fa894f6
where vector 9x7 decoding was introduced.

Speed-up 9x7 IDWD by ~20%

"bench_dwt -I" time goes from 2.8s to 2.2s

bench_dwt.c: add a -I switch to test irreversible FWDT/IDWT

Merge pull request #1211 from sebras/master

Add check to validate SGcod/SPcoc/SPcod parameter values.

Irreversible decoding: partially revert previous commit, to fix failures in test suite

Irreversible compression/decompression DWT: use 1/K constant as per standard

The previous constant opj_c13318 was mysteriously equal to 2/K , and in
the DWT, we had to divide K and opj_c13318 by 2... The issue was that the
band->stepsize computation in tcd.c didn't take into account the log2gain of
the band.

The effect of this change is expected to be mostly equivalent to the previous
situation, except some difference in rounding. But it leads to a dramatic
reduction of the mean square error and peak error in the irreversible encoding
of issue141.tif !

Irreversible decoding: align code more closely to the standard by avoid messing up with stepsize (no functional change)

opj_dwt_encode_1_real(): avoid many bound comparisons, similarly to decoding side

opj_j2k_setup_encoder(): add validation of tile width and height to avoid potential division by zero

opj_mct_encode_real(): add SSE optimization

Testing: revise testing of lossy encoding by comparing PEAK and MSE with original image

compare_images.c: code reformatting

tcd.c: add comment

Encoder: use floating-point operations for irreversible transformation

dwt.c: change sign of constants to match standard and compensate (no functional change)

Add multithreaded support in the DWT encoder.

Update the bench_dwt utility to have a -decode/-encode switch

Measured performance gains for DWT encoder on a
Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz (4 cores, hyper threaded)

Encoding time:
$ ./bin/bench_dwt -encode -num_threads 1
time for dwt_encode: total = 8.348 s, wallclock = 8.352 s

$ ./bin/bench_dwt -encode -num_threads 2
time for dwt_encode: total = 9.776 s, wallclock = 4.904 s

$ ./bin/bench_dwt -encode -num_threads 4
time for dwt_encode: total = 13.188 s, wallclock = 3.310 s

$ ./bin/bench_dwt -encode -num_threads 8
time for dwt_encode: total = 30.024 s, wallclock = 4.064 s

Scaling is probably limited by memory access patterns causing
memory access to be the bottleneck.
The slightly worse results with threads==8 than with thread==4
is due to hyperthreading being not appropriate here.

Add multithreading support in the T1 (entropy phase) encoder

- API wise, opj_codec_set_threads() can be used on the encoding side
- opj_compress has a -threads switch similar to opj_uncompress

Merge pull request #1246 from rouault/write_plt

Add support for generation of PLT markers in encoder

Add support for generation of PLT markers in encoder

* -PLT switch added to opj_compress
* Add a opj_encoder_set_extra_options() function that
  accepts a PLT=YES option, and could be expanded later
  for other uses.

-------

Testing with a Sentinel2 10m band, T36JTT_20160914T074612_B02.jp2,
coming from S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE

Decompress it to TIFF:
```
opj_uncompress -i T36JTT_20160914T074612_B02.jp2 -o T36JTT_20160914T074612_B02.tif
```

Recompress it with similar parameters as original:
```
opj_compress -n 5 -c [256,256],[256,256],[256,256],[256,256],[256,256] -t 1024,1024 -PLT -i T36JTT_20160914T074612_B02.tif -o T36JTT_20160914T074612_B02_PLT.jp2
```

Dump codestream detail with GDAL dump_jp2.py utility (https://github.com/OSGeo/gdal/blob/master/gdal/swig/python/samples/dump_jp2.py)
```
python dump_jp2.py T36JTT_20160914T074612_B02.jp2 > /tmp/dump_sentinel2_ori.txt
python dump_jp2.py T36JTT_20160914T074612_B02_PLT.jp2 > /tmp/dump_sentinel2_openjpeg_plt.txt
```

The diff between both show very similar structure, and identical number of packets in PLT markers

Now testing with Kakadu (KDU803_Demo_Apps_for_Linux-x86-64_200210)

Full file decompression:
```
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp.tif

Consumed 121 tile-part(s) from a total of 121 tile(s).
Consumed 80,318,806 codestream bytes (excluding any file format) = 5.329697
bits/pel.
Processed using the multi-threaded environment, with
    8 parallel threads of execution
```

Partial decompresson (presumably using PLT markers):
```
kdu_expand -i T36JTT_20160914T074612_B02.jp2 -o tmp.pgm -region "{0.5,0.5},{0.01,0.01}"
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp2.pgm  -region "{0.5,0.5},{0.01,0.01}"
diff tmp.pgm tmp2.pgm && echo "same !"
```

-------

Funded by ESA for S2-MPC project

struct opj_j2k: remove unused fields, and add some documentation

Merge pull request #1244 from rouault/fix_pi_warnings

Fix warnings about signed/unsigned casts in pi.c

color_apply_icc_profile: add checks on the number of components (#1236)

jp3d/jpwl/mj2/jpip: Fix resource leaks (#1226)

This issues were found by cppcheck and coverity.

Fix warnings about signed/unsigned casts in pi.c

Rename mis-named function opj_tcd_get_encoded_tile_size() to opj_tcd_get_encoder_input_buffer_size()

Merge pull request #1240 from rouault/fix_crash_opj_decompress

opj_decompress: add sanity checks to avoid segfault in case of decoding error

opj_decompress: add sanity checks to avoid segfault in case of decoding error

Prevent crashes like:
opj_decompress -i 0722_5-1_2019.jp2 -o out.ppm -r 4 -t 0

where 0722_5-1_2019.jp2 is
https://drive.google.com/file/d/1ZxOUZg2-FKjYwa257VFLMpTXRWxEoP0a/view?usp=sharing

opj_compress: improve help message regarding new IMF switch

Merge pull request #1235 from rouault/imf

Implement writing of IMF profiles

Implement writing of IMF profiles

Add -IMF switch to opj_compress as well

openjpeg.h: fix values of OPJ_PROFILE_IMF_ constants

Merge pull request #1234 from rouault/md5_libtiff_4_1

tests: add alternate checksums for libtiff 4.1

tests: add alternate checksums for libtiff 4.1

Fixes #1233

libtiff 4.1 slightly modifies the way it generates files. So
add the new expected md5sum.

Not super elegant solution admitedly.

Merge pull request #1232 from rouault/fix_1231

opj_tcd_init_tile(): avoid integer overflow

opj_tcd_init_tile(): avoid integer overflow

That could lead to later assertion failures.

Fixes #1231 / CVE-2020-8112

tests/fuzzers: link fuzz binaries using $LIB_FUZZING_ENGINE. (#1230)

This was changed some time ago (https://google.github.io/oss-fuzz/getting-started/new-project-guide/) but the build didn't fail as there is a fallback mechanism. The main advantage of the new approach is that for libFuzzer this produces more performant binaries (as `$LIB_FUZZING_ENGINE` expands into `-fsanitize=fuzzer`, which links libFuzzer from the compiler-rt, allowing better optimization tricks).

I'm also experimenting with dataflow (https://github.com/google/oss-fuzz/issues/1632) on your project, and the dataflow config doesn't have a fallback (as it's a new configuration), therefore I'm proposing a change to migrate from `-lFuzzingEngine` to `$LIB_FUZZING_ENGINE`.

Merge pull request #1229 from rouault/fix_1228

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

Merge pull request #1217 from rouault/fix_ossfuzz_18979

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets()

JPWL: convert: Fix buffer overflow reading an image file less than four characters (#1196)

Fixes #1068

Merge pull request #1218 from rouault/fix_broken_abi_check

abi-check.sh: fix false postive ABI error, and display output error log

abi-check.sh: fix false postive ABI error, and display output error log

There is currently a false positive ABI check failure between v2.3.1
and current. It disappears when removing the generated reports of v2.3.1
and recreating them. It is likely that some tooling has evolved since
the initial v2.3.1 report generation.

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets(). Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=18979

opj_tcd_mct_decode()/opj_mct_decode()/opj_mct_encode_real()/opj_mct_decode_real(): proper deal with a number of samples larger than 4 billion (refs #1151)