src/lib/ffmpeg_decoder.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 /** @file  src/ffmpeg_decoder.cc
  21  *  @brief A decoder using FFmpeg to decode content.
  22  */
  23
  24 #include <stdexcept>
  25 #include <vector>
  26 #include <sstream>
  27 #include <iomanip>
  28 #include <iostream>
  29 #include <stdint.h>
  30 #include <boost/lexical_cast.hpp>
  31 extern "C" {
  32 #include <tiffio.h>
  33 #include <libavcodec/avcodec.h>
  34 #include <libavformat/avformat.h>
  35 #include <libswscale/swscale.h>
  36 #include <libpostproc/postprocess.h>
  37 }
  38 #include <sndfile.h>
  39 #include "film.h"
  40 #include "format.h"
  41 #include "transcoder.h"
  42 #include "job.h"
  43 #include "filter.h"
  44 #include "options.h"
  45 #include "exceptions.h"
  46 #include "image.h"
  47 #include "util.h"
  48 #include "log.h"
  49 #include "ffmpeg_decoder.h"
  50 #include "filter_graph.h"
  51 #include "subtitle.h"
  52
  53 #include "i18n.h"
  54
  55 using std::cout;
  56 using std::string;
  57 using std::vector;
  58 using std::stringstream;
  59 using std::list;
  60 using boost::shared_ptr;
  61 using boost::optional;
  62 using boost::dynamic_pointer_cast;
  63 using libdcp::Size;
  64
  65 FFmpegDecoder::FFmpegDecoder (shared_ptr<Film> f, DecodeOptions o)
  66         : Decoder (f, o)
  67         , VideoDecoder (f, o)
  68         , AudioDecoder (f, o)
  69         , _format_context (0)
  70         , _video_stream (-1)
  71         , _frame (0)
  72         , _video_codec_context (0)
  73         , _video_codec (0)
  74         , _audio_codec_context (0)
  75         , _audio_codec (0)
  76         , _subtitle_codec_context (0)
  77         , _subtitle_codec (0)
  78 {
  79         setup_general ();
  80         setup_video ();
  81         setup_audio ();
  82         setup_subtitle ();
  83 }
  84
  85 FFmpegDecoder::~FFmpegDecoder ()
  86 {
  87         if (_audio_codec_context) {
  88                 avcodec_close (_audio_codec_context);
  89         }
  90
  91         if (_video_codec_context) {
  92                 avcodec_close (_video_codec_context);
  93         }
  94
  95         if (_subtitle_codec_context) {
  96                 avcodec_close (_subtitle_codec_context);
  97         }
  98
  99         av_free (_frame);
 100
 101         avformat_close_input (&_format_context);
 102 }
 103
 104 void
 105 FFmpegDecoder::setup_general ()
 106 {
 107         av_register_all ();
 108
 109         if (avformat_open_input (&_format_context, _film->content_path().c_str(), 0, 0) < 0) {
 110                 throw OpenFileError (_film->content_path ());
 111         }
 112
 113         if (avformat_find_stream_info (_format_context, 0) < 0) {
 114                 throw DecodeError (_("could not find stream information"));
 115         }
 116
 117         /* Find video, audio and subtitle streams and choose the first of each */
 118
 119         for (uint32_t i = 0; i < _format_context->nb_streams; ++i) {
 120                 AVStream* s = _format_context->streams[i];
 121                 if (s->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
 122                         _video_stream = i;
 123                 } else if (s->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
 124
 125                         /* This is a hack; sometimes it seems that _audio_codec_context->channel_layout isn't set up,
 126                            so bodge it here.  No idea why we should have to do this.
 127                         */
 128
 129                         if (s->codec->channel_layout == 0) {
 130                                 s->codec->channel_layout = av_get_default_channel_layout (s->codec->channels);
 131                         }
 132
 133                         _audio_streams.push_back (
 134                                 shared_ptr<AudioStream> (
 135                                         new FFmpegAudioStream (stream_name (s), i, s->codec->sample_rate, s->codec->channel_layout)
 136                                         )
 137                                 );
 138
 139                 } else if (s->codec->codec_type == AVMEDIA_TYPE_SUBTITLE) {
 140                         _subtitle_streams.push_back (
 141                                 shared_ptr<SubtitleStream> (
 142                                         new SubtitleStream (stream_name (s), i)
 143                                         )
 144                                 );
 145                 }
 146         }
 147
 148         if (_video_stream < 0) {
 149                 throw DecodeError (N_("could not find video stream"));
 150         }
 151
 152         _frame = avcodec_alloc_frame ();
 153         if (_frame == 0) {
 154                 throw DecodeError (N_("could not allocate frame"));
 155         }
 156 }
 157
 158 void
 159 FFmpegDecoder::setup_video ()
 160 {
 161         _video_codec_context = _format_context->streams[_video_stream]->codec;
 162         _video_codec = avcodec_find_decoder (_video_codec_context->codec_id);
 163
 164         if (_video_codec == 0) {
 165                 throw DecodeError (_("could not find video decoder"));
 166         }
 167
 168         if (avcodec_open2 (_video_codec_context, _video_codec, 0) < 0) {
 169                 throw DecodeError (N_("could not open video decoder"));
 170         }
 171 }
 172
 173 void
 174 FFmpegDecoder::setup_audio ()
 175 {
 176         if (!_audio_stream) {
 177                 return;
 178         }
 179
 180         shared_ptr<FFmpegAudioStream> ffa = dynamic_pointer_cast<FFmpegAudioStream> (_audio_stream);
 181         assert (ffa);
 182
 183         _audio_codec_context = _format_context->streams[ffa->id()]->codec;
 184         _audio_codec = avcodec_find_decoder (_audio_codec_context->codec_id);
 185
 186         if (_audio_codec == 0) {
 187                 throw DecodeError (_("could not find audio decoder"));
 188         }
 189
 190         if (avcodec_open2 (_audio_codec_context, _audio_codec, 0) < 0) {
 191                 throw DecodeError (N_("could not open audio decoder"));
 192         }
 193 }
 194
 195 void
 196 FFmpegDecoder::setup_subtitle ()
 197 {
 198         if (!_subtitle_stream || _subtitle_stream->id() >= int (_format_context->nb_streams)) {
 199                 return;
 200         }
 201
 202         _subtitle_codec_context = _format_context->streams[_subtitle_stream->id()]->codec;
 203         _subtitle_codec = avcodec_find_decoder (_subtitle_codec_context->codec_id);
 204
 205         if (_subtitle_codec == 0) {
 206                 throw DecodeError (_("could not find subtitle decoder"));
 207         }
 208
 209         if (avcodec_open2 (_subtitle_codec_context, _subtitle_codec, 0) < 0) {
 210                 throw DecodeError (N_("could not open subtitle decoder"));
 211         }
 212 }
 213
 214
 215 bool
 216 FFmpegDecoder::pass ()
 217 {
 218         int r = av_read_frame (_format_context, &_packet);
 219
 220         if (r < 0) {
 221                 if (r != AVERROR_EOF) {
 222                         /* Maybe we should fail here, but for now we'll just finish off instead */
 223                         char buf[256];
 224                         av_strerror (r, buf, sizeof(buf));
 225                         _film->log()->log (String::compose (N_("error on av_read_frame (%1) (%2)"), buf, r));
 226                 }
 227
 228                 /* Get any remaining frames */
 229
 230                 _packet.data = 0;
 231                 _packet.size = 0;
 232
 233                 /* XXX: should we reset _packet.data and size after each *_decode_* call? */
 234
 235                 int frame_finished;
 236
 237                 if (_opt.decode_video) {
 238                         while (avcodec_decode_video2 (_video_codec_context, _frame, &frame_finished, &_packet) >= 0 && frame_finished) {
 239                                 filter_and_emit_video ();
 240                         }
 241                 }
 242
 243                 if (_audio_stream && _opt.decode_audio) {
 244                         decode_audio_packet ();
 245                 }
 246
 247                 return true;
 248         }
 249
 250         avcodec_get_frame_defaults (_frame);
 251
 252         shared_ptr<FFmpegAudioStream> ffa = dynamic_pointer_cast<FFmpegAudioStream> (_audio_stream);
 253
 254         if (_packet.stream_index == _video_stream && _opt.decode_video) {
 255
 256                 int frame_finished;
 257                 int const r = avcodec_decode_video2 (_video_codec_context, _frame, &frame_finished, &_packet);
 258                 if (r >= 0 && frame_finished) {
 259
 260                         if (r != _packet.size) {
 261                                 _film->log()->log (String::compose (N_("Used only %1 bytes of %2 in packet"), r, _packet.size));
 262                         }
 263
 264                         filter_and_emit_video ();
 265                 }
 266
 267         } else if (ffa && _packet.stream_index == ffa->id() && _opt.decode_audio) {
 268                 decode_audio_packet ();
 269         } else if (_subtitle_stream && _packet.stream_index == _subtitle_stream->id() && _opt.decode_subtitles) {
 270
 271                 int got_subtitle;
 272                 AVSubtitle sub;
 273                 if (avcodec_decode_subtitle2 (_subtitle_codec_context, &sub, &got_subtitle, &_packet) && got_subtitle) {
 274                         /* Sometimes we get an empty AVSubtitle, which is used by some codecs to
 275                            indicate that the previous subtitle should stop.
 276                         */
 277                         if (sub.num_rects > 0) {
 278                                 shared_ptr<TimedSubtitle> ts;
 279                                 try {
 280                                         emit_subtitle (shared_ptr<TimedSubtitle> (new TimedSubtitle (sub)));
 281                                 } catch (...) {
 282                                         /* some problem with the subtitle; we probably didn't understand it */
 283                                 }
 284                         } else {
 285                                 emit_subtitle (shared_ptr<TimedSubtitle> ());
 286                         }
 287                         avsubtitle_free (&sub);
 288                 }
 289         }
 290
 291         av_free_packet (&_packet);
 292         return false;
 293 }
 294
 295 /** @param data pointer to array of pointers to buffers.
 296  *  Only the first buffer will be used for non-planar data, otherwise there will be one per channel.
 297  */
 298 shared_ptr<AudioBuffers>
 299 FFmpegDecoder::deinterleave_audio (uint8_t** data, int size)
 300 {
 301         assert (_film->audio_channels());
 302         assert (bytes_per_audio_sample());
 303
 304         shared_ptr<FFmpegAudioStream> ffa = dynamic_pointer_cast<FFmpegAudioStream> (_audio_stream);
 305         assert (ffa);
 306
 307         /* Deinterleave and convert to float */
 308
 309         assert ((size % (bytes_per_audio_sample() * ffa->channels())) == 0);
 310
 311         int const total_samples = size / bytes_per_audio_sample();
 312         int const frames = total_samples / _film->audio_channels();
 313         shared_ptr<AudioBuffers> audio (new AudioBuffers (ffa->channels(), frames));
 314
 315         switch (audio_sample_format()) {
 316         case AV_SAMPLE_FMT_S16:
 317         {
 318                 int16_t* p = reinterpret_cast<int16_t *> (data[0]);
 319                 int sample = 0;
 320                 int channel = 0;
 321                 for (int i = 0; i < total_samples; ++i) {
 322                         audio->data(channel)[sample] = float(*p++) / (1 << 15);
 323
 324                         ++channel;
 325                         if (channel == _film->audio_channels()) {
 326                                 channel = 0;
 327                                 ++sample;
 328                         }
 329                 }
 330         }
 331         break;
 332
 333         case AV_SAMPLE_FMT_S16P:
 334         {
 335                 int16_t** p = reinterpret_cast<int16_t **> (data);
 336                 for (int i = 0; i < _film->audio_channels(); ++i) {
 337                         for (int j = 0; j < frames; ++j) {
 338                                 audio->data(i)[j] = static_cast<float>(p[i][j]) / (1 << 15);
 339                         }
 340                 }
 341         }
 342         break;
 343
 344         case AV_SAMPLE_FMT_S32:
 345         {
 346                 int32_t* p = reinterpret_cast<int32_t *> (data[0]);
 347                 int sample = 0;
 348                 int channel = 0;
 349                 for (int i = 0; i < total_samples; ++i) {
 350                         audio->data(channel)[sample] = static_cast<float>(*p++) / (1 << 31);
 351
 352                         ++channel;
 353                         if (channel == _film->audio_channels()) {
 354                                 channel = 0;
 355                                 ++sample;
 356                         }
 357                 }
 358         }
 359         break;
 360
 361         case AV_SAMPLE_FMT_FLT:
 362         {
 363                 float* p = reinterpret_cast<float*> (data[0]);
 364                 int sample = 0;
 365                 int channel = 0;
 366                 for (int i = 0; i < total_samples; ++i) {
 367                         audio->data(channel)[sample] = *p++;
 368
 369                         ++channel;
 370                         if (channel == _film->audio_channels()) {
 371                                 channel = 0;
 372                                 ++sample;
 373                         }
 374                 }
 375         }
 376         break;
 377
 378         case AV_SAMPLE_FMT_FLTP:
 379         {
 380                 float** p = reinterpret_cast<float**> (data);
 381                 for (int i = 0; i < _film->audio_channels(); ++i) {
 382                         memcpy (audio->data(i), p[i], frames * sizeof(float));
 383                 }
 384         }
 385         break;
 386
 387         default:
 388                 throw DecodeError (String::compose (_("Unrecognised audio sample format (%1)"), static_cast<int> (audio_sample_format())));
 389         }
 390
 391         return audio;
 392 }
 393
 394 float
 395 FFmpegDecoder::frames_per_second () const
 396 {
 397         AVStream* s = _format_context->streams[_video_stream];
 398
 399         if (s->avg_frame_rate.num && s->avg_frame_rate.den) {
 400                 return av_q2d (s->avg_frame_rate);
 401         }
 402
 403         return av_q2d (s->r_frame_rate);
 404 }
 405
 406 AVSampleFormat
 407 FFmpegDecoder::audio_sample_format () const
 408 {
 409         if (_audio_codec_context == 0) {
 410                 return (AVSampleFormat) 0;
 411         }
 412
 413         return _audio_codec_context->sample_fmt;
 414 }
 415
 416 libdcp::Size
 417 FFmpegDecoder::native_size () const
 418 {
 419         return libdcp::Size (_video_codec_context->width, _video_codec_context->height);
 420 }
 421
 422 PixelFormat
 423 FFmpegDecoder::pixel_format () const
 424 {
 425         return _video_codec_context->pix_fmt;
 426 }
 427
 428 int
 429 FFmpegDecoder::time_base_numerator () const
 430 {
 431         return _video_codec_context->time_base.num;
 432 }
 433
 434 int
 435 FFmpegDecoder::time_base_denominator () const
 436 {
 437         return _video_codec_context->time_base.den;
 438 }
 439
 440 int
 441 FFmpegDecoder::sample_aspect_ratio_numerator () const
 442 {
 443         return _video_codec_context->sample_aspect_ratio.num;
 444 }
 445
 446 int
 447 FFmpegDecoder::sample_aspect_ratio_denominator () const
 448 {
 449         return _video_codec_context->sample_aspect_ratio.den;
 450 }
 451
 452 string
 453 FFmpegDecoder::stream_name (AVStream* s) const
 454 {
 455         stringstream n;
 456
 457         if (s->metadata) {
 458                 AVDictionaryEntry const * lang = av_dict_get (s->metadata, N_("language"), 0, 0);
 459                 if (lang) {
 460                         n << lang->value;
 461                 }
 462
 463                 AVDictionaryEntry const * title = av_dict_get (s->metadata, N_("title"), 0, 0);
 464                 if (title) {
 465                         if (!n.str().empty()) {
 466                                 n << N_(" ");
 467                         }
 468                         n << title->value;
 469                 }
 470         }
 471
 472         if (n.str().empty()) {
 473                 n << N_("unknown");
 474         }
 475
 476         return n.str ();
 477 }
 478
 479 int
 480 FFmpegDecoder::bytes_per_audio_sample () const
 481 {
 482         return av_get_bytes_per_sample (audio_sample_format ());
 483 }
 484
 485 void
 486 FFmpegDecoder::set_audio_stream (shared_ptr<AudioStream> s)
 487 {
 488         AudioDecoder::set_audio_stream (s);
 489         setup_audio ();
 490 }
 491
 492 void
 493 FFmpegDecoder::set_subtitle_stream (shared_ptr<SubtitleStream> s)
 494 {
 495         VideoDecoder::set_subtitle_stream (s);
 496         setup_subtitle ();
 497         OutputChanged ();
 498 }
 499
 500 void
 501 FFmpegDecoder::filter_and_emit_video ()
 502 {
 503         boost::mutex::scoped_lock lm (_filter_graphs_mutex);
 504
 505         shared_ptr<FilterGraph> graph;
 506
 507         list<shared_ptr<FilterGraph> >::iterator i = _filter_graphs.begin();
 508         while (i != _filter_graphs.end() && !(*i)->can_process (libdcp::Size (_frame->width, _frame->height), (AVPixelFormat) _frame->format)) {
 509                 ++i;
 510         }
 511
 512         if (i == _filter_graphs.end ()) {
 513                 graph.reset (new FilterGraph (_film, this, libdcp::Size (_frame->width, _frame->height), (AVPixelFormat) _frame->format));
 514                 _filter_graphs.push_back (graph);
 515                 _film->log()->log (String::compose (N_("New graph for %1x%2, pixel format %3"), _frame->width, _frame->height, _frame->format));
 516         } else {
 517                 graph = *i;
 518         }
 519
 520         list<shared_ptr<Image> > images = graph->process (_frame);
 521
 522         for (list<shared_ptr<Image> >::iterator i = images.begin(); i != images.end(); ++i) {
 523                 int64_t const bet = av_frame_get_best_effort_timestamp (_frame);
 524                 if (bet != AV_NOPTS_VALUE) {
 525                         emit_video (*i, false, bet * av_q2d (_format_context->streams[_video_stream]->time_base));
 526                 } else {
 527                         _film->log()->log ("Dropping frame without PTS");
 528                 }
 529         }
 530 }
 531
 532 bool
 533 FFmpegDecoder::seek (double p)
 534 {
 535         return do_seek (p, false, false);
 536 }
 537
 538 bool
 539 FFmpegDecoder::seek_to_last ()
 540 {
 541         /* This AVSEEK_FLAG_BACKWARD in do_seek is a bit of a hack; without it, if we ask for a seek to the same place as last time
 542            (used when we change decoder parameters and want to re-fetch the frame) we end up going forwards rather than
 543            staying in the same place.
 544         */
 545         return do_seek (last_source_time(), true, false);
 546 }
 547
 548 void
 549 FFmpegDecoder::seek_back ()
 550 {
 551         do_seek (last_source_time() - 2.5 / frames_per_second (), true, true);
 552 }
 553
 554 void
 555 FFmpegDecoder::seek_forward ()
 556 {
 557         do_seek (last_source_time() - 0.5 / frames_per_second(), true, true);
 558 }
 559
 560 bool
 561 FFmpegDecoder::do_seek (double p, bool backwards, bool accurate)
 562 {
 563         int64_t const vt = p / av_q2d (_format_context->streams[_video_stream]->time_base);
 564
 565         int const r = av_seek_frame (_format_context, _video_stream, vt, backwards ? AVSEEK_FLAG_BACKWARD : 0);
 566
 567         avcodec_flush_buffers (_video_codec_context);
 568         if (_subtitle_codec_context) {
 569                 avcodec_flush_buffers (_subtitle_codec_context);
 570         }
 571
 572         if (accurate) {
 573                 while (1) {
 574                         int r = av_read_frame (_format_context, &_packet);
 575                         if (r < 0) {
 576                                 return true;
 577                         }
 578
 579                         avcodec_get_frame_defaults (_frame);
 580
 581                         if (_packet.stream_index == _video_stream) {
 582                                 int finished = 0;
 583                                 int const r = avcodec_decode_video2 (_video_codec_context, _frame, &finished, &_packet);
 584                                 if (r >= 0 && finished) {
 585                                         int64_t const bet = av_frame_get_best_effort_timestamp (_frame);
 586                                         if (bet > vt) {
 587                                                 break;
 588                                         }
 589                                 }
 590                         }
 591
 592                         av_free_packet (&_packet);
 593                 }
 594         }
 595
 596         return r < 0;
 597 }
 598
 599 shared_ptr<FFmpegAudioStream>
 600 FFmpegAudioStream::create (string t, optional<int> v)
 601 {
 602         if (!v) {
 603                 /* version < 1; no type in the string, and there's only FFmpeg streams anyway */
 604                 return shared_ptr<FFmpegAudioStream> (new FFmpegAudioStream (t, v));
 605         }
 606
 607         stringstream s (t);
 608         string type;
 609         s >> type;
 610         if (type != N_("ffmpeg")) {
 611                 return shared_ptr<FFmpegAudioStream> ();
 612         }
 613
 614         return shared_ptr<FFmpegAudioStream> (new FFmpegAudioStream (t, v));
 615 }
 616
 617 FFmpegAudioStream::FFmpegAudioStream (string t, optional<int> version)
 618 {
 619         stringstream n (t);
 620
 621         int name_index = 4;
 622         if (!version) {
 623                 name_index = 2;
 624                 int channels;
 625                 n >> _id >> channels;
 626                 _channel_layout = av_get_default_channel_layout (channels);
 627                 _sample_rate = 0;
 628         } else {
 629                 string type;
 630                 /* Current (marked version 1) */
 631                 n >> type >> _id >> _sample_rate >> _channel_layout;
 632                 assert (type == N_("ffmpeg"));
 633         }
 634
 635         for (int i = 0; i < name_index; ++i) {
 636                 size_t const s = t.find (' ');
 637                 if (s != string::npos) {
 638                         t = t.substr (s + 1);
 639                 }
 640         }
 641
 642         _name = t;
 643 }
 644
 645 string
 646 FFmpegAudioStream::to_string () const
 647 {
 648         return String::compose (N_("ffmpeg %1 %2 %3 %4"), _id, _sample_rate, _channel_layout, _name);
 649 }
 650
 651 void
 652 FFmpegDecoder::film_changed (Film::Property p)
 653 {
 654         switch (p) {
 655         case Film::CROP:
 656         case Film::FILTERS:
 657         {
 658                 boost::mutex::scoped_lock lm (_filter_graphs_mutex);
 659                 _filter_graphs.clear ();
 660         }
 661         OutputChanged ();
 662         break;
 663
 664         default:
 665                 break;
 666         }
 667 }
 668
 669 /** @return Length (in video frames) according to our content's header */
 670 SourceFrame
 671 FFmpegDecoder::length () const
 672 {
 673         return (double(_format_context->duration) / AV_TIME_BASE) * frames_per_second();
 674 }
 675
 676 void
 677 FFmpegDecoder::decode_audio_packet ()
 678 {
 679         shared_ptr<FFmpegAudioStream> ffa = dynamic_pointer_cast<FFmpegAudioStream> (_audio_stream);
 680         assert (ffa);
 681
 682         /* Audio packets can contain multiple frames, so we may have to call avcodec_decode_audio4
 683            several times.
 684         */
 685
 686         AVPacket copy_packet = _packet;
 687
 688         while (copy_packet.size > 0) {
 689
 690                 int frame_finished;
 691                 int const decode_result = avcodec_decode_audio4 (_audio_codec_context, _frame, &frame_finished, &copy_packet);
 692                 if (decode_result >= 0) {
 693                         if (frame_finished) {
 694
 695                                 /* Where we are in the source, in seconds */
 696                                 double const source_pts_seconds = av_q2d (_format_context->streams[copy_packet.stream_index]->time_base)
 697                                         * av_frame_get_best_effort_timestamp(_frame);
 698
 699                                 int const data_size = av_samples_get_buffer_size (
 700                                         0, _audio_codec_context->channels, _frame->nb_samples, audio_sample_format (), 1
 701                                         );
 702
 703                                 assert (_audio_codec_context->channels == _film->audio_channels());
 704                                 Audio (deinterleave_audio (_frame->data, data_size), source_pts_seconds);
 705                         }
 706
 707                         copy_packet.data += decode_result;
 708                         copy_packet.size -= decode_result;
 709                 }
 710         }
 711 }