fixed mem leak
[swftools.git] / lib / lame / vbrquantize.c
1 /*
2  *      MP3 quantization
3  *
4  *      Copyright (c) 1999 Mark Taylor
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public
17  * License along with this library; if not, write to the
18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
19  * Boston, MA 02111-1307, USA.
20  */
21
22 /* $Id: vbrquantize.c,v 1.2 2006/02/09 16:57:00 kramm Exp $ */
23
24 #include <stdlib.h>
25 #include "config_static.h"
26
27 #include <assert.h>
28 #include "util.h"
29 #include "l3side.h"
30 #include "reservoir.h"
31 #include "quantize_pvt.h"
32 #include "vbrquantize.h"
33
34 #ifdef WITH_DMALLOC
35 #include <dmalloc.h>
36 #endif
37
38
39
40 typedef union {
41     float f;
42     int   i;
43 } fi_union;
44
45 #define MAGIC_FLOAT (65536*(128))
46 #define MAGIC_INT    0x4b000000
47
48 #ifdef TAKEHIRO_IEEE754_HACK
49
50 #define DUFFBLOCKMQ() do { \
51         xp = xr34[0] * sfpow34_p1; \
52         xe = xr34[0] * sfpow34_eq; \
53         xm = xr34[0] * sfpow34_m1; \
54         if (xm > IXMAX_VAL)  \
55             return -1; \
56         xp += MAGIC_FLOAT; \
57         xe += MAGIC_FLOAT; \
58         xm += MAGIC_FLOAT; \
59         fi[0].f = xp; \
60         fi[1].f = xe; \
61         fi[2].f = xm; \
62         fi[0].f = xp + (adj43asm - MAGIC_INT)[fi[0].i]; \
63         fi[1].f = xe + (adj43asm - MAGIC_INT)[fi[1].i]; \
64         fi[2].f = xm + (adj43asm - MAGIC_INT)[fi[2].i]; \
65         fi[0].i -= MAGIC_INT; \
66         fi[1].i -= MAGIC_INT; \
67         fi[2].i -= MAGIC_INT; \
68         x0 = fabs(xr[0]); \
69         xp = x0 - pow43[fi[0].i] * sfpow_p1; \
70         xe = x0 - pow43[fi[1].i] * sfpow_eq; \
71         xm = x0 - pow43[fi[2].i] * sfpow_m1; \
72         xp *= xp; \
73         xe *= xe; \
74         xm *= xm; \
75         xfsf_eq = Max(xfsf_eq, xe); \
76         xfsf_p1 = Max(xfsf_p1, xp); \
77         xfsf_m1 = Max(xfsf_m1, xm); \
78         ++xr; \
79         ++xr34; \
80     } while(0)  
81
82 #define DUFFBLOCK() do { \
83         xp = xr34[0] * sfpow34_p1; \
84         xe = xr34[0] * sfpow34_eq; \
85         xm = xr34[0] * sfpow34_m1; \
86         if (xm > IXMAX_VAL)  \
87             return -1; \
88         xp += MAGIC_FLOAT; \
89         xe += MAGIC_FLOAT; \
90         xm += MAGIC_FLOAT; \
91         fi[0].f = xp; \
92         fi[1].f = xe; \
93         fi[2].f = xm; \
94         fi[0].f = xp + (adj43asm - MAGIC_INT)[fi[0].i]; \
95         fi[1].f = xe + (adj43asm - MAGIC_INT)[fi[1].i]; \
96         fi[2].f = xm + (adj43asm - MAGIC_INT)[fi[2].i]; \
97         fi[0].i -= MAGIC_INT; \
98         fi[1].i -= MAGIC_INT; \
99         fi[2].i -= MAGIC_INT; \
100         x0 = fabs(xr[0]); \
101         xp = x0 - pow43[fi[0].i] * sfpow_p1; \
102         xe = x0 - pow43[fi[1].i] * sfpow_eq; \
103         xm = x0 - pow43[fi[2].i] * sfpow_m1; \
104         xfsf_p1 += xp * xp; \
105         xfsf_eq += xe * xe; \
106         xfsf_m1 += xm * xm; \
107         ++xr; \
108         ++xr34; \
109     } while(0)  
110
111 #else
112
113 /*********************************************************************
114  * XRPOW_FTOI is a macro to convert floats to ints.  
115  * if XRPOW_FTOI(x) = nearest_int(x), then QUANTFAC(x)=adj43asm[x]
116  *                                         ROUNDFAC= -0.0946
117  *
118  * if XRPOW_FTOI(x) = floor(x), then QUANTFAC(x)=asj43[x]   
119  *                                   ROUNDFAC=0.4054
120  *********************************************************************/
121 #  define QUANTFAC(rx)  adj43[rx]
122 #  define ROUNDFAC 0.4054
123 #  define XRPOW_FTOI(src,dest) ((dest) = (int)(src))
124
125
126 #endif
127
128 /*  caution: a[] will be resorted!!
129  */
130 FLOAT8 select_kth(FLOAT8 a[], int N, int k)
131 {
132     int i, j, l, r;
133     FLOAT8 v, w;
134     
135     l = 0;
136     r = N-1;
137     while (r > l) {
138         v = a[r];
139         i = l-1;
140         j = r;
141         for (;;) {
142             while (a[++i] < v) /*empty*/;
143             while (a[--j] > v) /*empty*/;
144             if (i >= j) 
145                 break;
146             /* swap i and j */
147             w = a[i];
148             a[i] = a[j];
149             a[j] = w;
150         }
151         /* swap i and r */
152         w = a[i];
153         a[i] = a[r];
154         a[r] = w;
155         if (i >= k) 
156             r = i-1;
157         if (i <= k) 
158             l = i+1;
159     }
160     return a[k];
161 }
162
163
164
165
166 static FLOAT8
167 calc_sfb_noise(const FLOAT8 *xr, const FLOAT8 *xr34, int bw, int sf)
168 {
169     int j;
170     fi_union fi; 
171     FLOAT8 temp;
172     FLOAT8 xfsf = 0;
173     FLOAT8 sfpow, sfpow34;
174
175     sfpow   =  POW20(sf+210); /*pow(2.0,sf/4.0); */
176     sfpow34 = IPOW20(sf+210); /*pow(sfpow,-3.0/4.0);*/
177
178     for ( j = 0; j < bw ; ++j ) {
179         if ( xr34[j]*sfpow34 > IXMAX_VAL ) return -1;
180
181 #ifdef TAKEHIRO_IEEE754_HACK
182         temp   = sfpow34*xr34[j];
183         temp  += MAGIC_FLOAT; 
184         fi.f  = temp;
185         fi.f  = temp + (adj43asm - MAGIC_INT)[fi.i];
186         fi.i -= MAGIC_INT;
187 #else
188         temp = xr34[j]*sfpow34;
189         XRPOW_FTOI(temp, fi.i);
190         XRPOW_FTOI(temp + QUANTFAC(fi.i), fi.i);
191 #endif
192
193         temp = fabs(xr[j])- pow43[fi.i]*sfpow;
194         xfsf += temp*temp;
195     }
196     return xfsf;
197 }
198
199
200
201
202 static FLOAT8
203 calc_sfb_noise_mq( const FLOAT8 *xr, const FLOAT8 *xr34, int bw, int sf, 
204                    int mq, FLOAT8 *scratch )
205 {
206     int j, k;
207     fi_union fi; 
208     FLOAT8 temp;
209     FLOAT8 sfpow, sfpow34, xfsfm = 0, xfsf = 0;
210
211     sfpow   =  POW20(sf+210); /*pow(2.0,sf/4.0); */
212     sfpow34 = IPOW20(sf+210); /*pow(sfpow,-3.0/4.0);*/
213
214     for ( j = 0; j < bw; ++j ) {
215         if ( xr34[j]*sfpow34 > IXMAX_VAL ) return -1;
216
217 #ifdef TAKEHIRO_IEEE754_HACK
218         temp  = sfpow34*xr34[j];
219         temp += MAGIC_FLOAT; 
220         fi.f  = temp;
221         fi.f  = temp + (adj43asm - MAGIC_INT)[fi.i];
222         fi.i -= MAGIC_INT;
223 #else
224         temp = xr34[j]*sfpow34;
225         XRPOW_FTOI(temp, fi.i);
226         XRPOW_FTOI(temp + QUANTFAC(fi.i), fi.i);
227 #endif
228
229         temp = fabs(xr[j])- pow43[fi.i]*sfpow;
230         temp *= temp;
231   
232         scratch[j] = temp;  
233         if ( xfsfm < temp ) xfsfm = temp;
234         xfsf += temp;
235     }
236     if ( mq == 1 ) return bw*select_kth(scratch,bw,bw*13/16);
237     
238     xfsf /= bw;
239     for ( k = 1, j = 0; j < bw; ++j ) {
240         if ( scratch[j] > xfsf ) { 
241             xfsfm += scratch[j];
242             ++k; 
243         }
244     }
245     return xfsfm/k * bw;
246 }
247
248
249
250
251 static FLOAT8
252 calc_sfb_noise_ave(const FLOAT8 *xr, const FLOAT8 *xr34, int bw, int sf)
253 {
254     double xp;
255     double xe;
256     double xm;
257 #ifdef TAKEHIRO_IEEE754_HACK
258     double x0;
259 #endif
260     int xx[3], j;
261     fi_union *fi = (fi_union *)xx; 
262     FLOAT8 sfpow34_eq, sfpow34_p1, sfpow34_m1;
263     FLOAT8 sfpow_eq, sfpow_p1, sfpow_m1;
264     FLOAT8 xfsf_eq = 0, xfsf_p1 = 0, xfsf_m1 = 0;
265
266     sfpow_eq = POW20(sf + 210); /*pow(2.0,sf/4.0); */
267     sfpow_m1 = sfpow_eq * .8408964153;  /* pow(2,(sf-1)/4.0) */
268     sfpow_p1 = sfpow_eq * 1.189207115;  
269     
270     sfpow34_eq = IPOW20(sf + 210); /*pow(sfpow,-3.0/4.0);*/
271     sfpow34_m1 = sfpow34_eq * 1.13878863476;       /* .84089 ^ -3/4 */
272     sfpow34_p1 = sfpow34_eq * 0.878126080187;
273
274 #ifdef TAKEHIRO_IEEE754_HACK
275     /*
276      *  loop unrolled into "Duff's Device".   Robert Hegemann
277      */    
278     j = (bw+3) / 4;
279     switch (bw % 4) {
280         default:
281         case 0: do{ DUFFBLOCK();
282         case 3:     DUFFBLOCK();
283         case 2:     DUFFBLOCK();
284         case 1:     DUFFBLOCK(); } while (--j);
285     }
286 #else
287     for (j = 0; j < bw; ++j) {
288
289         if (xr34[j]*sfpow34_m1 > IXMAX_VAL) return -1;
290
291         xe = xr34[j]*sfpow34_eq;
292         XRPOW_FTOI(xe, fi[0].i);
293         XRPOW_FTOI(xe + QUANTFAC(fi[0].i), fi[0].i);
294         xe = fabs(xr[j])- pow43[fi[0].i]*sfpow_eq;
295         xe *= xe;
296
297         xp = xr34[j]*sfpow34_p1;
298         XRPOW_FTOI(xp, fi[0].i);
299         XRPOW_FTOI(xp + QUANTFAC(fi[0].i), fi[0].i);
300         xp = fabs(xr[j])- pow43[fi[0].i]*sfpow_p1;
301         xp *= xp;
302
303         xm = xr34[j]*sfpow34_m1;
304         XRPOW_FTOI(xm, fi[0].i);
305         XRPOW_FTOI(xm + QUANTFAC(fi[0].i), fi[0].i);
306         xm = fabs(xr[j])- pow43[fi[0].i]*sfpow_m1;
307         xm *= xm;
308
309         xfsf_eq += xe;
310         xfsf_p1 += xp;
311         xfsf_m1 += xm;
312     }
313 #endif
314
315     if ( xfsf_eq < xfsf_p1 ) xfsf_eq = xfsf_p1;
316     if ( xfsf_eq < xfsf_m1 ) xfsf_eq = xfsf_m1;
317     return xfsf_eq;
318 }
319
320
321
322 INLINE int
323 find_scalefac( const FLOAT8 *xr, const FLOAT8 *xr34, FLOAT8 l3_xmin, int bw )
324 {
325     FLOAT8 xfsf;
326     int i, sf, sf_ok, delsf;
327
328     /* search will range from sf:  -209 -> 45  */
329     sf = -82;
330     delsf = 128;
331
332     sf_ok = 10000;
333     for (i = 0; i < 7; ++i) {
334         delsf /= 2;
335         xfsf = calc_sfb_noise( xr, xr34, bw, sf );
336
337         if (xfsf < 0) {
338             /* scalefactors too small */
339             sf += delsf;
340         }
341         else {
342             if (xfsf > l3_xmin) {
343                 /* distortion.  try a smaller scalefactor */
344                 sf -= delsf;
345             }
346             else {
347                 sf_ok = sf;
348                 sf += delsf;
349             }
350         }
351     } 
352
353     /*  returning a scalefac without distortion, if possible
354      */
355     return sf_ok > 45 ? sf : sf_ok;
356 }
357
358 INLINE int
359 find_scalefac_mq( const FLOAT8 *xr, const FLOAT8 *xr34, FLOAT8 l3_xmin, 
360                   int bw, int mq, FLOAT8 *scratch )
361 {
362     FLOAT8 xfsf;
363     int i, sf, sf_ok, delsf;
364
365     /* search will range from sf:  -209 -> 45  */
366     sf = -82;
367     delsf = 128;
368
369     sf_ok = 10000;
370     for (i = 0; i < 7; ++i) {
371         delsf /= 2;
372         xfsf = calc_sfb_noise_mq( xr, xr34, bw, sf, mq, scratch );
373
374         if (xfsf < 0) {
375             /* scalefactors too small */
376             sf += delsf;
377         }
378         else {
379             if (xfsf > l3_xmin) {
380                 /* distortion.  try a smaller scalefactor */
381                 sf -= delsf;
382             }
383             else {
384                 sf_ok = sf;
385                 sf += delsf;
386             }
387         }
388     } 
389
390     /*  returning a scalefac without distortion, if possible
391      */
392     return sf_ok > 45 ? sf : sf_ok;
393 }
394
395 INLINE int
396 find_scalefac_ave( const FLOAT8 *xr, const FLOAT8 *xr34, FLOAT8 l3_xmin, int bw )
397 {
398     FLOAT8 xfsf; 
399     int i, sf, sf_ok, delsf;
400
401     /* search will range from sf:  -209 -> 45  */
402     sf = -82;
403     delsf = 128;
404
405     sf_ok = 10000;
406     for (i = 0; i < 7; ++i) {
407         delsf /= 2;
408         xfsf = calc_sfb_noise_ave( xr, xr34, bw, sf );
409
410         if (xfsf < 0) {
411             /* scalefactors too small */
412             sf += delsf;
413         }
414         else{
415             if (xfsf > l3_xmin) {
416                 /* distortion.  try a smaller scalefactor */
417                 sf -= delsf;
418             }
419             else {
420                 sf_ok = sf;
421                 sf += delsf;
422             }
423         }
424     } 
425
426     /*  returning a scalefac without distortion, if possible
427      */
428     return sf_ok > 45 ? sf : sf_ok;
429 }
430
431
432 /**
433  *  Robert Hegemann 2001-05-01
434  *  calculates quantization step size determined by allowed masking
435  */
436 INLINE int 
437 calc_scalefac( FLOAT8 l3_xmin, int bw, FLOAT8 preset_tune )
438 {
439     FLOAT8 const c = (preset_tune > 0 ? preset_tune
440                                               : 5.799142446);   // 10 * 10^(2/3) * log10(4/3)
441     return (int)(c*log10(l3_xmin/bw)-.5);
442 }
443
444
445
446 static const int max_range_short[SBMAX_s] =
447 {15, 15, 15, 15, 15, 15, 7, 7, 7, 7, 7, 7, 0 };
448
449 static const int max_range_long[SBMAX_l] =
450 {15, 15, 15, 15, 15, 15, 15, 15, 15, 15, 15, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 0};
451
452 static const int max_range_long_lsf_pretab[SBMAX_l] =
453 { 7,7,7,7,7,7, 3,3,3,3,3, 0,0,0,0, 0,0,0, 0,0,0, 0 };
454     
455
456
457 /*
458     sfb=0..5  scalefac < 16 
459     sfb>5     scalefac < 8
460
461     ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
462     ol_sf =  (cod_info->global_gain-210.0);
463     ol_sf -= 8*cod_info->subblock_gain[i];
464     ol_sf -= ifqstep*scalefac[gr][ch].s[sfb][i];
465
466 */
467 INLINE int 
468 compute_scalefacs_short(
469     int sf[][3], const gr_info *cod_info, int scalefac[][3], int *sbg )
470 {
471     const int maxrange1 = 15, maxrange2 = 7;
472     int maxrange, maxover = 0;
473     int sfb, i;
474     int ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
475
476     for (i = 0; i < 3; ++i) {
477         int maxsf1 = 0, maxsf2 = 0, minsf = 1000;
478         /* see if we should use subblock gain */
479         for (sfb = 0; sfb < 6; ++sfb) {         /* part 1 */
480             if (maxsf1 < -sf[sfb][i]) maxsf1 = -sf[sfb][i];
481             if (minsf  > -sf[sfb][i]) minsf  = -sf[sfb][i];
482         }
483         for (; sfb < SBPSY_s; ++sfb) {          /* part 2 */
484             if (maxsf2 < -sf[sfb][i]) maxsf2 = -sf[sfb][i];
485             if (minsf  > -sf[sfb][i]) minsf  = -sf[sfb][i];
486         }
487
488         /* boost subblock gain as little as possible so we can
489          * reach maxsf1 with scalefactors 
490          * 8*sbg >= maxsf1   
491          */
492         maxsf1 = Max (maxsf1-maxrange1*ifqstep, maxsf2-maxrange2*ifqstep);
493         sbg[i] = 0;
494         if (minsf  > 0) sbg[i] = floor (.125*minsf + .001);
495         if (maxsf1 > 0) sbg[i] = Max (sbg[i], (maxsf1/8 + (maxsf1 % 8 != 0)));
496         if (sbg[i] > 7) sbg[i] = 7;
497
498         for (sfb = 0; sfb < SBPSY_s; ++sfb) {
499             sf[sfb][i] += 8*sbg[i];
500
501             if (sf[sfb][i] < 0) {
502                 maxrange = sfb < 6 ? maxrange1 : maxrange2;
503                 
504                 scalefac[sfb][i]
505                      = -sf[sfb][i]/ifqstep + (-sf[sfb][i]%ifqstep != 0);
506                 
507                 if (scalefac[sfb][i] > maxrange)
508                     scalefac[sfb][i] = maxrange;
509
510                 if (maxover < -(sf[sfb][i] + scalefac[sfb][i]*ifqstep)) 
511                     maxover = -(sf[sfb][i] + scalefac[sfb][i]*ifqstep);
512             }
513         }
514         scalefac[sfb][i] = 0;
515     }
516
517     return maxover;
518 }
519
520
521
522 /*
523           ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
524           ol_sf =  (cod_info->global_gain-210.0);
525           ol_sf -= ifqstep*scalefac[gr][ch].l[sfb];
526           if (cod_info->preflag && sfb>=11) 
527           ol_sf -= ifqstep*pretab[sfb];
528 */
529 INLINE int
530 compute_scalefacs_long_lsf( int *sf, const gr_info * cod_info, int *scalefac )
531 {
532     const int * max_range = max_range_long;
533     int ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
534     int sfb;
535     int maxover;
536
537     if (cod_info->preflag) {
538         max_range = max_range_long_lsf_pretab;
539         for (sfb = 11; sfb < SBPSY_l; ++sfb) 
540             sf[sfb] += pretab[sfb] * ifqstep;
541     }
542
543     maxover = 0;
544     for (sfb = 0; sfb < SBPSY_l; ++sfb) {
545
546         if (sf[sfb] < 0) {
547             /* ifqstep*scalefac >= -sf[sfb], so round UP */
548             scalefac[sfb] = -sf[sfb]/ifqstep  + (-sf[sfb] % ifqstep != 0);
549             if (scalefac[sfb] > max_range[sfb]) 
550                 scalefac[sfb] = max_range[sfb];
551       
552             /* sf[sfb] should now be positive: */
553             if (-(sf[sfb] + scalefac[sfb]*ifqstep) > maxover) {
554                 maxover = -(sf[sfb] + scalefac[sfb]*ifqstep);
555             }
556         }
557     }
558     scalefac[sfb] = 0;  /* sfb21 */
559
560     return maxover;
561 }
562
563
564
565
566
567 /*
568           ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
569           ol_sf =  (cod_info->global_gain-210.0);
570           ol_sf -= ifqstep*scalefac[gr][ch].l[sfb];
571           if (cod_info->preflag && sfb>=11) 
572           ol_sf -= ifqstep*pretab[sfb];
573 */
574 INLINE int
575 compute_scalefacs_long( int *sf, const gr_info * cod_info, int *scalefac )
576 {
577     int ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
578     int sfb;
579     int maxover;  
580
581     if (cod_info->preflag) {
582         for (sfb = 11; sfb < SBPSY_l; ++sfb) 
583             sf[sfb] += pretab[sfb] * ifqstep;
584     }
585
586     maxover = 0;
587     for (sfb = 0; sfb < SBPSY_l; ++sfb) {
588
589         if (sf[sfb] < 0) {
590             /* ifqstep*scalefac >= -sf[sfb], so round UP */
591             scalefac[sfb] = -sf[sfb]/ifqstep  + (-sf[sfb] % ifqstep != 0);
592             if (scalefac[sfb] > max_range_long[sfb]) 
593                 scalefac[sfb] = max_range_long[sfb];
594       
595             /* sf[sfb] should now be positive: */
596             if (-(sf[sfb] + scalefac[sfb]*ifqstep) > maxover) {
597                 maxover = -(sf[sfb] + scalefac[sfb]*ifqstep);
598             }
599         }
600     }
601     scalefac[sfb] = 0;  /* sfb21 */
602
603     return maxover;
604 }
605   
606   
607
608
609
610
611
612
613 /************************************************************************
614  *
615  * quantize and encode with the given scalefacs and global gain
616  *
617  * compute scalefactors, l3_enc, and return number of bits needed to encode
618  *
619  *
620  ************************************************************************/
621
622 static int
623 VBR_quantize_granule( 
624           lame_internal_flags * gfc,
625           FLOAT8              * xr34, 
626           int                 * l3_enc,
627           III_scalefac_t      * scalefac, 
628           int gr, int ch )
629 {
630     int status;
631     III_side_info_t * l3_side  = & gfc->l3_side;
632     gr_info         * cod_info = & l3_side->gr[gr].ch[ch].tt;  
633
634     /* encode scalefacs */
635     if ( gfc->is_mpeg1 ) 
636         status = scale_bitcount( scalefac, cod_info );
637     else
638         status = scale_bitcount_lsf( gfc, scalefac, cod_info );
639
640     if (status != 0) {
641         return -1;
642     }
643   
644     /* quantize xr34 */
645     cod_info->part2_3_length = count_bits(gfc,l3_enc,xr34,cod_info);
646     if (cod_info->part2_3_length >= LARGE_BITS) return -2;
647     cod_info->part2_3_length += cod_info->part2_length;
648
649
650     if (gfc->use_best_huffman == 1) {
651         best_huffman_divide(gfc, cod_info, l3_enc);
652     }
653     return 0;
654 }
655
656
657   
658 /***********************************************************************
659  *
660  *      calc_short_block_vbr_sf()
661  *      calc_long_block_vbr_sf()
662  *
663  *  Mark Taylor 2000-??-??
664  *  Robert Hegemann 2000-10-25 made functions of it
665  *
666  ***********************************************************************/
667 static const int MAX_SF_DELTA = 4;    
668
669 static void
670 short_block_sf (
671     const lame_internal_flags * gfc,
672     const III_psy_xmin   * l3_xmin,
673     const FLOAT8         * xr34_orig,
674     const FLOAT8         * xr34,
675           III_scalefac_t * vbrsf,
676           int            * vbrmin,
677           int            * vbrmax )
678 {
679     int j, sfb, b;
680     int vbrmean, vbrmn;
681     int sf_cache[SBMAX_s];
682     int scalefac_criteria;
683
684     if (gfc->presetTune.use) {
685             /* map experimentalX settings to internal selections */
686         static char const map[] = {2,1,0,3,6};
687         scalefac_criteria = map[gfc->presetTune.quantcomp_current];
688     }
689         else {
690         scalefac_criteria = gfc->VBR->quality;
691     }
692   
693     for (j = 0, sfb = 0; sfb < SBMAX_s; ++sfb) {
694         for (b = 0; b < 3; ++b) {
695             const  int start = gfc->scalefac_band.s[ sfb ];
696             const  int end   = gfc->scalefac_band.s[ sfb+1 ];
697             const  int width = end - start;
698             
699             switch( scalefac_criteria ) {
700             default:
701                 /*  the fastest
702                  */
703                 vbrsf->s[sfb][b] = calc_scalefac( l3_xmin->s[sfb][b], width,
704                                                                       gfc->presetTune.quantcomp_adjust_mtrh );
705                 break;
706             case 5:
707             case 4:
708             case 3:
709                 /*  the faster and sloppier mode to use at lower quality
710                  */
711                 vbrsf->s[sfb][b] = find_scalefac (&xr34[j], &xr34_orig[j], 
712                                               l3_xmin->s[sfb][b], width);
713                 break;
714             case 2:
715                 /*  the slower and better mode to use at higher quality
716                  */
717                 vbrsf->s[sfb][b] = find_scalefac_ave (&xr34[j], &xr34_orig[j],
718                                                     l3_xmin->s[sfb][b], width);
719                 break;
720             case 1:
721                 /*  maxnoise mode to use at higher quality
722                  */
723                 vbrsf->s[sfb][b] = find_scalefac_mq (&xr34[j], &xr34_orig[j], 
724                                               l3_xmin->s[sfb][b], width,
725                                               1, gfc->VBR->scratch);
726                 break;
727             case 0:
728                 /*  maxnoise mode to use at higher quality
729                  */
730                 vbrsf->s[sfb][b] = find_scalefac_mq (&xr34[j], &xr34_orig[j], 
731                                               l3_xmin->s[sfb][b], width,
732                                               0, gfc->VBR->scratch);
733                 break;
734             }
735             j += width;
736         }
737     }
738     
739     *vbrmax = -10000;
740     *vbrmin = +10000;
741     
742     for (b = 0; b < 3; ++b) { 
743
744         /*  smoothing
745          */
746         switch( gfc->VBR->smooth ) {
747         default:
748         case  0: 
749             break;
750             
751         case  1:
752             /*  make working copy, get min value, select_kth_int will reorder!
753              */
754             for (vbrmn = +10000, sfb = 0; sfb < SBMAX_s; ++sfb) {
755                 sf_cache[sfb] = vbrsf->s[sfb][b];
756                 if (vbrmn > vbrsf->s[sfb][b])
757                     vbrmn = vbrsf->s[sfb][b];
758             }
759
760             /*  find median value, take it as mean 
761              */
762             vbrmean = select_kth_int (sf_cache, SBMAX_s, (SBMAX_s+1)/2);
763
764             /*  cut peaks
765              */
766             for (sfb = 0; sfb < SBMAX_s; ++sfb) {
767                 if (vbrsf->s[sfb][b] > vbrmean+(vbrmean-vbrmn))
768                     vbrsf->s[sfb][b] = vbrmean+(vbrmean-vbrmn);
769             }
770             break;
771             
772         case  2:
773             for (sfb = 0; sfb < SBMAX_s; ++sfb) {
774                 if (sfb > 0) 
775                     if (vbrsf->s[sfb][b] > vbrsf->s[sfb-1][b]+MAX_SF_DELTA)
776                         vbrsf->s[sfb][b] = vbrsf->s[sfb-1][b]+MAX_SF_DELTA;
777                 if (sfb < SBMAX_s-1) 
778                     if (vbrsf->s[sfb][b] > vbrsf->s[sfb+1][b]+MAX_SF_DELTA)
779                         vbrsf->s[sfb][b] = vbrsf->s[sfb+1][b]+MAX_SF_DELTA;
780             }
781             break;
782         }
783         
784         /*  get max value
785          */
786         for (sfb = 0; sfb < SBMAX_s; ++sfb) { 
787             if (*vbrmax < vbrsf->s[sfb][b])
788                 *vbrmax = vbrsf->s[sfb][b];
789             if (*vbrmin > vbrsf->s[sfb][b])
790                 *vbrmin = vbrsf->s[sfb][b];
791         }
792     }
793 }
794
795
796     /* a variation for vbr-mtrh */
797 static void
798 long_block_sf (
799     const lame_internal_flags * gfc,
800     const III_psy_xmin   * l3_xmin,
801     const FLOAT8         * xr34_orig,
802     const FLOAT8         * xr34,
803           III_scalefac_t * vbrsf,
804           int            * vbrmin,
805           int            * vbrmax )
806 {
807     int sfb;
808     int vbrmean, vbrmn;
809     int sf_cache[SBMAX_l];
810     int scalefac_criteria;
811
812     if (gfc->presetTune.use) {
813             /* map experimentalX settings to internal selections */
814         static char const map[] = {2,1,0,3,6};
815         scalefac_criteria = map[gfc->presetTune.quantcomp_current];
816     }
817         else {
818         scalefac_criteria = gfc->VBR->quality;
819     }
820     
821     for (sfb = 0; sfb < SBMAX_l; ++sfb) {
822         const  int start = gfc->scalefac_band.l[ sfb ];
823         const  int end   = gfc->scalefac_band.l[ sfb+1 ];
824         const  int width = end - start;
825         
826         switch( scalefac_criteria ) {
827         default:
828             /*  the fastest
829              */
830             vbrsf->l[sfb] = calc_scalefac( l3_xmin->l[sfb], width,
831                                                            gfc->presetTune.quantcomp_adjust_mtrh );
832             break;
833         case 5:
834         case 4:
835         case 3:
836             /*  the faster and sloppier mode to use at lower quality
837              */
838             vbrsf->l[sfb] = find_scalefac (&xr34[start], &xr34_orig[start], 
839                                            l3_xmin->l[sfb], width);
840             break;
841         case 2:
842             /*  the slower and better mode to use at higher quality
843              */
844             vbrsf->l[sfb] = find_scalefac_ave (&xr34[start], &xr34_orig[start],
845                                                l3_xmin->l[sfb], width);
846             break;
847         case 1:
848             /*  maxnoise mode to use at higher quality
849              */
850             vbrsf->l[sfb] = find_scalefac_mq (&xr34[start], &xr34_orig[start], 
851                                            l3_xmin->l[sfb], width, 
852                                            1, gfc->VBR->scratch);
853             break;
854         case 0:
855             /*  maxnoise mode to use at higher quality
856              */
857             vbrsf->l[sfb] = find_scalefac_mq (&xr34[start], &xr34_orig[start], 
858                                            l3_xmin->l[sfb], width, 
859                                            0, gfc->VBR->scratch);
860             break;
861         }
862     }
863
864     switch( gfc->VBR->smooth ) {
865     default:
866     case  0:
867         break;
868         
869     case  1:
870         /*  make working copy, get min value, select_kth_int will reorder!
871          */
872         for (vbrmn = +10000, sfb = 0; sfb < SBMAX_l; ++sfb) {
873             sf_cache[sfb] = vbrsf->l[sfb];
874             if (vbrmn > vbrsf->l[sfb])
875                 vbrmn = vbrsf->l[sfb];
876         }    
877         /*  find median value, take it as mean 
878          */
879         vbrmean = select_kth_int (sf_cache, SBMAX_l, (SBMAX_l+1)/2);
880
881         /*  cut peaks
882          */
883         for (sfb = 0; sfb < SBMAX_l; ++sfb) {
884             if (vbrsf->l[sfb] > vbrmean+(vbrmean-vbrmn))
885                 vbrsf->l[sfb] = vbrmean+(vbrmean-vbrmn);
886         }
887         break;
888         
889     case  2:
890         for (sfb = 0; sfb < SBMAX_l; ++sfb) {
891             if (sfb > 0) 
892                 if (vbrsf->l[sfb] > vbrsf->l[sfb-1]+MAX_SF_DELTA)
893                     vbrsf->l[sfb] = vbrsf->l[sfb-1]+MAX_SF_DELTA;
894             if (sfb < SBMAX_l-1) 
895                 if (vbrsf->l[sfb] > vbrsf->l[sfb+1]+MAX_SF_DELTA)
896                     vbrsf->l[sfb] = vbrsf->l[sfb+1]+MAX_SF_DELTA;
897         }
898         break;
899     }
900     
901     /*  get max value
902      */
903     for (*vbrmin = +10000, *vbrmax = -10000, sfb = 0; sfb < SBMAX_l; ++sfb) {
904         if (*vbrmax < vbrsf->l[sfb]) 
905             *vbrmax = vbrsf->l[sfb];
906         if (*vbrmin > vbrsf->l[sfb])
907             *vbrmin = vbrsf->l[sfb];
908     }
909 }
910
911
912
913 /******************************************************************
914  *
915  *  short block scalefacs
916  *
917  ******************************************************************/
918
919 static void 
920 short_block_scalefacs (
921     const lame_internal_flags * gfc,
922           gr_info             * cod_info,
923           III_scalefac_t      * scalefac,
924           III_scalefac_t      * vbrsf,
925           int                 * VBRmax )
926 {
927     int sfb, maxsfb, b;
928     int maxover, maxover0, maxover1, mover;
929     int v0, v1;
930     int minsfb;
931     int vbrmax = *VBRmax;
932     
933     maxover0 = 0;
934     maxover1 = 0;
935     maxsfb = gfc->sfb21_extra ? SBMAX_s : SBPSY_s;
936     for (sfb = 0; sfb < maxsfb; ++sfb) {
937         for (b = 0; b < 3; ++b) {
938             v0 = (vbrmax - vbrsf->s[sfb][b]) - (4*14 + 2*max_range_short[sfb]);
939             v1 = (vbrmax - vbrsf->s[sfb][b]) - (4*14 + 4*max_range_short[sfb]);
940             if (maxover0 < v0)
941                 maxover0 = v0;
942             if (maxover1 < v1)
943                 maxover1 = v1;
944         }
945     }
946
947     if ((gfc->noise_shaping == 2) && (gfc->presetTune.use && !(gfc->presetTune.athadjust_safe_noiseshaping || gfc->ATH->adjust < 1.0)))
948         /* allow scalefac_scale=1 */
949         mover = Min (maxover0, maxover1);
950     else
951         mover = maxover0; 
952
953     vbrmax   -= mover;
954     maxover0 -= mover;
955     maxover1 -= mover;
956
957     if (maxover0 == 0) 
958         cod_info->scalefac_scale = 0;
959     else if (maxover1 == 0)
960         cod_info->scalefac_scale = 1;
961
962     /* sf =  (cod_info->global_gain-210.0) */
963     cod_info->global_gain = vbrmax + 210;
964     assert(cod_info->global_gain < 256);
965     
966     if (cod_info->global_gain < 0) {
967         cod_info->global_gain = 0; 
968     }
969     else
970     if (cod_info->global_gain > 255) {
971         cod_info->global_gain = 255;
972     }
973     for (sfb = 0; sfb < SBMAX_s; ++sfb) {
974         for (b = 0; b < 3; ++b) {
975             vbrsf->s[sfb][b] -= vbrmax;
976         }
977     }
978     maxover = compute_scalefacs_short (vbrsf->s, cod_info, scalefac->s,
979                                            cod_info->subblock_gain);
980                                            
981     assert (maxover <= 0);
982
983     /* adjust global_gain so at least 1 subblock gain = 0 */
984     minsfb = 999; /* prepare for minimum search */
985     for (b = 0; b < 3; ++b) 
986         if (minsfb > cod_info->subblock_gain[b])
987             minsfb = cod_info->subblock_gain[b];
988     
989     if (minsfb > cod_info->global_gain/8)
990         minsfb = cod_info->global_gain/8;
991     
992     vbrmax                -= 8*minsfb; 
993     cod_info->global_gain -= 8*minsfb;
994     
995     for (b = 0; b < 3; ++b)
996         cod_info->subblock_gain[b] -= minsfb;
997         
998     *VBRmax = vbrmax;
999 }
1000
1001
1002
1003 /******************************************************************
1004  *
1005  *  long block scalefacs
1006  *
1007  ******************************************************************/
1008
1009 static void 
1010 long_block_scalefacs (
1011     const lame_internal_flags * gfc,
1012           gr_info             * cod_info,
1013           III_scalefac_t      * scalefac,
1014           III_scalefac_t      * vbrsf,
1015           int                 * VBRmax )
1016 {
1017     const int * max_rangep;
1018     int sfb, maxsfb;
1019     int maxover, maxover0, maxover1, maxover0p, maxover1p, mover;
1020     int v0, v1, v0p, v1p;
1021     int vbrmax = *VBRmax;
1022
1023     max_rangep = gfc->is_mpeg1 ? max_range_long : max_range_long_lsf_pretab;
1024     
1025     maxover0  = 0;
1026     maxover1  = 0;
1027     maxover0p = 0; /* pretab */
1028     maxover1p = 0; /* pretab */
1029        
1030     maxsfb = gfc->sfb21_extra ? SBMAX_l : SBPSY_l;
1031     for ( sfb = 0; sfb < maxsfb; ++sfb ) {
1032         v0  = (vbrmax - vbrsf->l[sfb]) - 2*max_range_long[sfb];
1033         v1  = (vbrmax - vbrsf->l[sfb]) - 4*max_range_long[sfb];
1034         v0p = (vbrmax - vbrsf->l[sfb]) - 2*(max_rangep[sfb]+pretab[sfb]);
1035         v1p = (vbrmax - vbrsf->l[sfb]) - 4*(max_rangep[sfb]+pretab[sfb]);
1036         if (maxover0 < v0)
1037             maxover0 = v0;
1038         if (maxover1 < v1)
1039             maxover1 = v1;
1040         if (maxover0p < v0p)
1041             maxover0p = v0p;
1042         if (maxover1p < v1p)
1043             maxover1p = v1p;
1044     }
1045
1046     mover = Min (maxover0, maxover0p);
1047     if ((gfc->noise_shaping == 2) && (gfc->presetTune.use && !(gfc->presetTune.athadjust_safe_noiseshaping || gfc->ATH->adjust < 1.0))) {
1048         /* allow scalefac_scale=1 */
1049         mover = Min (mover, maxover1);
1050         mover = Min (mover, maxover1p);
1051     }
1052
1053     vbrmax    -= mover;
1054     maxover0  -= mover;
1055     maxover0p -= mover;
1056     maxover1  -= mover;
1057     maxover1p -= mover;
1058
1059     if (maxover0 <= 0) {
1060         cod_info->scalefac_scale = 0;
1061         cod_info->preflag = 0;
1062         vbrmax -= maxover0;
1063     } else if (maxover0p <= 0) {
1064         cod_info->scalefac_scale = 0;
1065         cod_info->preflag = 1;
1066         vbrmax -= maxover0p;
1067     } else if (maxover1 == 0) {
1068         cod_info->scalefac_scale = 1;
1069         cod_info->preflag = 0;
1070     } else if (maxover1p == 0) {
1071         cod_info->scalefac_scale = 1;
1072         cod_info->preflag = 1;
1073     } else {
1074         assert(0); /* this should not happen */
1075     }
1076
1077     /* sf =  (cod_info->global_gain-210.0) */
1078     cod_info->global_gain = vbrmax + 210;
1079     assert (cod_info->global_gain < 256);
1080
1081     if (cod_info->global_gain < 0) {
1082         cod_info->global_gain = 0; 
1083     }
1084     else
1085     if (cod_info->global_gain > 255) 
1086         cod_info->global_gain = 255;
1087     
1088     for (sfb = 0; sfb < SBMAX_l; ++sfb)   
1089         vbrsf->l[sfb] -= vbrmax;
1090
1091     if ( gfc->is_mpeg1 == 1 ) 
1092         maxover = compute_scalefacs_long (vbrsf->l, cod_info, scalefac->l);
1093     else
1094         maxover = compute_scalefacs_long_lsf (vbrsf->l, cod_info, scalefac->l);
1095
1096     assert (maxover <= 0);
1097     
1098     *VBRmax = vbrmax;
1099 }
1100
1101
1102
1103 /***********************************************************************
1104  *
1105  *  quantize xr34 based on scalefactors
1106  *
1107  *  calc_short_block_xr34      
1108  *  calc_long_block_xr34
1109  *
1110  *  Mark Taylor 2000-??-??
1111  *  Robert Hegemann 2000-10-20 made functions of them
1112  *
1113  ***********************************************************************/
1114
1115 static void
1116 short_block_xr34 ( 
1117     const lame_internal_flags * gfc,
1118     const gr_info             * cod_info,
1119     const III_scalefac_t      * scalefac, 
1120     const FLOAT8              * xr34_orig,
1121           FLOAT8              * xr34 )
1122 {
1123     int    sfb, l, j, b;
1124     int    ifac, ifqstep, start, end;
1125     FLOAT8 fac;
1126
1127     /* even though there is no scalefactor for sfb12
1128      * subblock gain affects upper frequencies too, that's why
1129      * we have to go up to SBMAX_s
1130      */
1131     ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
1132     for ( j = 0, sfb = 0; sfb < SBMAX_s; ++sfb ) {
1133         start = gfc->scalefac_band.s[ sfb ];
1134         end   = gfc->scalefac_band.s[ sfb+1 ];
1135         for (b = 0; b < 3; ++b) {
1136             ifac = 8*cod_info->subblock_gain[b]+ifqstep*scalefac->s[sfb][b];
1137             
1138             if ( ifac == 0 ) {  /* just copy */
1139                 l = (end-start+7) / 8;
1140                 switch ((end-start) % 8) {
1141                     default:
1142                     case 0: do{ xr34[j] = xr34_orig[j]; ++j;
1143                     case 7:     xr34[j] = xr34_orig[j]; ++j;
1144                     case 6:     xr34[j] = xr34_orig[j]; ++j;
1145                     case 5:     xr34[j] = xr34_orig[j]; ++j;
1146                     case 4:     xr34[j] = xr34_orig[j]; ++j;
1147                     case 3:     xr34[j] = xr34_orig[j]; ++j;
1148                     case 2:     xr34[j] = xr34_orig[j]; ++j;
1149                     case 1:     xr34[j] = xr34_orig[j]; ++j; } while (--l);
1150                 }
1151                 continue;
1152             }
1153             if (ifac < Q_MAX-210)
1154                 fac = IIPOW20_(ifac);    
1155             else
1156                 fac = pow (2.0, 0.1875*ifac);
1157             
1158             /*
1159              *  loop unrolled into "Duff's Device".  Robert Hegemann
1160              */
1161             l = (end-start+7) / 8;
1162             switch ((end-start) % 8) {
1163                 default:
1164                 case 0: do{ xr34[j] = xr34_orig[j]*fac; ++j;
1165                 case 7:     xr34[j] = xr34_orig[j]*fac; ++j;
1166                 case 6:     xr34[j] = xr34_orig[j]*fac; ++j;
1167                 case 5:     xr34[j] = xr34_orig[j]*fac; ++j;
1168                 case 4:     xr34[j] = xr34_orig[j]*fac; ++j;
1169                 case 3:     xr34[j] = xr34_orig[j]*fac; ++j;
1170                 case 2:     xr34[j] = xr34_orig[j]*fac; ++j;
1171                 case 1:     xr34[j] = xr34_orig[j]*fac; ++j; } while (--l);
1172             }
1173         }
1174     }
1175 }
1176
1177
1178
1179 static void 
1180 long_block_xr34 ( 
1181     const lame_internal_flags * gfc,
1182     const gr_info             * cod_info,
1183     const III_scalefac_t      * scalefac, 
1184     const FLOAT8              * xr34_orig,
1185           FLOAT8              * xr34 )
1186
1187     int    sfb, l, j;
1188     int    ifac, ifqstep, start, end;
1189     FLOAT8 fac;
1190         
1191     ifqstep = ( cod_info->scalefac_scale == 0 ) ? 2 : 4;
1192     for ( sfb = 0; sfb < SBMAX_l; ++sfb ) {
1193
1194         ifac = ifqstep*scalefac->l[sfb];
1195         if (cod_info->preflag)
1196             ifac += ifqstep*pretab[sfb];
1197
1198         start = gfc->scalefac_band.l[ sfb ];
1199         end   = gfc->scalefac_band.l[ sfb+1 ];
1200         
1201         if ( ifac == 0 ) {  /* just copy */
1202             j = start;
1203             l = (end-start+7) / 8;
1204             switch ((end-start) % 8) {
1205                 default:
1206                 case 0: do{ xr34[j] = xr34_orig[j]; ++j;
1207                 case 7:     xr34[j] = xr34_orig[j]; ++j;
1208                 case 6:     xr34[j] = xr34_orig[j]; ++j;
1209                 case 5:     xr34[j] = xr34_orig[j]; ++j;
1210                 case 4:     xr34[j] = xr34_orig[j]; ++j;
1211                 case 3:     xr34[j] = xr34_orig[j]; ++j;
1212                 case 2:     xr34[j] = xr34_orig[j]; ++j;
1213                 case 1:     xr34[j] = xr34_orig[j]; ++j; } while (--l);
1214             }
1215             continue;
1216         }
1217         if (ifac < Q_MAX-210)
1218             fac = IIPOW20_(ifac);    
1219         else
1220             fac = pow (2.0, 0.1875*ifac);
1221         
1222         /*
1223          *  loop unrolled into "Duff's Device".  Robert Hegemann
1224          */
1225         j = start;
1226         l = (end-start+7) / 8;
1227         switch ((end-start) % 8) {
1228             default:
1229             case 0: do{ xr34[j] = xr34_orig[j]*fac; ++j;
1230             case 7:     xr34[j] = xr34_orig[j]*fac; ++j;
1231             case 6:     xr34[j] = xr34_orig[j]*fac; ++j;
1232             case 5:     xr34[j] = xr34_orig[j]*fac; ++j;
1233             case 4:     xr34[j] = xr34_orig[j]*fac; ++j;
1234             case 3:     xr34[j] = xr34_orig[j]*fac; ++j;
1235             case 2:     xr34[j] = xr34_orig[j]*fac; ++j;
1236             case 1:     xr34[j] = xr34_orig[j]*fac; ++j; } while (--l);
1237         }
1238     }
1239 }
1240
1241
1242
1243
1244
1245
1246
1247 /************************************************************************
1248  *
1249  *  VBR_noise_shaping2()
1250  *
1251  *  may result in a need of too many bits, then do it CBR like
1252  *
1253  *  Robert Hegemann 2000-10-25
1254  *
1255  ***********************************************************************/
1256  
1257 int
1258 VBR_noise_shaping2 (
1259     lame_global_flags * gfp,
1260     FLOAT8            * xr, 
1261     FLOAT8            * xr34orig,
1262     int               * l3_enc, 
1263     int                 minbits,
1264     int                 maxbits,
1265     III_scalefac_t    * scalefac,
1266     III_psy_xmin      * l3_xmin,
1267     int                 gr,
1268     int                 ch )
1269 {
1270     lame_internal_flags *gfc = gfp->internal_flags;
1271     III_scalefac_t vbrsf;
1272     III_scalefac_t vbrsf2;
1273     gr_info *cod_info;  
1274     FLOAT8 xr34[576];
1275     int shortblock, ret, bits, huffbits;
1276     int vbrmin, vbrmax, vbrmin2, vbrmax2;
1277     int best_huffman = gfc->use_best_huffman;
1278     int count=6;
1279     
1280     gfc->use_best_huffman = 0; /* we will do it later */
1281  
1282     cod_info   = &gfc->l3_side.gr[gr].ch[ch].tt;
1283     shortblock = (cod_info->block_type == SHORT_TYPE);
1284       
1285     if (shortblock) {
1286         short_block_sf (gfc, l3_xmin, xr34orig, xr, &vbrsf2, &vbrmin2, &vbrmax2);
1287     } else {
1288         long_block_sf (gfc, l3_xmin, xr34orig, xr, &vbrsf2, &vbrmin2, &vbrmax2);  
1289     } 
1290     vbrsf = vbrsf2;  
1291     vbrmin = vbrmin2;
1292     vbrmax = vbrmax2;
1293
1294 do {
1295 --count;    
1296
1297     if (shortblock) {
1298         short_block_scalefacs (gfc, cod_info, scalefac, &vbrsf, &vbrmax);
1299         short_block_xr34      (gfc, cod_info, scalefac, xr34orig, xr34);
1300     } else {
1301         long_block_scalefacs (gfc, cod_info, scalefac, &vbrsf, &vbrmax);
1302         long_block_xr34      (gfc, cod_info, scalefac, xr34orig, xr34);
1303     } 
1304     
1305     ret = VBR_quantize_granule (gfc, xr34, l3_enc, scalefac, gr, ch);
1306     
1307     if (vbrmin == vbrmax) break;
1308     else if (cod_info->part2_3_length < minbits) {
1309         int i;
1310         vbrmax = vbrmin2 + (vbrmax2-vbrmin2) * count/6;
1311         vbrmin = vbrmin2;
1312         if (shortblock) {
1313             for (i = 0; i < SBMAX_s; ++i) {
1314                 //vbrsf.s[i][0] = vbrmin2 + (vbrsf2.s[i][0]-vbrmin2) * count/6;
1315                 //vbrsf.s[i][1] = vbrmin2 + (vbrsf2.s[i][1]-vbrmin2) * count/6;
1316                 //vbrsf.s[i][2] = vbrmin2 + (vbrsf2.s[i][2]-vbrmin2) * count/6;
1317                 vbrsf.s[i][0] = Min(vbrsf2.s[i][0], vbrmax);
1318                 vbrsf.s[i][1] = Min(vbrsf2.s[i][1], vbrmax);
1319                 vbrsf.s[i][2] = Min(vbrsf2.s[i][2], vbrmax);
1320             }
1321         }
1322         else {
1323             for (i = 0; i < SBMAX_l; ++i) {
1324                 //vbrsf.l[i] = vbrmin2 + (vbrsf2.l[i]-vbrmin2) * count/6;
1325                 vbrsf.l[i] = Min(vbrsf2.l[i], vbrmax);
1326             }
1327         }
1328     }
1329     else if (cod_info->part2_3_length > maxbits) {
1330         int i;
1331         vbrmax = vbrmax2;
1332         vbrmin = vbrmax2 + (vbrmin2-vbrmax2) * count/6;
1333         if (shortblock) {
1334             for (i = 0; i < SBMAX_s; ++i) {
1335                 //vbrsf.s[i][0] = vbrmax2 + (vbrsf2.s[i][0]-vbrmax2) * count/6;
1336                 //vbrsf.s[i][1] = vbrmax2 + (vbrsf2.s[i][1]-vbrmax2) * count/6;
1337                 //vbrsf.s[i][2] = vbrmax2 + (vbrsf2.s[i][2]-vbrmax2) * count/6;
1338                 vbrsf.s[i][0] = Max(vbrsf2.s[i][0], vbrmin);
1339                 vbrsf.s[i][1] = Max(vbrsf2.s[i][1], vbrmin);
1340                 vbrsf.s[i][2] = Max(vbrsf2.s[i][2], vbrmin);
1341             }
1342         }
1343         else {
1344             for (i = 0; i < SBMAX_l; ++i) {
1345                 //vbrsf.l[i] = vbrmax2 + (vbrsf2.l[i]-vbrmax2) * count/6;
1346                 vbrsf.l[i] = Max(vbrsf2.l[i], vbrmin);
1347             }
1348         }
1349     }
1350     else break;
1351 } while(1 && ret != -1);
1352
1353
1354     gfc->use_best_huffman = best_huffman;
1355
1356     if (ret == -1) /* Houston, we have a problem */
1357         return -1;
1358
1359     if (cod_info->part2_3_length < minbits) {
1360         huffbits = minbits - cod_info->part2_length;
1361         bits = bin_search_StepSize (gfc, cod_info, huffbits, 
1362                                     gfc->OldValue[ch], xr34, l3_enc);
1363         gfc->OldValue[ch] = cod_info->global_gain;
1364         cod_info->part2_3_length  = bits + cod_info->part2_length;
1365     }
1366     if (cod_info->part2_3_length > maxbits) {
1367         huffbits = maxbits - cod_info->part2_length;
1368         if (huffbits < 0) huffbits = 0;
1369         bits = bin_search_StepSize (gfc, cod_info, huffbits, 
1370                                     gfc->OldValue[ch], xr34, l3_enc);
1371         gfc->OldValue[ch] = cod_info->global_gain;
1372         cod_info->part2_3_length = bits;
1373         if (bits > huffbits) {
1374             bits = inner_loop (gfc, cod_info, huffbits, xr34, l3_enc);
1375             cod_info->part2_3_length  = bits;
1376         }
1377         if (bits >= LARGE_BITS) /* Houston, we have a problem */
1378             return -2;
1379         cod_info->part2_3_length += cod_info->part2_length;
1380     }
1381
1382     if (cod_info->part2_length >= LARGE_BITS) /* Houston, we have a problem */
1383         return -2;
1384         
1385     assert (cod_info->global_gain < 256);
1386     
1387     return 0;
1388 }
1389
1390
1391
1392
1393
1394
1395 /************************************************************************
1396  *
1397  * VBR_noise_shaping()
1398  *
1399  * compute scalefactors, l3_enc, and return number of bits needed to encode
1400  *
1401  * return code:    0   scalefactors were found with all noise < masking
1402  *
1403  *               n>0   scalefactors required too many bits.  global gain
1404  *                     was decreased by n
1405  *                     If n is large, we should probably recompute scalefacs
1406  *                     with a lower quality.
1407  *
1408  *               n<0   scalefactors used less than minbits.
1409  *                     global gain was increased by n.  
1410  *                     If n is large, might want to recompute scalefacs
1411  *                     with a higher quality setting?
1412  *
1413  ************************************************************************/
1414 static int
1415 VBR_noise_shaping (
1416     lame_global_flags *gfp,
1417     FLOAT8             xr       [576], 
1418     FLOAT8             xr34orig [576],
1419     int                l3_enc   [576], 
1420     int                digital_silence, 
1421     int                minbits,
1422     int                maxbits,
1423     III_scalefac_t    *scalefac,
1424     III_psy_xmin      *l3_xmin,
1425     int                gr,
1426     int                ch )
1427 {
1428     lame_internal_flags *gfc=gfp->internal_flags;
1429     III_scalefac_t save_sf;
1430     III_scalefac_t vbrsf;
1431     gr_info *cod_info;  
1432     FLOAT8 xr34[576];
1433     int shortblock;
1434     int vbrmax, vbrmin;
1435     int global_gain_adjust = 0;
1436
1437     cod_info   = &gfc->l3_side.gr[gr].ch[ch].tt;
1438     shortblock = (cod_info->block_type == SHORT_TYPE);
1439   
1440     if (shortblock)
1441         short_block_sf (gfc, l3_xmin, xr34orig, xr, &vbrsf, &vbrmin, &vbrmax);  
1442     else
1443         long_block_sf (gfc, l3_xmin, xr34orig, xr, &vbrsf, &vbrmin, &vbrmax);  
1444
1445     /* save a copy of vbrsf, incase we have to recomptue scalefacs */
1446     memcpy (&save_sf, &vbrsf, sizeof(III_scalefac_t));
1447
1448     do { 
1449         memset (scalefac, 0, sizeof(III_scalefac_t));
1450         
1451         if (shortblock) {
1452             short_block_scalefacs (gfc, cod_info, scalefac, &vbrsf, &vbrmax);
1453             short_block_xr34      (gfc, cod_info, scalefac, xr34orig, xr34);
1454         } else {
1455             long_block_scalefacs (gfc, cod_info, scalefac, &vbrsf, &vbrmax);
1456             long_block_xr34      (gfc, cod_info, scalefac, xr34orig, xr34);
1457         } 
1458         VBR_quantize_granule (gfc, xr34, l3_enc, scalefac, gr, ch);
1459
1460         
1461         /* decrease noise until we use at least minbits
1462          */
1463         if (cod_info->part2_3_length < minbits) {
1464             if (digital_silence) break;  
1465             //if (cod_info->part2_3_length == cod_info->part2_length) break;
1466             if (vbrmax+210 == 0) break;
1467             
1468             /* decrease global gain, recompute scale factors */
1469             --vbrmax;
1470             --global_gain_adjust;
1471             memcpy (&vbrsf, &save_sf, sizeof(III_scalefac_t));
1472         }
1473
1474     } while (cod_info->part2_3_length < minbits);
1475
1476     /* inject noise until we meet our bit limit
1477      */
1478     while (cod_info->part2_3_length > Min (maxbits, MAX_BITS)) {
1479         /* increase global gain, keep existing scale factors */
1480         ++cod_info->global_gain;
1481         if (cod_info->global_gain > 255) 
1482             ERRORF (gfc,"%ld impossible to encode ??? frame! bits=%d\n",
1483                     //  gfp->frameNum, cod_info->part2_3_length);
1484                              -1,       cod_info->part2_3_length);
1485         VBR_quantize_granule (gfc, xr34, l3_enc, scalefac, gr, ch);
1486
1487         ++global_gain_adjust;
1488     }
1489
1490     return global_gain_adjust;
1491 }
1492
1493
1494
1495 void
1496 VBR_quantize(lame_global_flags *gfp,
1497                 FLOAT8 pe[2][2], FLOAT8 ms_ener_ratio[2],
1498                 FLOAT8 xr[2][2][576], III_psy_ratio ratio[2][2],
1499                 int l3_enc[2][2][576],
1500                 III_scalefac_t scalefac[2][2])
1501 {
1502   lame_internal_flags *gfc=gfp->internal_flags;
1503   III_psy_xmin l3_xmin[2][2];
1504   int minbits,maxbits,max_frame_bits,totbits,gr,ch,i,bits_ok;
1505   int bitsPerFrame,mean_bits;
1506   int analog_silence;
1507   FLOAT8 qadjust;
1508   III_side_info_t * l3_side;
1509   gr_info *cod_info;  
1510   int digital_silence[2][2];
1511   FLOAT8 masking_lower_db=0;
1512   FLOAT8 xr34[2][2][576];
1513   
1514   qadjust=0;   /* start with -1 db quality improvement over quantize.c VBR */
1515
1516   l3_side = &gfc->l3_side;
1517
1518   /* now find out: if the frame can be considered analog silent
1519    *               if each granule can be considered digital silent
1520    * and calculate l3_xmin and the fresh xr34 array
1521    */
1522
1523   assert( gfp->VBR_q <= 9 );
1524   assert( gfp->VBR_q >= 0 );
1525   analog_silence=1;
1526   for (gr = 0; gr < gfc->mode_gr; ++gr) {
1527     /* copy data to be quantized into xr */
1528     if (gfc->mode_ext==MPG_MD_MS_LR) {
1529       ms_convert(xr[gr],xr[gr]);
1530     }
1531     for (ch = 0; ch < gfc->channels_out; ++ch) {
1532       /* if in the following sections the quality would not be adjusted
1533        * then we would only have to call calc_xmin once here and
1534        * could drop subsequently calls (rh 2000/07/17)
1535        */
1536       int over_ath;
1537       cod_info = &l3_side->gr[gr].ch[ch].tt;
1538       cod_info->part2_3_length=LARGE_BITS;
1539       
1540       if (cod_info->block_type == SHORT_TYPE) {
1541           cod_info->sfb_lmax = 0; /* No sb*/
1542           cod_info->sfb_smin = 0;
1543       } else {
1544           /* MPEG 1 doesnt use last scalefactor band */
1545           cod_info->sfb_lmax = SBPSY_l;
1546           cod_info->sfb_smin = SBPSY_s;    /* No sb */
1547           if (cod_info->mixed_block_flag) {
1548             cod_info->sfb_lmax        = gfc->is_mpeg1 ? 8 : 6;
1549             cod_info->sfb_smin        = 3;
1550           }
1551       }
1552       
1553       /* quality setting */
1554       masking_lower_db = gfc->VBR->mask_adjust;
1555       if (pe[gr][ch]>750) {
1556         masking_lower_db -= Min(10,4*(pe[gr][ch]-750.)/750.);
1557       }
1558       gfc->masking_lower = pow(10.0,masking_lower_db/10);
1559       
1560       /* masking thresholds */
1561       over_ath = calc_xmin(gfp,xr[gr][ch],&ratio[gr][ch],cod_info,&l3_xmin[gr][ch]);
1562       
1563       /* if there are bands with more energy than the ATH 
1564        * then we say the frame is not analog silent */
1565       if (over_ath) {
1566         analog_silence = 0;
1567       }
1568       
1569       /* if there is no line with more energy than 1e-20
1570        * then this granule is considered to be digital silent
1571        * plus calculation of xr34 */
1572       digital_silence[gr][ch] = 1;
1573       for(i=0;i<576;++i) {
1574         FLOAT8 temp=fabs(xr[gr][ch][i]);
1575         xr34[gr][ch][i]=sqrt(sqrt(temp)*temp);
1576         digital_silence[gr][ch] &= temp < 1E-20;
1577       }
1578     } /* ch */
1579   }  /* gr */
1580
1581   
1582   /* compute minimum allowed bits from minimum allowed bitrate */
1583   if (analog_silence) {
1584     gfc->bitrate_index=1;
1585   } else {
1586     gfc->bitrate_index=gfc->VBR_min_bitrate;
1587   }
1588   getframebits(gfp, &bitsPerFrame, &mean_bits);
1589   minbits = (mean_bits/gfc->channels_out);
1590
1591   /* compute maximum allowed bits from max allowed bitrate */
1592   gfc->bitrate_index=gfc->VBR_max_bitrate;
1593   getframebits(gfp, &bitsPerFrame, &mean_bits);
1594   max_frame_bits = ResvFrameBegin(gfp, l3_side, mean_bits, bitsPerFrame);
1595   maxbits=2.5*(mean_bits/gfc->channels_out);
1596
1597   {
1598   /* compute a target  mean_bits based on compression ratio 
1599    * which was set based on VBR_q  
1600    */
1601   int bit_rate = gfp->out_samplerate*16*gfc->channels_out/(1000.0*gfp->compression_ratio);
1602   bitsPerFrame = (bit_rate*gfp->framesize*1000)/gfp->out_samplerate;
1603   mean_bits = (bitsPerFrame - 8*gfc->sideinfo_len) / gfc->mode_gr;
1604   }
1605
1606
1607   minbits = Max(minbits,125);
1608   minbits=Max(minbits,.40*(mean_bits/gfc->channels_out));
1609   maxbits=Min(maxbits,2.5*(mean_bits/gfc->channels_out));
1610
1611
1612
1613
1614
1615
1616
1617   /* 
1618    * loop over all ch,gr, encoding anything with bits > .5*(max_frame_bits/4)
1619    *
1620    * If a particular granule uses way too many bits, it will be re-encoded
1621    * on the next iteration of the loop (with a lower quality setting).  
1622    * But granules which dont use
1623    * use too many bits will not be re-encoded.
1624    *
1625    * minbits:  minimum allowed bits for 1 granule 1 channel
1626    * maxbits:  maximum allowwed bits for 1 granule 1 channel
1627    * max_frame_bits:  maximum allowed bits for entire frame
1628    * (max_frame_bits/4)   estimate of average bits per granule per channel
1629    * 
1630    */
1631
1632   do {
1633   
1634     totbits=0;
1635     for (gr = 0; gr < gfc->mode_gr; ++gr) {
1636       int minbits_lr[2];
1637       minbits_lr[0]=minbits;
1638       minbits_lr[1]=minbits;
1639
1640 #if 0
1641       if (gfc->mode_ext==MPG_MD_MS_LR) {
1642         FLOAT8 fac;
1643         fac = .33*(.5-ms_ener_ratio[gr])/.5;
1644         if (fac<0) fac=0;
1645         if (fac>.5) fac=.5;
1646         minbits_lr[0] = (1+fac)*minbits;
1647         minbits_lr[1] = Max(125,(1-fac)*minbits);
1648       }
1649 #endif
1650
1651
1652       for (ch = 0; ch < gfc->channels_out; ++ch) { 
1653         int adjusted,shortblock;
1654         cod_info = &l3_side->gr[gr].ch[ch].tt;
1655         
1656         /* ENCODE this data first pass, and on future passes unless it uses
1657          * a very small percentage of the max_frame_bits  */
1658         if (cod_info->part2_3_length > (max_frame_bits/(2*gfc->channels_out*gfc->mode_gr))) {
1659   
1660           shortblock = (cod_info->block_type == SHORT_TYPE);
1661   
1662           /* Adjust allowed masking based on quality setting */
1663           if (qadjust!=0 /*|| shortblock*/) {
1664             masking_lower_db = gfc->VBR->mask_adjust + qadjust;
1665
1666             /*
1667             if (shortblock) masking_lower_db -= 4;
1668             */
1669      
1670             if (pe[gr][ch]>750)
1671               masking_lower_db -= Min(10,4*(pe[gr][ch]-750.)/750.);
1672             gfc->masking_lower = pow(10.0,masking_lower_db/10);
1673             calc_xmin( gfp, xr[gr][ch], ratio[gr]+ch, cod_info, l3_xmin[gr]+ch);
1674           }
1675           
1676           /* digital silent granules do not need the full round trip,
1677            * but this can be optimized later on
1678            */
1679           adjusted = VBR_noise_shaping (gfp,xr[gr][ch],xr34[gr][ch],
1680                                         l3_enc[gr][ch],
1681                                         digital_silence[gr][ch],
1682                                         minbits_lr[ch],
1683                                         maxbits,scalefac[gr]+ch,
1684                                         l3_xmin[gr]+ch,gr,ch);
1685           if (adjusted>10) {
1686             /* global_gain was changed by a large amount to get bits < maxbits */
1687             /* quality is set to high.  we could set bits = LARGE_BITS
1688              * to force re-encoding.  But most likely the other channels/granules
1689              * will also use too many bits, and the entire frame will
1690              * be > max_frame_bits, forcing re-encoding below.
1691              */
1692             // cod_info->part2_3_bits = LARGE_BITS;
1693           }
1694         }
1695         totbits += cod_info->part2_3_length;
1696       }
1697     }
1698     bits_ok=1;
1699     if (totbits>max_frame_bits) {
1700       /* lower quality */
1701       qadjust += Max(.125,Min(1,(totbits-max_frame_bits)/300.0));
1702       /* adjusting minbits and maxbits is necessary too
1703        * cos lowering quality is not enough in rare cases
1704        * when each granule still needs almost maxbits, it wont fit */ 
1705       minbits = Max(125,minbits*0.975);
1706       maxbits = Max(minbits,maxbits*0.975);
1707       //      DEBUGF("%i totbits>max_frame_bits   totbits=%i  maxbits=%i \n",gfp->frameNum,totbits,max_frame_bits);
1708       //      DEBUGF("next masking_lower_db = %f \n",masking_lower_db + qadjust);
1709       bits_ok=0;
1710     }
1711     
1712   } while (!bits_ok);
1713   
1714
1715
1716   /* find optimal scalefac storage.  Cant be done above because
1717    * might enable scfsi which breaks the interation loops */
1718   totbits=0;
1719   for (gr = 0; gr < gfc->mode_gr; ++gr) {
1720     for (ch = 0; ch < gfc->channels_out; ++ch) {
1721       best_scalefac_store(gfc, gr, ch, l3_enc, l3_side, scalefac);
1722       totbits += l3_side->gr[gr].ch[ch].tt.part2_3_length;
1723     }
1724   }
1725
1726
1727   
1728
1729   if (analog_silence && !gfp->VBR_hard_min) {
1730     gfc->bitrate_index = 1;
1731   } else {
1732     gfc->bitrate_index = gfc->VBR_min_bitrate;
1733   }
1734   for( ; gfc->bitrate_index < gfc->VBR_max_bitrate; ++gfc->bitrate_index ) {
1735
1736     getframebits (gfp, &bitsPerFrame, &mean_bits);
1737     maxbits = ResvFrameBegin(gfp, l3_side, mean_bits, bitsPerFrame);
1738     if (totbits <= maxbits) break;
1739   }
1740   if (gfc->bitrate_index == gfc->VBR_max_bitrate) {
1741     getframebits (gfp, &bitsPerFrame, &mean_bits);
1742     maxbits = ResvFrameBegin(gfp, l3_side, mean_bits, bitsPerFrame);
1743   }
1744
1745   //  DEBUGF("%i total_bits=%i max_frame_bits=%i index=%i  \n",gfp->frameNum,totbits,max_frame_bits,gfc->bitrate_index);
1746
1747   for (gr = 0; gr < gfc->mode_gr; ++gr) {
1748     for (ch = 0; ch < gfc->channels_out; ++ch) {
1749       cod_info = &l3_side->gr[gr].ch[ch].tt;
1750
1751
1752       ResvAdjust (gfc, cod_info, l3_side, mean_bits);
1753       
1754       /*******************************************************************
1755        * set the sign of l3_enc from the sign of xr
1756        *******************************************************************/
1757       for ( i = 0; i < 576; ++i) {
1758         if (xr[gr][ch][i] < 0) l3_enc[gr][ch][i] *= -1;
1759       }
1760     }
1761   }
1762   ResvFrameEnd (gfc, l3_side, mean_bits);
1763
1764
1765
1766 }
1767
1768
1769
1770