added fix for 64 byte bug also for swf_SetLossLessBitsIndexed.
[swftools.git] / lib / modules / swfbits.c
index 4349b96..0454f10 100644 (file)
@@ -13,7 +13,7 @@
 
 #define OUTBUFFER_SIZE 0x8000
 
-#ifdef _JPEGLIB_INCLUDED_
+#ifdef HAVE_JPEGLIB
 
 typedef struct _JPEGDESTMGR
 { struct jpeg_destination_mgr mgr;
@@ -110,6 +110,24 @@ int swf_SetJPEGBitsFinish(JPEGBITS * jpegbits)
   return 0;
 }
 
+void swf_SetJPEGBits2(TAG * tag,U16 width,U16 height,RGBA* bitmap, int quality)
+{
+  JPEGBITS* jpeg;
+  int y;
+  jpeg = swf_SetJPEGBitsStart(tag,width,height,quality);
+  for (y=0;y<height;y++)
+  { U8 scanline[3*width];
+    int x,p = 0;
+    for (x=0;x<width;x++) 
+    { scanline[p++] = bitmap[width*y+x].r;
+      scanline[p++] = bitmap[width*y+x].g;
+      scanline[p++] = bitmap[width*y+x].b;
+    }
+    swf_SetJPEGBitsLine(jpeg,scanline);
+  }
+  swf_SetJPEGBitsFinish(jpeg);
+}
+
 int swf_SetJPEGBits(TAG * t,char * fname,int quality)
 { struct jpeg_decompress_struct cinfo;
   struct jpeg_error_mgr jerr;
@@ -120,8 +138,10 @@ int swf_SetJPEGBits(TAG * t,char * fname,int quality)
   cinfo.err = jpeg_std_error(&jerr);
   jpeg_create_decompress(&cinfo); 
 
-  if ((f=fopen(fname,"rb"))==NULL) return -1;
-  
+  if ((f=fopen(fname,"rb"))==NULL) {
+      fprintf(stderr, "rfxswf: file open error\n");
+      return -1;
+  }
 
   jpeg_stdio_src(&cinfo,f);
   jpeg_read_header(&cinfo, TRUE);
@@ -130,12 +150,64 @@ int swf_SetJPEGBits(TAG * t,char * fname,int quality)
   out = swf_SetJPEGBitsStart(t,cinfo.output_width,cinfo.output_height,quality);
   scanline = (U8*)malloc(4*cinfo.output_width);
   
-  if (scanline)
+  if (scanline) 
   { int y;
     U8 * js = scanline;
-    for (y=0;y<cinfo.output_height;y++)
-    { jpeg_read_scanlines(&cinfo,&js,1);
-      swf_SetJPEGBitsLines(out,(U8**)&js,1);
+    if(cinfo.out_color_space == JCS_GRAYSCALE) {
+       for (y=0;y<cinfo.output_height;y++)
+       { int x;
+         jpeg_read_scanlines(&cinfo,&js,1);
+         for(x=cinfo.output_width-1;x>=0;x--) {
+             js[x*3] = js[x*3+1] = js[x*3+2] = js[x];
+         }
+         swf_SetJPEGBitsLines(out,(U8**)&js,1);
+       }
+    }
+    else if(cinfo.out_color_space == JCS_RGB) 
+    {
+       for (y=0;y<cinfo.output_height;y++)
+       { jpeg_read_scanlines(&cinfo,&js,1);
+         swf_SetJPEGBitsLines(out,(U8**)&js,1);
+       }
+    }
+    else if(cinfo.out_color_space == JCS_YCCK) 
+    {
+       //FIXME
+       fprintf(stderr, "Error: Can't convert YCCK to RGB.\n");
+       return -1;
+    }
+    else if(cinfo.out_color_space == JCS_YCbCr) 
+    {
+       for (y=0;y<cinfo.output_height;y++) {
+         int x;
+         for(x=0;x<cinfo.output_width;x++) {
+             int y = js[x*3+0];
+             int u = js[x*3+1];
+             int v = js[x*3+1];
+             js[x*3+0] = y + ((360*(v-128))>>8);
+             js[x*3+1] = y - ((88*(u-128)+183*(v-128))>>8);
+             js[x*3+2] = y + ((455 * (u-128))>>8);
+         }
+       }
+    }
+    else if(cinfo.out_color_space == JCS_CMYK) 
+    { 
+       for (y=0;y<cinfo.output_height;y++)
+       { int x;
+         jpeg_read_scanlines(&cinfo,&js,1);
+         /* This routine seems to work for now-
+            It's a mixture of 3 different
+            CMYK->RGB conversion routines I found in the
+            web. (which all produced garbage)
+            I'm happily accepting suggestions. (mk)*/
+         for(x=0;x<cinfo.output_width;x++) {
+               int white = 255 - js[x*4+3];
+               js[x*3+0] = white - ((js[x*4]*white)>>8);
+               js[x*3+1] = white - ((js[x*4+1]*white)>>8);
+               js[x*3+2] = white - ((js[x*4+2]*white)>>8);
+         }
+         swf_SetJPEGBitsLines(out,(U8**)&js,1);
+       }
     }
   }
 
@@ -146,42 +218,73 @@ int swf_SetJPEGBits(TAG * t,char * fname,int quality)
   return 0;
 }
 
-#endif // _JPEGLIB_INCLUDED_
+#endif // HAVE_JPEGLIB
 
 // Lossless compression texture based on zlib
 
-#ifdef _ZLIB_INCLUDED_
+#ifdef HAVE_ZLIB
 
-int RFXSWF_deflate_wraper(TAG * t,z_stream * zs,U8 * data,boolean finish)
-{ while (1)
-  { int status = deflate(zs,Z_SYNC_FLUSH);
+int RFXSWF_deflate_wraper(TAG * t,z_stream * zs,boolean finish)
+{ 
+  U8*data=malloc(OUTBUFFER_SIZE);
+  zs->next_out = data;
+  zs->avail_out = OUTBUFFER_SIZE;
+  while (1)
+  { int status = deflate(zs,Z_NO_FLUSH);
 
-    if (zs->avail_out == 0)
-    { swf_SetBlock(t,data,zs->next_out-data);
+    if (status!=Z_OK)
+    {
+#ifdef DEBUG_RFXSWF
+      fprintf(stderr,"rfxswf: zlib compression error (%i)\n",status);
+#endif
+      free(data);
+      return status;
+    }
+
+    if (zs->next_out!=data)
+    { swf_SetBlock(t,data,zs->next_out - data);
       zs->next_out = data;
       zs->avail_out = OUTBUFFER_SIZE;
     }
     
     if (zs->avail_in==0)
-    { if (finish) deflate(zs,Z_FINISH);
       break;
-    }
+  }
 
-    if (status!=Z_OK)
+  if(!finish) {
+      free(data);
+      return 0;
+  }
+
+  while(1) {
+    int status = deflate(zs,Z_FINISH);
+    if (status!=Z_OK && status!=Z_STREAM_END)
     {
 #ifdef DEBUG_RFXSWF
       fprintf(stderr,"rfxswf: zlib compression error (%i)\n",status);
 #endif
+      free(data);
       return status;
     }
+
+    if (zs->next_out!=data)
+    { 
+      swf_SetBlock(t,data,zs->next_out - data);
+      zs->next_out = data;
+      zs->avail_out = OUTBUFFER_SIZE;
+    }
+
+    if(status == Z_STREAM_END)
+       break;
   }
+  free(data);
   return 0;
 }
 
+
 int swf_SetLosslessBits(TAG * t,U16 width,U16 height,void * bitmap,U8 bitmap_flags)
 { int res = 0;
   int bps;
-  U8 * data;
   
   switch (bitmap_flags)
   { case BMF_8BIT:
@@ -193,14 +296,14 @@ int swf_SetLosslessBits(TAG * t,U16 width,U16 height,void * bitmap,U8 bitmap_fla
       bps = width*4;
       break;
     default:
+      fprintf(stderr, "rfxswf: unknown bitmap type %d\n", bitmap_flags);
       return -1;
   }
-  
+
   swf_SetU8(t,bitmap_flags);
   swf_SetU16(t,width);
   swf_SetU16(t,height);
 
-  if (data=malloc(OUTBUFFER_SIZE))
   { z_stream zs;
       
     memset(&zs,0x00,sizeof(z_stream));
@@ -210,18 +313,23 @@ int swf_SetLosslessBits(TAG * t,U16 width,U16 height,void * bitmap,U8 bitmap_fla
     if (deflateInit(&zs,Z_DEFAULT_COMPRESSION)==Z_OK)
     { zs.avail_in         = bps*height;
       zs.next_in          = bitmap;
-      zs.next_out         = data;
-      zs.avail_out        = OUTBUFFER_SIZE;
-
-      if (RFXSWF_deflate_wraper(t,&zs,data,TRUE)<0) res = -3;
-      if (zs.next_out>data) swf_SetBlock(t,data,zs.next_out-data);
 
+      if (RFXSWF_deflate_wraper(t,&zs,TRUE)<0) res = -3;
       deflateEnd(&zs);
       
-      
     } else res = -3; // zlib error
-    free(data);
-  } else res = -2; // memory error
+  }
+
+  while(t->len < 64) { /* actually, 63 and above is o.k., but let's stay on the safe side */
+
+      /* Flash players up to MX crash or do strange things if they encounter a 
+        DefineLossless Tag with a payload of less than 63 bytes. They also
+        substitute the whole bitmap by a red rectangle.
+
+        This loop fills up the tag with zeroes so that this doesn't happen.
+      */
+      swf_SetU8(t, 0);
+  }
   
   return res;
 }
@@ -229,7 +337,6 @@ int swf_SetLosslessBits(TAG * t,U16 width,U16 height,void * bitmap,U8 bitmap_fla
 int swf_SetLosslessBitsIndexed(TAG * t,U16 width,U16 height,U8 * bitmap,RGBA * palette,U16 ncolors)
 { RGBA * pal = palette;
   int bps = BYTES_PER_SCANLINE(width);
-  U8 * data;
   int res = 0;
     
   if (!pal)     // create default palette for grayscale images
@@ -239,14 +346,16 @@ int swf_SetLosslessBitsIndexed(TAG * t,U16 width,U16 height,U8 * bitmap,RGBA * p
     ncolors = 256;
   }
   
-  if ((ncolors<2)||(ncolors>256)||(!t)) return -1; // parameter error
+  if ((ncolors<2)||(ncolors>256)||(!t)) {
+      fprintf(stderr, "rfxswf: unsupported number of colors: %d\n", ncolors);
+      return -1; // parameter error
+  }
 
   swf_SetU8(t,BMF_8BIT);
   swf_SetU16(t,width);
   swf_SetU16(t,height);
   swf_SetU8(t,ncolors-1); // number of pal entries
 
-  if (data=malloc(OUTBUFFER_SIZE))
   { z_stream zs;
 
     memset(&zs,0x00,sizeof(z_stream));
@@ -255,7 +364,7 @@ int swf_SetLosslessBitsIndexed(TAG * t,U16 width,U16 height,U8 * bitmap,RGBA * p
 
     if (deflateInit(&zs,Z_DEFAULT_COMPRESSION)==Z_OK)
     { U8 * zpal;                    // compress palette
-      if (zpal = malloc(ncolors*4))
+      if ((zpal = malloc(ncolors*4)))
       { U8 * pp = zpal;
         int i;
 
@@ -291,29 +400,35 @@ int swf_SetLosslessBitsIndexed(TAG * t,U16 width,U16 height,U8 * bitmap,RGBA * p
         }
 
         zs.next_in          = zpal;
-        zs.next_out         = data;
-        zs.avail_out        = OUTBUFFER_SIZE;
 
-        if (RFXSWF_deflate_wraper(t,&zs,data,FALSE)<0) res = -3;
+        if (RFXSWF_deflate_wraper(t,&zs,FALSE)<0) res = -3;
 
                                     // compress bitmap
         zs.next_in = bitmap;
         zs.avail_in = (bps*height*sizeof(U8));
 
-        if (RFXSWF_deflate_wraper(t,&zs,data,TRUE)<0) res = -3;
+        if (RFXSWF_deflate_wraper(t,&zs,TRUE)<0) res = -3;
 
         deflateEnd(&zs);
 
-        if (zs.next_out>data) swf_SetBlock(t,data,zs.next_out-data);
-
         free(zpal);
       } else res = -2; // memory error
     } else res = -3; // zlib error
-    free(data);
-  } else res = -2;
+  }
   
   if (!palette) free(pal);
 
+  while(t->len < 64) { /* actually, 63 and above is o.k., but let's stay on the safe side */
+
+      /* Flash players up to MX crash or do strange things if they encounter a 
+        DefineLossless(2) Tag with a payload of less than 63 bytes. They also
+        substitute the whole bitmap by a red rectangle.
+
+        This loop fills up the tag with zeroes so that this doesn't happen.
+      */
+      swf_SetU8(t, 0);
+  }
+  
   return res;
 }
 
@@ -322,8 +437,92 @@ int swf_SetLosslessBitsGrayscale(TAG * t,U16 width,U16 height,U8 * bitmap)
 }
 
 
-#endif // _ZLIB_INCLUDED_
+#endif // HAVE_ZLIB
 
-#undef OUTBUFFER_SIZE
+#if defined(HAVE_ZLIB) && defined(HAVE_JPEGLIB)
+int swf_SetJPEGBits3(TAG * tag,U16 width,U16 height,RGBA* bitmap, int quality)
+{
+  JPEGBITS* jpeg;
+  int y;
+  int pos;
+  int res = 0;
+  U8 * data;
+  z_stream zs;
+  
+  pos = tag->len;
+  swf_SetU32(tag, 0); //placeholder
+  jpeg = swf_SetJPEGBitsStart(tag,width,height,quality);
+  for (y=0;y<height;y++)
+  { U8 scanline[3*width];
+    int x,p = 0;
+    for (x=0;x<width;x++) 
+    { scanline[p++] = bitmap[width*y+x].r;
+      scanline[p++] = bitmap[width*y+x].g;
+      scanline[p++] = bitmap[width*y+x].b;
+    }
+    swf_SetJPEGBitsLine(jpeg,scanline);
+  }
+  swf_SetJPEGBitsFinish(jpeg);
+  PUT32(&tag->data[pos], tag->len - pos - 4);
+
+  data=malloc(OUTBUFFER_SIZE);
+  memset(&zs,0x00,sizeof(z_stream));
+
+  if (deflateInit(&zs,Z_DEFAULT_COMPRESSION)!=Z_OK) {
+      fprintf(stderr, "rfxswf: zlib compression failed");
+      return -3;
+  }
+    
+  zs.next_out         = data;
+  zs.avail_out        = OUTBUFFER_SIZE;
+
+  for (y=0;y<height;y++)
+  { U8 scanline[width];
+    int x,p = 0;
+    for (x=0;x<width;x++) {
+      scanline[p++] = bitmap[width*y+x].a;
+    }
+    zs.avail_in         = width;
+    zs.next_in          = scanline;
+
+    while(1) {
+       if(deflate(&zs, Z_NO_FLUSH) != Z_OK) {
+           fprintf(stderr, "rfxswf: zlib compression failed");
+           return -4;
+       }
+       if(zs.next_out != data) {
+           swf_SetBlock(tag, data, zs.next_out - data);
+           zs.next_out = data;
+           zs.avail_out = OUTBUFFER_SIZE;
+       }
+       if(!zs.avail_in) {
+           break;
+       }
+    }
+  }
 
+  while(1) {
+      int ret = deflate(&zs, Z_FINISH);
+      if (ret != Z_OK &&
+         ret != Z_STREAM_END)  {
+         fprintf(stderr, "rfxswf: zlib compression failed");
+         return -5;
+      }
+      if(zs.next_out != data) {
+         swf_SetBlock(tag, data, zs.next_out - data);
+         zs.next_out = data;
+         zs.avail_out = OUTBUFFER_SIZE;
+      }
+      if (ret == Z_STREAM_END) {
+         break;
+      }
+  }
+
+  deflateEnd(&zs);
+  free(data);
+  return 0;
+}
+#endif
+
+#undef OUTBUFFER_SIZE