Autor YouCode - http://www.youcode.com.ar/visual-basic-net/encode-and-decode-error-invalid-character-in-a-base64-string-458
Esto suele pasar porque hay caracteres nulos.
Para evitar caracteres nulos cuando Desencriptamos debemos quitar los NULLret.Replace(vbNullChar, "")donde ret representa la variable que tiene la codificacion , le decimos con Replace que quite los valores NULL
http://www.youcode.com.ar/visual-basic-net/encode-and-decode-error-invalid-character-in-a-base64-string-458