2009年7月12日星期日

printf输出特效

printf("\033[1;33m Hello World. \033[0m \n");

颜色如下:
none = "\033[0m"
black = "\033[0;30m"
dark_gray = "\033[1;30m"
blue = "\033[0;34m"
light_blue = "\033[1;34m"
green = "\033[0;32m"
light_green -= "\033[1;32m"
cyan = "\033[0;36m"
light_cyan = "\033[1;36m"
red = "\033[0;31m"
light_red = "\033[1;31m"
purple = "\033[0;35m"
light_purple = "\033[1;35m"
brown = "\033[0;33m"
yellow = "\033[1;33m"
light_gray = "\033[0;37m"
white = "\033[1;37m"

字背景颜色范围: 40--49 字颜色: 30--39
40: 黑 30: 黑
41: 红 31: 红
42: 绿 32: 绿
43: 黄 33: 黄
44: 蓝 34: 蓝
45: 紫 35: 紫
46: 深绿 36: 深绿
47: 白色 37: 白色
ANSI控制码: QUOTE:
\033[0m 关闭所有属性
\033[1m 设置高亮度
\03[4m 下划线
\033[5m 闪烁
\033[7m 反显
\033[8m 消隐
\033[30m -- \033[37m 设置前景色
\033[40m -- \033[47m 设置背景色
\033[nA 光标上移n行
\03[nB 光标下移n行
\033[nC 光标右移n行
\033[nD 光标左移n行
\033[y;xH设置光标位置
\033[2J 清屏
\033[K 清除从光标到行尾的内容
\033[s 保存光标位置
\033[u 恢复光标位置
\033[?25l 隐藏光标
\33[?25h 显示光标

2009年7月11日星期六

重入性和不可重入性

使用可重入函数进行更安全的信号处理
何时如何利用可重入性避免代码出现 bug

果要对函数进行并发访问,不管是通过线程还是通过进程,您都可能会遇到函数不可重入所导致的问题。在本文中,通过示例代码了解如果可重入性不能得到保证会产生何种异常,尤其要注意信号。引入了五条可取的编程经验,并对提出的编译器模型进行了讨论,在这个模型中,可重入性由编译器前端处理。
在早期的编程中,不可重入性对程序员并不构成威胁;函数不会有并发访问,也没有中断。在很多较老的
C 语言实现中,函数被认为是在单线程进程的环境中运行。
不过,现在,并发编程已普遍使用,您需要意识到这个缺陷。本文描述了在并行和并发程序设计中函数的不可重入性导致的一些潜在问题。信号的生成和处理尤其增加了额外的复杂性。由于信号在本质上是异步的,所以难以找出当信号处理函数触发某个不可重入函数时导致的
bug。
本文:
定义了可重入性,并包含一个可重入函数的 POSIX 清单。
给出了示例,以说明不可重入性所导致的问题。
指出了确保底层函数的可重入性的方法。
讨论了在编译器层次上对可重入性的处理。
什么是可重入性?

重入(reentrant)函数可以由多于一个任务并发使用,而不必担心数据错误。相反,不可重入(non-reentrant)函数不能由超过一个任务所共享,除非能确保函数的互斥(或者使用信号量,或者在代码的关键部分禁用中断)。可重入
函数可以在任意时刻被中断,稍后再继续运行,不会丢失数据。可重入函数要么使用本地变量,要么在使用全局变量时保护自己的数据。
可重入函数:
不为连续的调用持有静态数据。
不返回指向静态数据的指针;所有数据都由函数的调用者提供。
使用本地数据,或者通过制作全局数据的本地拷贝来保护全局数据。
绝不调用任何不可重入函数。
不要混淆可重入与线程安全。在程序员看来,这是两个独立的概念:函数可以是可重入的,是线程安全的,或者二者皆是,或者二者皆非。不可重入的函数不能由多个线程使用。另外,或许不可能让某个不可重入的函数是线程安全的。
IEEE Std 1003.1 列出了 118 个可重入的 UNIX®
函数,在此没有给出副本。参见 参考资料 中指向 unix.org 上此列表的链接。
出于以下任意某个原因,其余函数是不可重入的:
它们调用了 malloc 或 free。
众所周知它们使用了静态数据结构体。
它们是标准 I/O 程序库的一部分。
信号和不可重入函数
信号(signal)
是软件中断。它使得程序员可以处理异步事件。为了向进程发送一个信号,内核在进程表条目的信号域中设置一个位,对应于收到的信号的类型。信号函数的
ANSI C 原型是:
void (*signal (int sigNum, void (*sigHandler)(int))) (int);
或者,另一种描述形式:
typedef void sigHandler(int);
SigHandler *signal(int, sigHandler *);
当进程处理所捕获的信号时,正在执行的正常指令序列就会被信号处理器临时中断。然后进程继续执行,但现在执行的是信号处理器中的指令。如果信号处理器返回,则进程继续执行信号被捕获时正在执行的正常的指令序列。

在,在信号处理器中您并不知道信号被捕获时进程正在执行什么内容。如果当进程正在使用
malloc 在它的堆上分配额外的内存时,您通过信号处理器调用
malloc,那会怎样?或者,调用了正在处理全局数据结构的某个函数,而在信号处理器中又调用了同一个函数。如果是调用
malloc,则进程会被严重破坏,因为 malloc
通常会为所有它所分配的区域维持一个链表,而它又可能正在修改那个链表。
甚至可以在需要多个指令的 C
操作符开始和结束之间发送中断。在程序员看来,指令可能似乎是原子的(也就是说,不能被分割为更小的操作),但它可能实际上需要不止一个处理器指令才能完成操作。例如,看这段
C 代码:
temp += 1;
在 x86 处理器上,那个语句可能会被编译为:
mov ax,[temp]
inc ax
mov [temp],ax
这显然不是一个原子操作。
这个例子展示了在修改某个变量的过程中运行信号处理器可能会发生什么事情:
清单 1. 在修改某个变量的同时运行信号处理器
#include <signal.h>
#include <stdio.h>
struct two_int
{
int a, b;
}
data;
void signal_handler(int signum)
{
printf ("%d, %d\n", data.a, data.b);
alarm (1);
}
int main (void)
{
static struct two_int
zeros = { 0, 0 },
ones = { 1, 1 };
signal (SIGALRM, signal_handler);
data = zeros;
alarm (1);
while (1)
{
data = zeros;
data = ones;
}
}
这个程序向 data 填充 0,1,0,1,一直交替进行。同时,alarm
信号处理器每一秒打印一次当前内容(在处理器中调用 printf
是安全的,当信号发生时它确实没有在处理器外部被调用)。您预期这个程序会有怎样的输出?它应该打印
0,0 或者 1,1。但是实际的输出如下所示:
0, 0 1, 1 (Skipping some output...) 0, 1 1, 1 1, 0 1, 0 ...
在 大部分机器上,在 data
中存储一个新值都需要若干个指令,每次存储一个字。如果在这些指令期间发出信号,则处理器可能发现
data.a 为 0 而 data.b 为
1,或者反之。另一方面,如果我们运行代码的机器能够在一个不可中断的指令中存储一个对象的值,那么处理器将永远打印
0,0 或 1,1。
使用信号的另一个新增的困难是,只通过运行测试用例不能够确保代码没有信号
bug。这一困难的原因在于信号生成本质上异步的。
不可重入函数和静态变量
假定信号处理器使用了不可重入的
gethostbyname。这个函数将它的值返回到一个静态对象中:
static struct hostent host;
/* result stored here*/
它每次都重新使用同一个对象。在下面的例子中,如果信号刚好是在 main 中调用
gethostbyname
期间到达,或者甚至在调用之后到达,而程序仍然在使用那个值,则它将破坏程序请求的值。
清单 2. gethostbyname 的危险用法
main()
{
struct hostent *hostPtr;
signal(SIGALRM, sig_handler);
hostPtr = gethostbyname(hostNameOne);
}
void sig_handler()
{
struct hostent *hostPtr;
/* call to gethostbyname may clobber the value stored during the
call inside the main() */
hostPtr = gethostbyname(hostNameTwo);
}
不过,如果程序不使用 gethostbyname
或者任何其他在同一对象中返回信息的函数,或者如果它每次使用时都会阻塞信号,那么就是安全的。
很多库函数在固定的对象中返回值,总是使用同一对象,它们全都会导致相同的问题。如果某个函数使用并修改了您提供的某个对象,那它可能就是不可重入的;如果两个调用使用同一对象,那么它们会相互干扰。
当使用流(stream)进行 I/O 时会出现类似的情况。假定信号处理器使用 fprintf
打印一条消息,而当信号发出时程序正在使用同一个流进行 fprintf
调用。信号处理器的消息和程序的数据都会被破坏,因为两个调用操作了同一数据结构:流本身。
如果使用第三方程序库,事情会变得更为复杂,因为您永远不知道哪部分程序库是可重入的,哪部分是不可重入的。对标准程序库而言,有很多程序库函数在固定的对象中返回值,总是重复使用同一对象,这就使得那些函数不可重入。
近来很多提供商已经开始提供标准 C
程序库的可重入版本,这是一个好消息。对于任何给定程序库,您都应该通读它所提供的文档,以了解其原型和标准库函数的用法是否有所变化。
确保可重入性的经验
理解这五条最好的经验将帮助您保持程序的可重入性。
经验 1
返回指向静态数据的指针可能会导致函数不可重入。例如,将字符串转换为大写的
strToUpper 函数可能被实现如下:
清单 3. strToUpper 的不可重入版本
char *strToUpper(char *str)
{
/*Returning pointer to static data makes it non-reentrant */
static char buffer[STRING_SIZE_LIMIT];
int index;
for (index = 0; str[index]; index++)
buffer[index] = toupper(str[index]);
buffer[index] = '\0';
return buffer;
}
通过修改函数的原型,您可以实现这个函数的可重入版本。下面的清单为输出准备了存储空间:
清单 4. strToUpper 的可重入版本
char *strToUpper_r(char *in_str, char *out_str)
{
int index;
for (index = 0; in_str[index] != '\0'; index++)
out_str[index] = toupper(in_str[index]);
out_str[index] = '\0';
return out_str;
}
由进行调用的函数准备输出存储空间确保了函数的可重入性。注意,这里遵循了标准惯例,通过向函数名添加"_r"后缀来命名可重入函数。
经验 2
记忆数据的状态会使函数不可重入。不同的线程可能会先后调用那个函数,并且修改那些数据时不会通知其他正在使用此数据的线程。如果函数需要在一系列调用期间维持某些数据的状态,比如工作缓存或指针,那么调用者应该提供此数据。
在下面的例子中,函数返回某个字符串的连续小写字母。字符串只是在第一次调用时给出,如
strtok 子例程。当搜索到字符串末尾时,函数返回 \0。函数可能如下实现:
清单 5. getLowercaseChar 的不可重入版本
char getLowercaseChar(char *str)
{
static char *buffer;
static int index;
char c = '\0';
/* stores the working string on first call only */
if (string != NULL)
{
buffer = str; index = 0;
}
/* searches a lowercase character */
while(c=buff[index])
{
if(islower(c))
{
index++;
break;
}
index++;
}
return c;
}
这个函数是不可重入的,因为它存储变量的状态。为了让它可重入,静态数据,即
index,需要由调用者来维护。此函数的可重入版本可能类似如下实现:
清单 6. getLowercaseChar 的可重入版本
char getLowercaseChar_r(char *str, int *pIndex)
{
char c = '\0';
/* no initialization - the caller should have done it */
/* searches a lowercase character */
while(c=buff[*pIndex])
{
if(islower(c))
{
(*pIndex)++;
break;
}
(*pIndex)++;
}
return c;
}
经验 3
在大部分系统中,malloc 和 free
都不是可重入的,因为它们使用静态数据结构来记录哪些内存块是空闲的。实际上,任何分配或释放内存的库函数都是不可重入的。这也包括分配空间存储结果的函数。

免在处理器分配内存的最好方法是,为信号处理器预先分配要使用的内存。避免在处理器中释放内存的最好方法是,标记或记录将要释放的对象,让程序不间断地检查是否有等待被释放的内存。不过这必须要小心进行,因为将一个对象添加到一个链并不是原子操作,如果它被另一个做同样动作的信号处理器打断,那么就会"丢失"一个对象。不过,如果您知道当信号可能到达时,程序不可能使用处理器那个时刻所使用的流,那么就是安全的。如果程序使用的是某些其他流,那么也不会有任何问题。
经验 4
为了编写没有 bug 的代码,要特别小心处理进程范围内的全局变量,如 errno 和
h_errno。考虑下面的代码:
清单 7. errno 的危险用法
if (close(fd) < 0)
{
fprintf(stderr, "Error in close, errno: %d", errno);
exit(1);
}
假定信号在 close 系统调用设置 errno
变量到其返回之前这一极小的时间片段内生成。这个生成的信号可能会改变 errno
的值,程序的行为会无法预计。
如下,在信号处理器内保存和恢复 errno 的值,可以解决这一问题:
清单 8. 保存和恢复 errno 的值
void signalHandler(int signo)
{
int errno_saved;
/* Save the error no. */
errno_saved = errno;
/* Let the signal handler complete its job */ ... ...
/* Restore the errno*/
errno = errno_saved;
}
经验 5
如果底层的函数处于关键部分,并且生成并处理信号,那么这可能会导致函数不可重入。通过使用信号设置和信号掩码,代码的关键区域可以被保护起来不受一组特定信号的影响,如下:
保存当前信号设置。
用不必要的信号屏蔽信号设置。
使代码的关键部分完成其工作。
最后,重置信号设置。
下面是此方法的概述:
清单 9. 使用信号设置和信号掩码
sigset_t newmask, oldmask, zeromask; ...
/* Register the signal handler */
signal(SIGALRM, sig_handler);
/* Initialize the signal sets */
sigemtyset(&newmask);
sigemtyset(&zeromask);
/* Add the signal to the set */
sigaddset(&newmask, SIGALRM);
/* Block SIGALRM and save current signal mask in set variable
'oldmask' */
sigprocmask(SIG_BLOCK, &newmask, &oldmask);
/* The protected code goes here ... ... */
/* Now allow all signals and pause */
sigsuspend(&zeromask);
/* Resume to the original signal mask */ s
igprocmask(SIG_SETMASK, &oldmask, NULL);
/* Continue with other parts of the code */
忽略 sigsuspend(&zeromask);
可能会引发问题。从消除信号阻塞到进程执行下一个指令之间,必然会有时钟周期间隙,任何在此时间窗口发生的信号都会丢掉。函数调用
sigsuspend
通过重置信号掩码并使进程休眠一个单一的原子操作来解决这一问题。如果您能确保在此时间窗口中生成的信号不会有任何负面影响,那么您可以忽略
sigsuspend 并直接重新设置信号。
在编译器层次处理可重用性
我将提出一个在编译器层次处理可重入函数的模型。可以为高级语言引入一个新的关键字:
reentrant,函数可以被指定一个 reentrant 标识符,以此确保函数可重入,比如:
reentrant int foo();
此指示符告知编译器要专门处理那个特殊的函数。编译器可以将这个指示符存储在它的符号表中,并在中间代码生成阶段使用这个指示符。为达到此目的,编译器的前端设计需要有一些改变。此可重入指示符遵循这些准则:
不为连续的调用持有静态数据。
通过制作全局数据的本地拷贝来保护全局数据。
绝对不调用不可重入的函数。
不返回对静态数据的引用,所有数据都由函数的调用者提供。
准则 1
可以通过类型检查得到保证,如果在函数中有任何静态存储声明,则抛出错误消息。这可以在编译的语法分析阶段完成。
准 则
2,全局数据的保护可以通过两种方式得到保证。基本的方法是,如果函数修改全局数据,则抛出一个错误消息。一种更为复杂的技术是以全局数据不被破坏的方式生成中间代码。可以在编译器层实现类似于前面经验
4
的方法。在进入函数时,编译器可以使用编译器生成的临时名称存储将要被操作的全局数据,然后在退出函数时恢复那些数据。使用编译器生成的临时名称存储数据对编译器来说是常用的方法。
确保准则 3
得到满足,要求编译器预先知道所有可重入函数,包括应用程序所使用的程序库。这些关于函数的附加信息可以存储在符号表中。
最后,准则 4 已经得到了准则 2
的保证。如果函数没有静态数据,那么也就不存在返回静态数据的引用的问题。
提出的这个模型将简化程序员遵循可重入函数准则的工作,而且使用此模型可以预防代码出现无意的可重入性
bug。

UTF-8、Unicode和BOM问题

经常遇到的问题是,使用了BOM编码后,脚本执行错误,或使用fileStream读取并转换为XML会报错"The
markup in the document following the root element must be well-formed."。
一、介绍
UTF-8 是一种在web应用中经常使用的一种 Unicode 字符的编码方式,使用
UTF-8 的好处在于它是一种变长的编码方式,对于 ANSII
码编码长度为1个字节,这样的话在传输大量 ASCII
字符集的网页时,可以大量节约网络带宽。
UTF-8签名(UTF-8 signature)也叫做BOM(Byte Order
Mark),是UTF编码方案里用于标识编码的标准标记。BOM,是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF
FE,变成UTF-8就成了EF BB
BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。微软在自己的UTF-8格式的文本文件之前加上了EF
BB BF三个字节,
windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的,
然而这个只是微软暗自作的标记,
其它平台上并没有对UTF-8文本文件做个这样的标记。也就是说一个UTF-8文件可能有BOM,也可能没有BOM。
只有一个BOM,是不会有问题的。如果多个文件设置了签名,在二进制流中就会包含多个UTF-8签名,也就是导致XML转换失败的"root
element must be well-formed"原因。
二、查看和转换
既然一个UTF-8文件可能有BOM,也可能没有,那该如何区分呢?
只要用带十六进制编辑方式的软件,例如,用UltraEdit-32打开文件,切换到十六进制编辑模式,察看文件头部是否有EF
BB BF。有,则为带BOM方式。
Windows自带的notepad记事本,保存为UTF-8时,默认就带BOM。
转换的方法有很多,常见的UltraEdit-32或NotePad++都可以,以UltraEdit-32为例。打开文件后,选择"另存为",在"格式"一栏中有如下选择:
另外,DreamWeaver CS3也有类似的选项,在"首选项"中,如果选择 Unicode
(UTF-8) 作为默认编码,则可以选择"包括 Unicode 签名
(BOM)"选项,以在文档中包括字节顺序标记 (BOM)。否则,不带BOM:
三、其他知识
所谓的unicode保存的文件实际上是utf-16,只不过恰好跟unicode的码相同而已,但在概念上unicode与utf是两回事,unicode是内存编码表示方案,而utf是如何保存和传输unicode的方案。utf-16还分高位在前
(LE)和高位在后(BE)两种。官方的utf编码还有utf-32,也分LE和BE。非unicode官方的utf编码还有utf-7,主要用于邮件传输。utf-8的单字节部分是和iso-8859-1兼容的,这主要是一些旧的系统和库函数不能正确处理utf-16而被迫出来的,而且对英语字符来说,也节省保存的文件空间(以非英语字符浪费空间为代价)。在iso-8859-1的时候,utf8和iso-8859-1都是用一个字节表示的,当表示其它字符的时候,utf-8会使用两个或三个字节。
一段关于BOM的更详细说明,来自这里:
在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK
SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO
WIDTH NO-BREAK
SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO
WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH
NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB
BF开头的字节流,就知道这是UTF-8编码了。
Windows就是使用BOM来标记文本文件的编码方式的。
PHP也不支持BOM。
PHP在设计时就没有考虑BOM的问题,也就是说他不会忽略UTF-8编码的文件开头BOM的那三个字符。由于必须在<?或者<?php后面的代码才会作为PHP代码执行,所以这三个字符将会直接输出。如果插件的文件有这个问题,将会导致在后台页面里激活或者不激活插件后显示白屏,如果是模版文件有这个问题,将会导致这三个字符直接输出,造成页面上方有一个小空行。国外的英文插件和模版一般都是用的ASCII码的编码方式,不会有BOM,只有国内的插件和模版会由于作者的不知情造成问题。还有,大家修改模版的时候,由于输出页面使用UTF-8编码,那么修改模版的时候如果有加入中文字符的话,必须把文件转成UTF-8编码才能正常显示,这个时候如果所使用的编辑器自动加上了BOM的话,将会造成在页面上输出这三个字符,显示效果就要看浏览器了,一般是一个空行或是一个乱码。

UNICODE与ANSI的区别

什么是ANSI,什么又是UNICODE呢?其实这是两种不同的编码方式标准,ANSI中的字符采用8bit,而UNICODE中的字符采用16bit。(对于字符来说ANSI以单字节存放英文字符,以双字节存放中文等字符,而Unicode下,英文和中文的字符都以双字节存放)Unicode码也是一种国际标准编码,采用二个字节编码,与ANSI码不兼容。目前,在网络、Windows系统和很多大型软件中得到应用。8bit的ANSI编码只能表示256种字符,表示26个英文字母是绰绰有余的,但是表示汉字,韩国语等有着成千上万个字符的非西方字符肯定就不够了,正是如此才引入了UNICODE标准。
在软件开发中,特别是使用C语言的一些有关字符串处理的函数,ANSI和UNICODE是区分是用的,那么ANSI类型的字符和UNICODE类型的字符如何定义,如何使用呢?ANSI和UNICODE又如何转换呢?
一.定义部分:
ANSI:char str[1024]; 可用字符串处理函数:strcpy( ), strcat( ),
strlen( )等等。
UNICODE:wchar_t str[1024];可用字符串处理函数
二.可用函数:
ANSI:即char,可用字符串处理函数:strcat( ),strcpy( ), strlen(
)等以str打头的函数。
UNICODE:即wchar_t
可用字符串处理函数:wcscat(),wcscpy(),wcslen()等以wcs打头的函数。
三.系统支持
Windows 98 :只支持ANSI。
Windows 2k :既支持ANSI又支持UNICODE。
Windows CE :只支持UNICODE。
说明
1 在COM里面只支持UNICODE。
2.Windows 2000整个OS系统都是基于UNICODE的,为此在windows 2000
下使用ANSI是需要付出代价的,虽然在编码上不用任何的转换,但是这种转化是隐藏的,是占用系统资源的(CPU,内存)。
3 在Windows 98下必须使用UNICODE,则需要自己手动的编码切换。
四.如何区分:
在我们软件开发中往往需要即支持ANSI又支持UNICODE,不可能在要求类型转换的时候,重新改变字符串的类型,和使用于字符串上的操作函数。为此,
标准C运行期库和Windows 提供了宏定义的方式。
在C语言里面提供了
_UNICODE宏(有下划线),在Windows里面提供了UNICODE宏(无下划线),只要定了_UNICODE宏和UNICODE宏,系统就会自动切换到UNICODE版本,否则,系统按照ANSI的方式进行编译和运行。
只定义了宏并不能实现自动的转换,他还需要一系列的字符定义支持。
1. TCHAR
如果定义了UNICODE宏则TCHAR被定义为wchar_t。
typedef wchar_t TCHAR;
否则TCHAR被定义为char
typedef char TCHAR;
2.LPTSTR
如果定义了UNICODE宏则LPTSTR被定义为LPWSTR。(以前一直不知道LPWSTR是什么东东,终于明白了)
typedef LPTSTR LPWSTR;
否则TCHAR被定义为char
typedef LPTSTR LPSTR;
补充一下:
UTF-8是可以用于真正的流式传输的,Unicode是一种编码方案
我的理解是UTF-8是Unicode的一种具体实现。类似的实现还有UTF-16等等。

UTF-8文件的Unicode签名BOM(Byte Order Mark)问题

近日在调测一个UTF8编码的中文Zen
Cart网站时遇到一件怪事,网页显示文字正常,用ie的察看源文件(记事本打开)却发现乱码,firefox没有这个问题。经在网上多方查证和多次测试,解决了这个问题,其实是UTF-8文件的Unicode签名BOM(Byte
Order Mark)问题。
BOM(Byte Order
Mark),是UTF编码方案里用于标识编码的标准标记,在UTF-16里本来是FF
FE,变成UTF-8就成了EF BB
BF。这个标记是可选的,因为UTF8字节没有顺序,所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测,但有些软件不做这种检测,而把它当作正常字符处理。
微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节,
windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的,
然而这个只是微软暗自作的标记,
其它平台上并没有对UTF-8文本文件做个这样的标记。
也就是说一个UTF-8文件可能有BOM,也可能没有BOM,那么怎么区分呢?三种方法。1,用UltraEdit-32打开文件,切换到十六进制编辑模式,察看文件头部是否有EF
BB
BF。2,用Dreamweaver打开,察看页面属性,看"包括Unicode签名BOM"前面是否有个勾。3,用Windows的记事本打开,选择
"另存为",看文件的默认编码是UTF-8还是ANSI,如果是ANSI则不带BOM。
我找到Zen
Cart的模版文件中的html_header.php,发现文件果然不带BOM,用UltraEdit-32另存为的方式加上BOM后,再上传html_header.php,一切正常。
注意用Convertz把gb2312文件转换成UTF-8文件时,默认设置是不带BOM的。不带BOM可能出现上述乱码问题,但是带
BOM,对于php的include文件要小心,会在php字节流前面多出EF BB
BF,提前输出到显示器有可能会带来程序错误。一个解决方案是凡是被include的文件都保存为ANSI,主文件可以是UTF-8。要想把一个文件去掉
BOM,使用UlterEdit打开,
切换到十六进制编辑模式,把最前面三个字节(就是那该死的 EF BB
BF)替换为20,保存(注意关闭保存时自动备份的功能),再切换到默认编辑模式,把最前面的三个空格去掉就可以了。
另外还学到一些编码的小知识:所谓的unicode保存的文件实际上是utf-16,只不过恰好跟unicode的码相同而已,但在概念上unicode与utf是两回事,unicode是内存编码表示方案,而utf是如何保存和传输unicode的方案。utf-16还分高位在前
(LE)和高位在后(BE)两种。官方的utf编码还有utf-32,也分LE和BE。非unicode官方的utf编码还有utf-7,主要用于邮件传输。utf-8的单字节部分是和iso-8859-1兼容的,这主要是一些旧的系统和库函数不能正确处理utf-16而被迫出来的,而且对英语字符来说,也节省保存的文件空间(以非英语字符浪费空间为代价)。在iso-8859-1的时候,utf8和iso-8859-1都是用一个字节表示的,当表示其它字符的时候,utf-8会使用两个或三个字节。

2009年7月10日星期五

中国人为什么爱钱胜过爱家?

我们总以为自己是世界上最有家庭观念的种族之一,并且深深地为之自豪,但在老外的眼中,却未必如此。
12月8日晚上,我参加了澳大利亚商会
(AustCham,一个澳大利亚海外商人的团体,遍布全球,得到澳洲官方的大力支持,地位有点像我们的"人民团体")的今年最后一次周末聚会暨圣诞晚会,一年来,从来没有像今天这样来了这么多澳洲老乡,好象全上海的澳洲人都聚拢在小小的酒吧里。在例行的gossip
之外,更多的是告别,这里大多数的澳洲老乡们将在这几天回到家乡去,过一年一度的圣诞节。大家问我是否回去,我说:"没时间,工作太忙了。"他们就都很惊奇:"你怎么能够圣诞都不回去和孩子们一起过呢?"口气是诘问式的。我当然有点不爽,就向他们解释,圣诞节对西方人来说是一个全家团聚的日子,中国人也有这样的日子,那就是春节。
于是,我们就谈起了中国人和澳洲人对家庭的重视。没想到,那几位澳洲朋友说:"你别生气,其实,我们觉得你们中国人并不爱家,并不像你们自己说的这么注重家庭。你们更爱金钱!"
?!我愕然。于是,我记下了这些真诚的对话:"无论在澳洲和中国,你们中国人的确很勤奋,中国人在海外也能比当地人积蓄更多的钱财,但我不认为这是你们中国人有经商的天赋,而是你们比我们更节俭,更能省,是通过降低生活标准来完成的金钱积累。你们平时很少上酒吧,周末也很少度假,甚至周末或假期都不休息。衣服都是从中国买了带过去,因为这里更便宜,我甚至看到有上海学生带了很多碗过去。
你们会没日没夜的工作,把孩子都交给老人照管,除了关心孩子的学习成绩外,你们忙得很少和孩子一起玩,那种不带功利的玩,不让孩子非得学会什么是纯粹的玩。圣诞节你们甚至都不休息,而在海外春节是没有假期的,不带着孩子去海滩,因为你们会觉得这个时候的机票、宾馆都贵,不如趁这个时候做点生意赚更多的钱,等淡季了再出门。所以,你们华人的孩子尽管学业上很优秀,但他们总是觉得自己很另类,觉得和当地人比起来,父母更关心的是家庭的金钱收入、关心的是他们的学习分数,而不是他们的快乐。
是的,我知道你要说什么,你们中国人爱说这是为了孩子,为了下一代多挣些钱,但每一代都说自己赚钱是为了下一代,那么究竟哪一代会真正地使用这笔钱呢?"生命是那么短暂,你们借口为了家庭的未来,而在现在就牺牲了家庭,我不知道这个帐是怎么算过来的,怎么还能体现你们自己很自豪的家庭观念。
你们为了工作,可以忍受长时间的夫妻分离,要在我们眼中,夫妻不在一起三个月以上,基本上就该考虑办离婚了。所以我们被派到海外来,就一定是全家一起来,我的妻子、孩子都搬到上海来。他们要是不愿意来,我就不可能接受这项工作,家庭比工作更重要呀。我在中国甚至听说过你们的上一辈人甚至有夫妻几十年都分在两个地方的,到了退休的时候才能生活在一起。这太残酷了。难道你们就不会为了家庭放弃工作吗?工作也还可以再找呀!
我的中国公司里有很优秀的人才,但因为不是上海本地人,家庭就在另外城市,每个月甚至每两个月才能相聚一次,为什么其中的一方就不能放弃工作呢?我知道有很多在城市里工作的农民,他们甚至只能一年回家一次,都说是为了家庭在挣钱,可这样的钱再多,又有什么意义呢?在澳洲,你们中国人基本都比当地人有钱,但没有人羡慕你们的生活,我认为你们就是金钱的机器,但你们为自己的赚钱爱好涂上了一层家庭的色彩。我不相信。"
听着他们的唠叨,尽管带着酒气,但还是很深地震撼了我。我能和他说什么呢?当然,可以说的太多了,比如告诉他中国几千年来就从来没有完善的社会保障体系,所以大家都没安全感,都为了明天在使劲榨取今天,连见面都问"吃了吗",所以现在搞得存款余额超过万亿,不是中国人守财,而是自己给自己在做保险,但他能理解这些吗?连美国总统都在呼吁中国的储蓄率太高应该多消费,连我们原先的铁面总理也认为要设立什么黄金周来刺激消费,他一个祖上开始就生活在完善的福利体系下的老外,能懂得我们对未来的那种无助和恐惧吗?
我也可以告诉他,中国人真的是穷怕了,哪怕他现在发了财,无论在国内还是海外,他还是会想着发更多的财,在中国人的心中,还是认为能给子孙传下更多的财产才是对子孙最大的爱,对家庭最大的负责任,只有在认为钱财已经足够多、或者钱财实在太少而必须给自己一定的安慰时,才会说应该给孩子留点比金钱更宝贵的东西。这个世界,只有钱固然是不行的,但没有钱是万万不行的。他能理解这些吗?
在澳洲那样的体系下,生病住院后,自己只要在进院和出院的时候签两回名字,一切都是社会福利体系包办了,他能理解中国人说的"六十岁以前挣的是六十岁以后的医药费"这句话背后的辛酸与无奈吗?在澳洲那样的体系下,即使你身无长物,一无是处,强大的福利体系也会把你托在
security net
这张网之上,照样保证你过上体面的生活,无非比人家多拿一张低收入保障卡,他能理解我们的下岗给一个家庭所带来的甚至是毁灭性的打击吗?
当然,他更无法理解在20年前,所有的中国人其实并不属于家庭,而是属于一个叫做"单位"的主人,还被一条叫做"户口"的链条给拴着,即使是夫妻,即使是父子母女,一切的亲情都大不过这个主人和这条锁链。而我在澳洲学移民法的时候,有个working
holiday maker
的类别很让我费神和向往:他们居然给那些只为了旅游目的而边打零工边挣旅游费用的人提供附带工作许可的专门签证!
(有兴趣的朋友可以自己查看澳洲移民部官方网站的有关说明)
很多次,在海外过圣诞节的时候,我居然都会想起小时候读过的《卖火柴的小女孩》,经常会为那可怜的小姑娘而热泪盈眶,于是,那种对贫穷和无助的恐惧就会给自己拧紧了充当赚钱机器的发条。
我们的很多追逐金钱的行为,无论在国内还是海外,的确和我们自己所宣称的热爱家庭有着严重的落差。我们无法指望这些老外朋友们能理解,中国人好不容易可以公开、安全地追逐金钱了,千万别指望在一两代人的时间内能缓解这种被压抑过久而喷涌出来的欲望和动力。这正是很多中国家庭的凝聚力所在,哪怕忍受分离、忍受白眼。以前我们是穷怕了,尝过小富滋味后,
以后我们是更怕穷。而也许正是因为我们的无奈,我们才更固执地唠叨着我们的"美德"。这其实已经不是为了炫耀自豪,而只是为了自警,为了怕我们忘记自己还有个把家庭看得重于金钱的美德!
生为中国人,不管我们的国籍是什么,我们都难以逃脱这个悖论,海外
7000万华人,生活的艰难和坎坷一点都不亚于国内13
亿同胞。愿上帝怜悯我们,也愿我们的孩子们理解我们,更愿我们孩子的那一辈人可以富足安定得足以鄙视金钱!

2009年7月9日星期四

林奇金盆洗手时的告诫

最近,我比较系统地重温了美国著名的投资通讯《杰出投资者文摘》中大师的文章,看到大名鼎鼎的富达麦哲伦基金经理彼得·林奇1990年5月31日退休前的一篇演讲。它似乎从未被译成中文,由于这一年半来市场左右折腾,现在看看人家20年前的提醒,还是有用的。
  林奇的演讲题目是《关乎股市赚钱的几个要点》,其中一些早已人所共知的言谈,我就不再强调。
  规则一:了解你持有的股票。
  规则二:做经济预测徒劳无益。
  2007年10月以来的全球金融危机,几乎让投资人都成了宏观经济学家。我自己似乎也难免,天天被各种经济数据与投资市场之间的关系蒙得晕头转向,我受的教育比得上看20本金融教科书。不幸的是,我很怀疑自己真正学到了什么有用的学问。
  彼得·林奇的疑问是:"我很希望能够知晓这些信息。对我来说,当衰退将要发生的时候获悉这种信息是很有帮助的。这会非常好。在座的大多数人应该
还记得1980年-1982年的衰退,这是大萧条之后最严重的衰退。当时我们的失业率达到15%,通货膨胀率达到14%,基准利率高达20%。你们有谁接到电话,告诉你们会发生衰退吗?你是否记得,在你经常阅读的那些杂志上,有哪一本杂志曾经成功地预见到了这种情况?没有人告诉我将出现这么悲惨的局面。
  你可能不相信,人们在预测一年之后将发生的事情上面浪费了多少时间。能提前知道一年后的事情当然很棒。但是你永远无法知道。因此不要白费心机了。这没有任何好处。"
  规则三:不要担心股市,也就是集中于个股,忘掉全局(big
picture)。其实这是规则二的类推,你没法预测宏观市场,那只能乖乖地研究个股吧。一场金融大危机,让人们觉得覆巢之下,岂有完卵?但确实有个别公司经得起折腾,这也是事实。
规则四:不要急躁,你有充足的时间。
  这对今天的我们很重要,即便我们真的已处于大牛市中,也不必急于追涨,有的是机会。林奇的原话是:"给我带来丰厚回报的股票都是我在关注他们第二年、第三年或者第四年、第五年才买入的。"
  林奇举的例子是沃尔玛。沃尔玛于1970年上市,有38家店,售价8美分/股。五年后,沃尔玛有125家店,利润增长了7倍,股价涨了5
倍,41美分/股。1980年,沃尔玛有275家店,利润又比五年前上升了5倍,股价也涨了5倍,为1.89美元/股。1985年,它有859家店,又比
五年前上涨了6倍,股价是15.94美元/股。1990年林奇演讲的时候,沃尔玛的股价是50美元/股。
  林奇说道,在1980年买沃尔玛,已比上市时晚了十年,但持有它仍能赚25倍,回报率可以把麦哲伦基金打得落花流水。不过,林奇也坦承,他在此期间并没有持有沃尔玛,当时他觉得它的股价过高。
  又20年过去了,这次金融危机,沃尔玛仍是表现出色,我没有细算这20年来沃尔玛又翻了多少倍,但一定是惊人的。有意思的是,巴菲特在林奇发出感叹的十多年后,才追买沃尔玛。想到这里,大家可以安慰一下自己了。
  林奇提到了一些有关股市投资危险的说法。
危险说法1:股价已经下跌了这么多了,股价还能跌多少呢?
  这个教训大家刚领会,不必谈了。
  危险说法2:股价还能上涨多少?记住上面沃尔玛的例子。
  危险说法3:我能赔多少?股价只有3美元。这与危险说法1区别不大,再次提醒你跌幅仍会巨大。
  危险说法4:最终,跌去的全都将反弹回来。这次流动性大泛滥,让许多中小盘股或三四线股又创了新高,人们不再相信这个危险的说法了。但,走着瞧,林奇是对的。
  危险说法5:情况糟糕得不能再糟糕,我应该买入。它类似于危险说法1和3。
  危险说法6:当股价反弹到10美元的时候,我就卖出。它类似危险说法4,不少人不以为然,他们总会明白的。
  危险说法7:保守型股票的波动不大,这也在2008年的市场中领教了。
  危险说法8:因为没有买入而赔了钱。
  这就是所谓的踏空。这次股市大反弹,许多人因此而十分烦躁,他们也许没有买,有的买了又抛了,有的投机不成还亏了钱。他们见周围的人声称赚了钱,几乎失去了投资的自信。关于这点,说来话长。大致来说,看看自己的账户吧,踏空不像套牢,你没有亏什么钱。记住林奇的警句:"你错过了成百上千的股
票,不过,你只需要几只股票便可发财。"
  危险说法9:这是下一个伟大的公司。
  由于沃尔玛等个别伟大股票的存在,让人情不自禁,但"下一个伟大的公司永远都没有成功过。下一个玩具反斗城没有成功,下一个家德宝没有成功,下一个施乐没有成功——施乐自己做的也不是很好。下一个麦当劳等等都失败了"

  作者为《科学与财富(Value)》(www.valuegood.com)主编