基于VB的测量数据有效数字取位程序开发

测量数据的有效数字取位时存在舍入问题,合理的舍入法则会减小误差,同时本文根据测量数据量大的特点开发了批量处理的程序。

省除法的数字取位分析

在多位除法中,除数和被除数的位数较多,而实际结果只要求按预定的精确度求近似值时。可采用截去除数和被除数未尾的若干位尾数,以简化运算过程,提高运算效率,在珠算除法运算中称之为省除法。 (一) 省除法各数截尾后取位的要求是截去不影响商的预定精确度的若干位尾数,由于珠算是人脑与算盘结合运算的一种数学方法,为了提高人们的准确性和减少一些不必要的默记程序,省除法还必须做到方便易记易掌握。为此笔者对目前已有的一些省除的方法作了分析,

有效数字的正确取位

在工程技术中对于有效数字的正确取位很重要。但是人们往往将仪器能读出的数值或者计算机得出的数值作为测量结果,这是不正确的。笔者见到一份测试报告,其中损耗角tagδ的值有八位数字,显然过多。查其原因就是计算机打印的结果。因此,有必要阐明如何正确掌握有效数字的取位。