`
icekiller110
  • 浏览: 69314 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于Ruby中的浮点计算近似值的问题

阅读更多
在Ruby中的浮点运算使用的是二进制的计算方式(为了更高效的使用硬件),所以像1/10,1/100,1/1000,0.1等都是近似表示。
如果你判断
   0.4-0.3 == 0.1 # 返回false。
为了避免此问题,在浮点运算结果做boolea判断的时候要先进行round(取有效数字),然后在进行比较。
例如 (0.4-0.3).round(2) == 0.1 # 返回true.

同样JS中也有此问题,JS的float可以使用toFixed的方法。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics