递归火山软件开发平台

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 火山 源码 类库
查看: 3304|回复: 37
打印 上一主题 下一主题

[视窗] 小数计算精度的重大bug | 附:15位高精度的小数到文本()

[复制链接]

490

主题

3004

帖子

1万

积分

贵宾

Rank: 9Rank: 9Rank: 9

积分
10627
跳转到指定楼层
楼主
发表于 2024-9-29 22:16:45 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
本帖最后由 shuimiao 于 2024-9-30 17:32 编辑



一、0.01 / 10000.0 * 200.0 == 0


X大说这是吴总自己对表达式做了改变,导致丢失精度,只要把计算数都改成变量就没事,但是这说不过去了吧,老老实实翻译人家的表达式不好吗,徒增麻烦


二、变量a(值是0.01) / 变量b(值是10000.0) ==  变量c(值是0.000001)

这时如果你将变量c到文本,竟然转换为"0"。当你想计算用户给出文本中出现的多联计算表达式时,比如"0.01 / 10000.0 * 200.0",那必然就会分成两个步骤,第一步"0.01 / 10000.0"计算出结果转换到文本就是"0",然后第二步 "0 * 200.0"还是0。


请求吴总修复bug


第二点问题,取格式文本()方法会出现固定小数位6精度,不足位自动补0的问题,不行。所以我问ai写了个小数到文本的方法,好用,特来贡献。
游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

30

主题

644

帖子

3433

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
3433
38#
发表于 2026-4-30 18:36:02 | 只看该作者
看看是怎么弄的
回复

使用道具 举报

12

主题

165

帖子

1419

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
1419
37#
发表于 2026-1-11 13:36:02 | 只看该作者
谢谢分享
回复

使用道具 举报

16

主题

90

帖子

454

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
454
36#
发表于 2026-1-6 09:28:32 | 只看该作者
学习一下
回复

使用道具 举报

0

主题

113

帖子

682

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
682
35#
发表于 2025-12-13 20:40:34 | 只看该作者
回复

使用道具 举报

0

主题

113

帖子

682

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
682
34#
发表于 2025-12-13 20:40:15 | 只看该作者
回复

使用道具 举报

107

主题

644

帖子

2637

积分

银牌会员

Rank: 6Rank: 6

积分
2637
33#
发表于 2025-10-30 13:24:37 | 只看该作者
15位高精度的小数到文本()
火山PC HP_SOCKET 控件 交流群:956446702
回复

使用道具 举报

16

主题

149

帖子

1195

积分

银牌会员

Rank: 6Rank: 6

积分
1195
32#
发表于 2025-10-11 23:38:59 | 只看该作者
数计算精度的重大bug | 附:15位高精度的小数到文本()
回复

使用道具 举报

67

主题

315

帖子

1763

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
1763
31#
发表于 2025-10-9 12:55:05 | 只看该作者
11111111111
回复

使用道具 举报

14

主题

188

帖子

3616

积分

金牌会员

Rank: 9Rank: 9Rank: 9

积分
3616
30#
发表于 2025-9-16 10:06:37 | 只看该作者
我看看,学学
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|递归火山软件开发平台 ( 鄂ICP备18029190号 )

GMT+8, 2026-6-19 15:20 , Processed in 0.099126 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表