2020-06-30から1日間の記事一覧

Excelの計算精度はIEEE 754準拠

excelってどんな精度なのかと調べてみた Microsoft Excel は、IEEE 754 の仕様に基づいて設計され、浮動小数点数の格納方法と計算方法を決定していました Excel で浮動小数点演算の結果が不正確になる可能性がある | Microsoft Docs java のdoubleとかと同じ…