whoops FP16 mantissa off-by-one
authorLuke Kenneth Casson Leighton <lkcl@lkcl.net>
Tue, 19 Feb 2019 08:05:29 +0000 (08:05 +0000)
committerLuke Kenneth Casson Leighton <lkcl@lkcl.net>
Tue, 19 Feb 2019 08:05:29 +0000 (08:05 +0000)
src/add/fpbase.py

index 5c303046ccedf6376a08f428927272003fbfb83f..e6222c2fa5bb3e2d94fe3f99312825ca6bcac024 100644 (file)
@@ -70,7 +70,7 @@ class FPNum:
     """
     def __init__(self, width, m_extra=True):
         self.width = width
-        m_width = {16: 12, 32: 24, 64: 53}[width] # 1 extra bit (overflow)
+        m_width = {16: 11, 32: 24, 64: 53}[width] # 1 extra bit (overflow)
         e_width = {16: 7,  32: 10, 64: 13}[width] # 2 extra bits (overflow)
         e_max = 1<<(e_width-3)
         self.rmw = m_width # real mantissa width (not including extras)