미묘한 숫자 오차의 범인? STATUS_FLOAT_INEXACT_RESULT를 파헤쳐보자

미묘한 숫자 오차의 범인? STATUS_FLOAT_INEXACT_RESULT를 파헤쳐보자 1

여러분, 혹시 프로그래밍을 하다 숫자를 다루다 보면 “엥? 내가 알던 결과랑 다르잖아?” 하고 고개를 갸웃거렸던 경험 없으신가요? 특히 소수점 계산에서 0.1 + 0.2 가 정확히 0.3 이 아닌, 미묘하게 다른 숫자가 나오는 걸 보고 당황하셨을 수도 있을 거예요. 이게 바로 오늘 우리가 파헤쳐 볼 와 깊이 연관된 문제랍니다. 컴퓨터가 숫자를 표현하고 연산하는 방식에는 우리가 생각하는 … Read more