윈도우즈 시스템 디렉토리에 넣어두고 사용하는 공용 DLL 3개는 64비트 릴리즈 모드로 제대로 돌아갔다. 적어도 그렇게 보였다.

라이트맵 빌드에 시간이 많이 걸렸으므로, 빌드 시간을 줄여보고자 지오메트리 DLL을 릴리즈 모드로 바꿨다.

여기서부터 문제 발생.

파라미터 넘기는 부분에서 생긴 문제는 금방 잡았다.

그보다는 bsp빌드 관련해서 생기는 문제가 심각했다.

조금씩 뭔가 어긋나는 것이 수학함수쪽에서 오차가 벌어지기 시작하는 것 같았다.

pramga optimize 지시어로 소스 코드의 부분 부분의 최적화를 꺼가면서 문제점을 찾아다녔다.

뭐 결론적으로...내 실수였다.

문서를 자세히 읽어보니 xmm6부터 xmm15까지 레지스터들은 callee쪽에서 보호되어야 했다.

최근에 64비트로 포팅하면서 내가 작성한 수학함수들의 대부분은 xmm6, xmm7을 별다른 보호 처리 없이 사용하고 있었던 것이다.

예전에 32비트용으로 짤때는 인라인 어셈을 사용했었으므로 vc컴파일러가 스택 프레임을 잡을때 필요한 레지스터들은 알아서 보호를 했다.

64비트로 인라인 어셈이 불가능했으므로 매크로 어셈으로 작성했는데, 범용 레지스터에 대해선 신경썼어도  미쳐 xmm레지스터를 보호해야한다는 생각은 하지 못했다.

하여간 간단하게 함수의 프롤로그와 에필로그 부분에 보호 코드를 작성해서 넣었다.

; backup
sub rsp,32
movups [rsp],xmm6
movups [rsp+16],xmm7


; restore
movups xmm6,[rsp]
movups xmm7,[rsp+16]
add rsp,32

이렇게 레지스터 보호  코드들을 추가하고 테스트 해서 일단 모든 엔진 DLL과 툴, 클라이언트 EXE를 32-debug,32-release,64-debug,64-release 4개 버젼으로 돌아가게 만들었다.

하루 웬종일 해맸다. 이거 찾느라고.--;