Porting IEEE files from SUN to LINUX

[SteveH]

I have a large number of climate model files written in IEEE on a SUN that I need to use with the linux fortran. I've tried various combinations of open flags without success. CONVERT='big_endian' gets close, but still results in errors:

*** Unexpected error or eof reading agcm file (header)
file = /home/data2/regcm/bc/e2_ts10/E2TS10_1960_JAN
typehisin= ^@^@^@tIEEE
runtitle= EXP2PYC + 1950-2002 TSERIES 1.0X SST
nloni= 538976288
nlati= 96
nlevi= 48
iyear= 18
imon= 1960
iday= 1
isec= 1
ios = -999
(in getfirstdate)

*** Abnormal Termination (newbdyin) ***

In the above typehisin should be IEEE, nloni = 96, nlati=48, nlevi=18 etc.

Any help would be greatly appreciated. Thanks.

[Steven_L_Intel1]

Can you do an "od -h" of the data file and post the output here? If it's a big file, the first 1K bytes should do.

[SteveH]

Steve,
Here are the first 150 or so lines of the file and the open/read statements.

Steve


#if defined (linux)
open (iugcm, convert='big_endian',file=gcmfile(ifile),
* form='unformatted',
* recordtype='stream', carriagecontrol='none',
* status='old', iostat=ios, err=1000)
open (iulsx, convert='big_endian', file=lsxfile(ifile),
* form='unformatted',
* recordtype='stream', carriagecontrol='none',
* status='old', iostat=ios, err=1010)
#else
open (iugcm, file=gcmfile(ifile), form='unformatted',
* status='old', iostat=ios, err=1000)
open (iulsx, file=lsxfile(ifile), form='unformatted',
* status='old', iostat=ios, err=1010)
#endif

call opengcmfiles (ifile, .false.)
read (iugcm, err=3000, end=3000, iostat=ios)&n bsp;
* typehisin, runtitle, nloni,nlati,nlevi, iyear,imon,iday,isec
if (typehisin.ne.'CRAY' .and. typehisin.ne.'IEEE') ios = -999
if (ios.ne.0) goto 3000
write(itoterm,*) '<<<<< GCM FILE INFO >>>>>>>>'
write (ioterm,3002) gcmfile(ifile)(1:lenchr(gcmfile(ifile))),
* typehisin, runtitle,nloni,nlati,nlevi,
* iyear,imon,iday,isec,ios

0000000 4549 4545 2020 2020 3376 302e 6320 6c74
0000020 2073 2e2e 202e 2020 2020 2020 2020 2020
0000040 2020 2020 2020 2020 2020 2020 2020 2020
*
0000120 2020 2020 2020 2020 00b4 0000 0000 0000
0000140 005a 0000 0000 0000 0001 0000 0000 0000
0000160 0803 0000 0000 0000 0001 0000 0000 0000
0000200 0001 0000 0000 0000 5460 0000 0000 0000
0000220 4d4c 5341 204b 2020 0000 0000 0000 4000
0000240 0000 0000 0000 4000 0000 0000 0000 4000
* 9
0022340 0000 0000 0000 4000 0000 0000 0000 4008
0022360 0000 0000 0000 4008 0000 0000 0000 4008
*
0022600 0000 0000 0000 4000 0000 0000 0000 4000
*
0023460 0000 0000 0000 4008 0000 0000 0000 4008
*
0023560 0000 0000 0000 4000 0000 0000 0000 4000
*
0025200 0000 0000 0000 4000 0000 0000 0000 4008
0025220 0000 0000 0000 4008 0000 0000 0000 4008
*
0025540 0000 0000 0000 4008 0000 0000 0000 4000
0025560 0000 0000 0000 4000 0000 0000 0000 4000
*
0026240 0000 0000 0000 4000 0000 0000 0000 4008
0026260 0000 0000 0000 4008 0000 0000 0000 4008
*
0026460 0000 0000 0000 4000 0000 0000 0000 4000
*
0030100 000 0 0000 0000 4008 0000 0000 0000 4008
*
0030500 0000 0000 0000 4000 0000 0000 0000 4008
0030520 0000 0000 0000 4008 0000 0000 0000 4008
*
0030620 0000 0000 0000 4008 0000 0000 0000 4000
0030640 0000 0000 0000 4000 0000 0000 0000 4000
*
0030740 0000 0000 0000 4008 0000 0000 0000 4008
0030760 0000 0000 0000 4008 0000 0000 0000 4000
0031000 0000 0000 0000 4000 0000 0000 0000 4000
*
0031100 0000 0000 0000 4000 0000 0000 0000 4008
0031120 0000 0000 0000 4008 0000 0000 0000 4008
*
0031340 0000 0000 0000 4008 0000 0000 0000 4000
0031360 0000 0000 0000 4000 0000 0000 0000 4000
*
0032740 0000 0000 0000 4008 0000 0000 0000 4008
*
0033640 0000 0000 0000 4008 0000 0000 0000 4000
0033660 0000 0000 0000 4000 0000 0000 0000 4000
*
0033740 0000 0000 0000 4000 0000 0000 0000 4008
0033760 0000 0000 0000 4008 0000 0000 0000 4008
*
0034240 0000 0000 0000 4008 0000 0000 0000 4000
0034260 0000 0000 0000 4000 0000 0000 0000 4000
*
0034320 0000 0000 0000 4000 0000 0000 0000 4008
0034340 0000 0000 0000 4008 0000 0000 0000 4008
*
0034520 0000 0000 0000 4000 0000 0000 0000 4000
0034540 0000 0000 0000 4000 0000 0000 0000 4008
0034560 0000 0000 0000 4008 0000 0000 0000 4000
0034600 0000 0000 0000 4000 0000 0000 0000 4000
*
0035000 0000 0000 0000 4008 0000 0000 0000 4000
0035020 0000 0000 0000 4000 0000 0000 0000 4000
*
0035520 0000 0000 0000 4008 0000 0000 0000 4008
*
0036520 0000 0000 0000 4008 0000 0000 0000 4000
*
0036560 0000 0000 0000 4000 0000 0000 0000 4000
0036600 0000 0000 0000 4000 0000 0000 0000 4008
0036620 0000 0000 0000 4008 0000 0000 0000 4008
*
0037460 0000 0000 0000 4000 0000 0000 0000 4000
*
0037540 0000 0000 0000 4000 0000 0000 0000 4008
0037560 0000 0000 0000 4008 0000 0000 0000 4008
*
0037700 0000 0000 0000 4000 0000 0000 0000 4000
*
0040300 0000 0000 0000 4008 0000 0000 0000 4008
*
0041400 0000 0000 0000 4008 0000 0000 0000 4000
0041420 0000 0000 0000 4000 0000 0000 0000 4000
0041440 0000 0000 0000 4000 0000 0000 0000 4008
0041460 0000 0000 0000 4008 0000 0000 0000 4008
*
0042340 0000 0000 0000 4008 0000 0000 0000 4000
0042360 0000 0000 0000 4000 0000 0000 0000 4008
0042400 0000 0000 0000 4008 0000 0000 0000 4008
*
0042620 0000 0000 0000 4008 0000 0000 0000 4000
0042640 0000 0000 0000 4008 0000 0000 0000 4008
*
0044260 0000 0000 0000 4008 0000 0000 0000 4000
0044300 0000 0000 0000 4000 0000 0000 0000 4000
0044320 0000 0000 0000 4008 0000 0000 0000 4008
*
0062260 0000 0000 0000 4008 0000 0000 0000 3ff0
0062300 0000 0000 0000 3ff0 0000 0000 0000 3ff0
0062320 0000 0000 0000 4008 0000 0000 0000 4008
*
0065120 0000 0000 0000 3ff0 0000 0000 0000 3ff0
0065140 0000 0000 0000 3ff0 0000 0000 0000 4008
0065160 0000 0000 0000 4008 0000 0000 0000 4008
*
0067740 0000 0000 0000 4008 0000 0000 0000 3ff0
0067760 0000 0000 0000 3ff0 0000 0000 0000 3ff0
0070000 0000 0000 0000 3ff0 0000 0000 0000 4008
0070020 0000 0000 0000 4008 0000 0000 0000 4008
0070040 0000 0000 0000 4008 0000 0000 0000 3ff0
0070060 0000 0000 0000 4008 0000 0000 0000 4008
*
0072600 0000 0000 0000 4008 0000 0000 0000 3ff0
0072620 0000 0000 0000 3ff0 0000 0000 0000 3ff0
*
0072660 0000 0000 0000 4008 0000 0000 0000 4008
*
0074520 0000 0000 0000 4008 0000 0000 0000 3ff0
0074540 0000 0000 0000 4008 0000 0000 0000 4008
*
0075440 0000 0000 0000 4008 0000 0000 0000 3ff0
0075460 0000 0000 0000 3ff0 0000 0000 0000 3ff0
*
0075520 0000 0000 0000 4008 0000 0000 0000 4008
*
0077360 0000 0000 0000 3ff0 0000 0000 0000 3ff0
0077400 0000 0000 0000 3ff0 0000 0000 0000 4008
0077420 0000 0000 0000 4008 0000 0000 0000 4008
*
0100300 0000 0000 0000 4008 0000 0000 0000 3ff0
0100320 0000 0000 0000 3ff0 0000 0000 0000 3ff0
*
0100360 0000 0000 0000 4008 0000 0000 0000 4008
*
0102100 0000 0000 0000 3ff0 0000 0000 0000 4008
0102120 0000 0000 0000 4008 0000 0000 0000 4008
*
0102240 0000 0000 0000 3ff0 0000 0000 0000 3ff0
0102260 0000 0000 0000 4008 0000 0000 0000 4008
*
0103160 0000 0000 0000 3ff0 0000 0000 0000 3ff0
*
0103220 0000 0000 0000 3ff0 0000 0000 0000 4008

[SteveH]

Steve,
I just noticed a stray "9" in the file dump. That is not in the od -h dump, it must have crept in when I edited the file.

Steve

[Steven_L_Intel1]

Is the preprocessor symbol "linux" defined for your build?

[SteveH]

Yes, the definition is in the make file.

[Steven_L_Intel1]

Please show the declarations of the variables used in the READ statement,

[SteveH]

parameter (nlong= 96, nlatg=48, nlevg=18) ! T31, 18 levels
parameter (nlon2= 180,nlat2=90) ! sfc gcm
parameter (idtgcm = 6*3600) ! gcm data interval, sec

character typehisin*8, runtitle*80, cfield*8

integer ns,mdate1,myear ,mmon, mday, my1, my2, my3

From the make file:

FFLAGS = -r8 -fpe3 -cm -w -w90 -w95
FC = ifort
LD = $(FC)
#OPT = -fast
OPT = -O2
DEFS = -DNEWBDYIN -DTIMEAVOUT -DLSXMODEL -Dgcm -Drcm -DNETCDF -Dlinux -Dv3



regcm$(RES): $(OBJ)
$(LD) -o $@ $(FFLAGS) $(DEBUG) $(OPT) $(OBJ) $(LDLIBS)

[Steven_L_Intel1]

It looks to me as if the file you did the od of isn't the one read by the program where you show the output. Looking at the od output, I see a runtitle that begins 'V30.? ' The output you show suggests that the file has an extra four bytes of zero before the actual data starts. Ordinarily I would suggest that this is a traditional Fortran UNIX record length, but zero is not normal for this.

I'll also suggest that you replace RECORDTYPE='STREAM',CARRIAGECONTROL='NONE' with ACCESS='STREAM'.

[SteveH]

You're right, here is the correct dump. The other file is from a test to read files made with the GCM on the LINUX box. I also tried your suggested changes to the read statement, but got the same result.

0000000 0000 7400 4549 4545 2020 2020 5845 3250
0000020 5950 2043 202b 3931 3035 322d 3030 2032
0000040 5354 5245 4549 2053 2e31 5830 5320 5453
0000060 2020 2020 2020 2020 2020 2020 2020 2020
*
0000120 2020 2020 2020 2020 2020 2020 0000 6000
0000140 0000 3000 0000 1200 0000 a807 0000 0100
0000160 0000 0100 0000 6054 0000 7400 0000 0890
0000200 524f 204f 2020 2020 f03f 0000 0000 0000
0000220 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0005440 0000 0000 0000 0000 0000 0000 0000 0000
*
0005500 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0007000 f03f 0000 0000 0000 0000 0000 0000 0000
0007020 0000 0000 0000 0000 0000 0000 0000 0000
*
0007200 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0007440 0000 0000 0000 0000 0000 0000 0000 0000
*
0007520 0000 0000 0000 0000 f03f 0000 0000 0000
0007540 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0007620 f03f 0000 0000 0000 0000 0000 0000 0000
0007640 f03f 0000 0000 0000 f03f 0000 0000 0000
0007660 0000 0000 0000 0000 0000 0000 0000 0000
0007700 0000 0000 0000 0000 f03f 0000 0000 0000
0007720 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0010340 f03f 0000 0000 0000 0000 0000 0000 0000
0010360 0000 0000 0000 0000 0000 0000 0000 0000
*
0010720 0000 0000 0000 0000 f03f 0000 0000 0000
0010740 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0011020 f03f 0000 0000 0000 0000 0000 0000 0000
0011040 0000 0000 0000 0000 0000 0000 0000 0000
*
0011460 0000 0000 0000 0000 f03f 0000 0000 0000
0011500 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0011560 f03f 0000 0000 0000 0000 0000 0000 0000
0011600 0000 0000 0000 0000 0000 0000 0000 0000
0011620 f03f 0000 0000 0000 f03f 0000 0000 0000
*&n bsp;
0011660 f03f 0000 0000 0000 0000 0000 0000 0000
0011700 0000 0000 0000 0000 0000 0000 0000 0000
*
0012360 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0012420 f03f 0000 0000 0000 0000 0000 0000 0000
0012440 0000 0000 0000 0000 0000 0000 0000 0000
*
0016760 f03f 0000 0000 0000 f03f 0000 0000 0000
0017000 0000 0000 0000 0000 0000 0000 0000 0000
*
0020340 0000 0000 0000 0000 f03f 0000 0000 0000
0020360 f03f 0000 0000 0000 f03f 0000 0000 0000
0020400 0000 0000 0000 0000 0000 0000 0000 0000
*
0021360 f03f 0000 0000 0000 0000 0000 0000 0000
0021400 0000 0000 0000 0000 0000 0000 0000 0000
*
0021740 0000 0000 0000 0000 f03f 0000 0000 0000
0021760 f03f 0000 0000 0000 f03f 0000 0000 0000
0022000 0000 0000 0000 0000 0000 0000 0000 0000
*
0022760 f03f 0000 0000 0000 f03f 0000 0000 0000
0023000 0000 0000 0000 0000 0000 0000 0000 0000
*&n bsp;
0023340 0000 0000 0000 0000 f03f 0000 0000 0000
0023360 f03f 0000 0000 0000 f03f 0000 0000 0000
0023400 f03f 0000 0000 0000 0000 0000 0000 0000
0023420 0000 0000 0000 0000 0000 0000 0000 0000
*
0024260 0000 0000 0000 0000 f03f 0000 0000 0000
0024300 f03f 0000 0000 0000 0000 0000 0000 0000
0024320 0000 0000 0000 0000 0000 0000 0000 0000
*
0024360 0000 0000 0000 0000 f03f 0000 0000 0000
0024400 0000 0000 0000 0000 0000 0000 0000 0000
*
0024740 0000 0000 0000 0000 f03f 0000 0000 0000
0024760 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0025020 0000 0000 0000 0000 0000 0000 0000 0000
*
0025260 f03f 0000 0000 0000 f03f 0000 0000 0000
0025300 0000 0000 0000 0000 0000 0000 0000 0000
*
0025600 f03f 0000 0000 0000 f03f 0000 0000 0000
0025620 0000 0000 0000 0000 0000 0000 0000 0000
0025640 0000 0000 0000 0000 f03f 0000 0000 0000
0025660 f03f 0000 0000 0000 f03f 0000 0000 0000
0025700 f03f 0000 0000 0000 0000 0000 000 0 0000
0025720 0000 0000 0000 0000 0000 0000 0000 0000
*
0026360 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0026420 f03f 0000 0000 0000 0000 0000 0000 0000
0026440 0000 0000 0000 0000 0000 0000 0000 0000
*
0026640 0000 0000 0000 0000 f03f 0000 0000 0000
0026660 f03f 0000 0000 0000 f03f 0000 0000 0000
0026700 f03f 0000 0000 0000 0000 0000 0000 0000
0026720 0000 0000 0000 0000 0000 0000 0000 0000
*
0027160 0000 0000 0000 0000 f03f 0000 0000 0000
0027200 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0027320 0000 0000 0000 0000 0000 0000 0000 0000
*
0027760 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0030020 f03f 0000 0000 0000 0000 0000 0000 0000
0030040 0000 0000 0000 0000 0000 0000 0000 0000
*
0030240 0000 0000 0000 0000 f03f 0000 0000 0000
0030260 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0030320 0000 0000 0000 0000 0000 0000 0000 0000
*
0030560 0000 0000 0000 0000 f03f 0000 0000 0000
0030600 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0030720 0000 0000 0000 0000 0000 0000 0000 0000
*
0031360 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0031440 0000 0000 0000 0000 0000 0000 0000 0000
*
0031640 0000 0000 0000 0000 f03f 0000 0000 0000
0031660 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0031720 0000 0000 0000 0000 0000 0000 0000 0000
*
0032160 0000 0000 0000 0000 f03f 0000 0000 0000
0032200 f03f 0000 0000 0000 f03f 0000 0000 0000
*&nbs p;
0032320 0000 0000 0000 0000 0000 0000 0000 0000
*
0032760 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0033060 0000 0000 0000 0000 0000 0000 0000 0000
*
0033240 f03f 0000 0000 0000 f03f 0000 0000 0000
*
0033320 f03f 0000 0000 0000 0000 0000 0000 0000
0033340 0000 0000 0000 0000 f03f 0000 0000 0000
0033360 0000 0000 0000 0000 0000 0000 0000 0000
*
111016220 2340 ce41 78c9 f25b 3140 dd01 7d7f 7250
111016240 3340 fa9e ba6b ba61 3340 405b 3c45 4df7
111016260 3340 4282 8aca 58dd 3340 13f8 2834 67fa
111016300 2f40 e089 71c6 f9d6 1140 bd0d 116d 6b50
111016320 22c0 f346 bab1 8251 31c0 6f20 871b 8d3d
111016340 33c0 8852 ea9f 0d7b 33c0 002c d19c c66f
111016360 2ec0 efda 5153 c08d 13c0 80f5 092f 6aa5

[Steven_L_Intel1]

Ah, that's more like it. Take off the RECORDTYPE (and CARRIAGECONTROL) keywords entirely. This is a normal length-data-length Fortran unformatted file. CONVERT='BIG_ENDIAN' will be needed. It is not a "stream" file.

[SteveH]

Bingo! Many thanks for your help Steve. We are now able to take advantage of a 4X speed up for our models.

Steve