Wednesday, October 24, 2012

Linux下Data Alignment工作方式

花點時間紀錄一下自己最近所發生過的小狀況啦~


(1). Data Alignment:
  話說,個人覺得"Data alignment"的部份自己略有小著墨,但這兩三天卻被有關Data alignment的給弄掛了~狀況是這樣的,,為何傳遞的封包大小計算經sizeof(X)應該為58,但卻會大於我自己認為的大小? 經過網路上搜尋後才意識到,,對於32bit(4 Bytes)的CPU在擷取資料時會為了效率問題而執行"Data Alignment的動作, 所以儲存的資料皆為 4 Bytes的倍數為主.下列即為人家所探討的部份. (特別是下列Ex3~Ex5的解釋, 我覺得非常有意思)
http://kf99916cs.blogspot.tw/2012/10/data-structure-alignment.html
http://kezeodsnx.pixnet.net/blog/post/27585076-data-structure%E7%9A%84%E5%B0%8D%E9%BD%8A%28alignment%29
http://linyacheng.blogspot.tw/2011/10/c-data-structure-alignment.html

Data Structure Alignment 究竟是何物?
  它是為了加快執行速度而有的一種方式
  由於 CPU 架構的關係,在讀 memory 的時候會以一個 word 為單位(在 32-bit 系統是4 bytes 為1個 word),因此 data 在儲存時,memory offset 便會是 word size 倍數,藉此增加效能

Data Structrue Alignment 分成兩個部分:
    . Data Alignment: Data Alignment 即是上述所述,data 的 memory offset 會是 word size 的倍數.
    . Data Structure Padding: 在 data structure 尾巴塞入一些無意義的 bytes,使下一個 data structure 的 memory offset 能夠對齊.

在一個 32-bit 系統,常見的 C/C++ compiler 的 default alignments為:

  • char (1 byte): 1-byte aligned
  • short (2 bytes): 2-byte aligned
  • int (4 bytes): 4-byte aligned
  • float (4 bytes): 4-byte aligned
  • double (8 bytes): 8-byte aligned (in windows) / 4-byte aligned (in Linux)
  • Any pointer (4 bytes): 4-byte aligned
  用法:
    #pragma pack(push)  /* push current alignment to stack */
    #pragma pack(n)     /* set alignment to n byte boundary */
    #pragma pack()     /* cancel previous alignment to n byte boundary */ 

    #pragma pack(push)  /* pop previous alignment to stack */
    __attribute__ ((pack(n))) /* 要求某個structure使用pack(n) */ 

 Ex 1: 使用系統預設的alignment下為4Bytes, 所以下列memory佔用的話是12 Bytes, 非7 Bytes.
        struct align_test
        {
                char x; //1 byte
                int y;  //4 bytes
                short int z;  //2bytes
        };


 Ex 2:如果指定的 n 大於 structure 中成員的最大 size 將不起作用,仍依 size 最大的成員進行對齊。sizeof( struct D) 就會是 4 + 1 + p(1) = 6 bytes。
    #pragma pack(2)
    struct D {                            
      int a;  
      char b;        
    };
    #pragma pack()



 Ex 3: 為了更徹底的了解系統預設alinment的行為, 請看下列解釋
 Structure's Size: 12 bytes.
   struct MixedData {
     char data1;
     short data2;     int data3;      char data4;   };
Memory Offset:
  • data1:type 是 char,char 是 1-byte aligned,意思是其 memory 位置開頭必須是1 的倍數,所以就放在 0x00 的位置(假設是從 0x00 開始)
  • data2:type 是 short,short 是 2-byte aligned,所以其 memory 位置開頭必須是 2的倍數,因此 0x01 就會被放置一個 1 byte 的 padding,然後在 0x02 放 data2。因為 short size 比 char size 大,因此會 allocate 2-byte memory
  • data3:同理,4-byte aligned,allocate 4-byte memory
  • data4:雖然 size 是 1 byte,但由於目前最大的 alignment size 為 4 bytes,因此會 allocate 4-byte memory,後面的 3 bytes 就會是 padding
  • Compiler 在 alignment 時最大原則:以目前最大的 alignment size向前 padding,向後 allocate大小.
 Ex 4: 倘若細微變動Ex 3的結構的, 又會是如何?   Structure's Size: 8 bytes
     struct ReorderedMixedData {   // after reordering
        char data1;
        char data4; // reordered
        short data2;
        int data3;
     };
Memory Offset:


  • 在宣告 structure 時, 成員的順序其實是會有所影響的, 因此要宣告一個好的 structure,應該要減少 padding來降低 structure 的 size.



 Ex 5: 設定 alignment pack size 為 1 byte, 因此原本 data2 和 data4 會出現 padding 的情況就消失了. 實際結果如下: Structure's Size: 8 bytes


    #pragma pack(push)  // push current alignment to stack 
    #pragma pack(1)     // set alignment to 1 byte boundary

    struct PackedData {
      char  data1;
      short data2;
      int   data3;
      char  data4;
    };
    #pragma pack(pop)   // restore original alignment from stack


P.S:
   (a). 宣告 structure 時,成員的順序看起來沒有影響,但其實是有的,一個好的 structure 應該要減少 padding 產生,這樣便能降低 structure 的大小.    (b). pack(n) 如果n比structure中最大member size還大 那還是會用最大member的size來alignment 
   (c). 在網路傳輸資料時, 需要用pack(1)來避免compiler作padding的動作.

Tuesday, October 2, 2012

MTD簡介, /dev/mtd與/dev/mtdblok的區別

轉:http://kezeodsnx.pixnet.net/blog/post/34193523-mtd%E7%B0%A1%E4%BB%8B

轉:http://blog.csdn.net/liangkaiming/article/details/6235031

Character or block device?
Character指的是keyboard,mouse這類device。可以向這些device讀東西出來,但不能做seek,也沒有size的觀念。而block device則可seek,也有size,一個block通常是512 bytes。
而flash的bahavior像block device,其不同點為:
1. block device的write/erash是沒有區別的
2. block device是由sector組成,而MTD則是erase block
3. hardware處理bad block,而MTD需要software
因此就有了MTD這個特別的device type。
Note: USB stick, MMC, SD, CompactFlash也稱為flash,但這些都不是flash device。他們內部有flash chip,但除了chip,還有一層模擬為block device的translation layer,且這個translation實作在硬體上,所以應視為hard drive。

MTD subsystem
MTD (Memory Techology Device)是一個subsystem,用來簡化底層的flash device (ROM/NAND/OneNAND/NOR)的driver。在MTD下,driver只需提供read/write/erase的功能,而不需知道其上是使用FTL (Flash Translation Layer),還是FFS (Flash File System)。
FTL是用來模擬Flash device為block device,因此可以在上面create filesystem。而FFS則是為flash device設計的filesystem。各有其優缺點,可見Wiki
為了讓既有的filesystem (fat/ext/xfs...)能用在flash device上,就需要FTL這個software layer。mtdblock就是其中一種FTL。要注意的是使用FTL時,如果改了其中一個sector,就必須讀一整個eraseblock到 memory,然後erase,最後再把整個eraseblock寫回,顯然cost很高。因此通常建議使用mtdblock_ro,也可再加上 squashfs。將mtdblock mount成rw前,一定要多想一下是否值得這樣做。
mtdblock也沒有wear leveling。

Linux系统中/dev/mtd /dev/mtdblock 的區別

MTD(memory technology device內存技朮設備)是用於訪問memory設備(ROMflash)的Linux的子系統。MTD的主要目的是為了使新的memory設備的驅 動更加簡單,為此它在硬件和上層之間提供了一個抽象的接口。MTD的所有源代碼在/drivers/mtd子目錄下。我將CFI接口的MTD設備分為四層 (從設備節點直到底層硬件驅動),這四層從上到下依次是:設備節點、MTD設備層、MTD原始設備層和硬件驅動層。
MTD
字符驅動程序允直接訪問flash器件通常用flash建文件系,也可以用來直接訪問不頻繁修改的數據。
MTD
塊設備驅動程序可以flash器件偽裝塊設備實際上它通把整erase block放到ram里面訪問,然后再更新到flash,用可以在這個塊設備建通常的文件系
1. /dev/mtdN Linux 中的MTD架搆中,系統自己實現的mtd分區所對應的字符設備(mtd設備分成多個區,每個區字符設備),其里面添加了一些ioctl,支持很多命令,如MEMGETINFOMEMERASE等。
mtd-util中的flash_eraseall等工具,就是ioctl實現的工具實現一些關於Flash的操作。比如,mtd 工具中的 flash_eraseall中的:
if (ioctl(fd, MEMGETINFO, &meminfo) != 0) {
   fprintf(stderr, "%s: %s: unable to get MTD device info/n", exe_name, mtd_device);
   return 1;
}

其中,MEMGETINFO,就是Linux MTD中的drivers/mtd/mtdchar.c中的:
static int mtd_ioctl(struct inode *inode, struct file *file,
       u_int cmd, u_long arg)
{
。。。。。
case MEMGETINFO:
   info.type = mtd->type;
   info.flags = mtd->flags;
   info.size = mtd->size;
   info.erasesize = mtd->erasesize;
   info.writesize = mtd->writesize;
   info.oobsize = mtd->oobsize;
   /* The below fields are obsolete */
   info.ecctype = -1;
   info.eccsize = 0;
   if (copy_to_user(argp, &info, sizeof(struct mtd_info_user)))
    return -EFAULT;
   break;

。。。
}
/dev/mtdblockN,是Nand Flash驅動中,驅動用add_mtd_partitions()添加MTD設備分區(其實就是將mtd設備進行不衕的分區,當mtd設備還是一樣的,所以mtdblock分區與mtd分區肯定是對應的),而生成的對應的塊設備
根據以上內容,也就更加明白,為什么不能用nandwrite,flash_eraseall,flash_erase等工具去對/dev/mtdblockN去操作了。因為/dev/mtdblock中不包含對應ioctl,也就沒有定義對應的命令,不支持你這么操作。
2. mtd char 設備的主設備號是90,而mtd block設備的主設備號是31
# ls /dev/mtd* -l crw-r-----    1 root     root      90,   0 May 30 2007 /dev/mtd0
crw-r-----    1 root     root      90,   2 May 30 2007 /dev/mtd1
crw-r-----    1 root     root      90,   4 Jul 17 2009 /dev/mtd2
crw-r-----    1 root     root      90,   6 May 30 2007 /dev/mtd3
crwxrwxrwx    1 root     root      90,   8 May 30 2007 /dev/mtd4
crwxrwxrwx    1 root     root      90, 10 May 30 2007 /dev/mtd5
crwxrwxrwx    1 root     root      90, 12 May 30 2007 /dev/mtd6
crwxrwxrwx    1 root     root      90, 14 May 30 2007 /dev/mtd7
crwxrwxrwx    1 root     root      90, 16 May 30 2007 /dev/mtd8
crwxrwxrwx    1 root     root      90, 18 May 30 2007 /dev/mtd9
# ls /dev/mtdblock* -lbrw-r-----    1 root     root      31,   0 May 30 2007 /dev/mtdblock0
brw-r-----    1 root     root      31,   1 May 30 2007 /dev/mtdblock1
brw-r-----    1 root     root      31,   2 May 30 2007 /dev/mtdblock2
brw-r-----    1 root     root      31,   3 May 30 2007 /dev/mtdblock3
brwxrwxrwx    1 root     root      31,   4 May 30 2007 /dev/mtdblock4
brwxrwxrwx    1 root     root      31,   5 May 30 2007 /dev/mtdblock5
brwxrwxrwx    1 root     root      31,   6 May 30 2007 /dev/mtdblock6
brwxrwxrwx    1 root     root      31,   7 May 30 2007 /dev/mtdblock7
brwxrwxrwx    1 root     root      31,   8 May 30 2007 /dev/mtdblock8
brwxrwxrwx    1 root     root      31,   9 May 30 2007 /dev/mtdblock9
此設備號,定義在/include/linux/mtd/mtd.h中 :
#define MTD_CHAR_MAJOR   90
#define MTD_BLOCK_MAJOR 31
3. 其中,mtd的塊設備的大小,可以通過查看分區信息獲得:
# cat /proc/partitions
major minor #blocks name
31     0       1024 mtdblock0
31     1       8192 mtdblock1
31     2     204800 mtdblock2
31     3      65536 mtdblock3
31     4     225280 mtdblock4
上面中顯示的塊設備大小,是block的數目,每個block1KB
而每字符設備,其就是對應著上面的每個塊設備。即/dev/mtd0對應/dev/mtdblock0,其他以此推。話說mtdblockN的一些性,也就是mtdN性,比如大小。
4。對每個mtd字符設備的操作,比如利用nandwrite去對/dev/mtd0寫數據,實際就是操作/dev/mtdblock0
而這些操作里面涉及到的偏移量offset,都指的是此mtd 分區內的偏移。比如向/dev/mtd1offset0的位置寫入數據,實際操作的是物理偏移offset=/dev/mtd0的大小=1MB=0x100000
5.mtd的字符設備和塊設備的命名規則,可以參考下表:
Table 7-1. MTD /dev entries, corresponding MTD user modules, and relevant device major numbers
/dev entry
Accessible MTD user module
Device type
Major number
mtdN
char device
char
90
mtdrN
char device
char
90
mtdblockN
block device, read-only block device, JFFS, and JFFS2
block
31
nftlLN
NFTL
block
93
ftlLN
FTL
block
44

Table 7-2. MTD /dev entries, minor numbers, and naming schemes
/dev entry
Minor number range
Naming scheme
mtdN
0 to 32 per increments of 2
N = minor / 2
mtdrN
1 to 33 per increments of 2
N = (minor - 1) / 2
mtdblockN
0 to 16 per increments of 1
N = minor
nftlLN
0 to 255 per sets of 16
L = set;[2] N = minor - (set - 1) x 16; N is not appended to entry name if its value is zero.
ftlLN
0 to 255 per sets of 16
Same as NFTL.


The Linux MTD,YAFFS Howto上面這樣寫道:
Erase the mtdblock0
/>eraseall /dev/mtd0Create the mount directory and mount
/>mkdir -p /mnt/flash0
/>mount -t yaffs /dev/mtdblock0 /mnt/flash0
為什么eraseallmtd0操作?而不對mtdblock0操作?nand不是塊設備嘛,mtdblock就是塊設備呀。mtd0,mtd1mtdblock0,mtdblock1是不是一一對應的?