Diff for /qemu/exec.c between versions 1.1.1.12 and 1.1.1.15

version 1.1.1.12, 2018/04/24 17:57:49 version 1.1.1.15, 2018/04/24 18:56:22
Line 23 Line 23
 #include <sys/types.h>  #include <sys/types.h>
 #include <sys/mman.h>  #include <sys/mman.h>
 #endif  #endif
 #include <stdlib.h>  
 #include <stdio.h>  
 #include <stdarg.h>  
 #include <string.h>  
 #include <errno.h>  
 #include <unistd.h>  
 #include <inttypes.h>  
   
 #include "cpu.h"  
 #include "exec-all.h"  
 #include "qemu-common.h"  #include "qemu-common.h"
   #include "cpu.h"
 #include "tcg.h"  #include "tcg.h"
 #include "hw/hw.h"  #include "hw/hw.h"
   #include "hw/qdev.h"
 #include "osdep.h"  #include "osdep.h"
 #include "kvm.h"  #include "kvm.h"
   #include "hw/xen.h"
   #include "qemu-timer.h"
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
 #include <qemu.h>  #include <qemu.h>
   #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
   #include <sys/param.h>
   #if __FreeBSD_version >= 700104
   #define HAVE_KINFO_GETVMMAP
   #define sigqueue sigqueue_freebsd  /* avoid redefinition */
   #include <sys/time.h>
   #include <sys/proc.h>
   #include <machine/profile.h>
   #define _KERNEL
   #include <sys/user.h>
   #undef _KERNEL
   #undef sigqueue
   #include <libutil.h>
   #endif
   #endif
   #else /* !CONFIG_USER_ONLY */
   #include "xen-mapcache.h"
   #include "trace.h"
 #endif  #endif
   
 //#define DEBUG_TB_INVALIDATE  //#define DEBUG_TB_INVALIDATE
Line 61 Line 74
   
 #define SMC_BITMAP_USE_THRESHOLD 10  #define SMC_BITMAP_USE_THRESHOLD 10
   
 #if defined(TARGET_SPARC64)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 41  
 #elif defined(TARGET_SPARC)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 36  
 #elif defined(TARGET_ALPHA)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 42  
 #define TARGET_VIRT_ADDR_SPACE_BITS 42  
 #elif defined(TARGET_PPC64)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 42  
 #elif defined(TARGET_X86_64)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 42  
 #elif defined(TARGET_I386)  
 #define TARGET_PHYS_ADDR_SPACE_BITS 36  
 #else  
 #define TARGET_PHYS_ADDR_SPACE_BITS 32  
 #endif  
   
 static TranslationBlock *tbs;  static TranslationBlock *tbs;
 int code_gen_max_blocks;  static int code_gen_max_blocks;
 TranslationBlock *tb_phys_hash[CODE_GEN_PHYS_HASH_SIZE];  TranslationBlock *tb_phys_hash[CODE_GEN_PHYS_HASH_SIZE];
 static int nb_tbs;  static int nb_tbs;
 /* any access to the tbs or the page table must use this lock */  /* any access to the tbs or the page table must use this lock */
Line 106  static uint8_t *code_gen_buffer; Line 102  static uint8_t *code_gen_buffer;
 static unsigned long code_gen_buffer_size;  static unsigned long code_gen_buffer_size;
 /* threshold to flush the translated code buffer */  /* threshold to flush the translated code buffer */
 static unsigned long code_gen_buffer_max_size;  static unsigned long code_gen_buffer_max_size;
 uint8_t *code_gen_ptr;  static uint8_t *code_gen_ptr;
   
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
 int phys_ram_fd;  int phys_ram_fd;
 uint8_t *phys_ram_dirty;  
 static int in_migration;  static int in_migration;
   
 typedef struct RAMBlock {  RAMList ram_list = { .blocks = QLIST_HEAD_INITIALIZER(ram_list) };
     uint8_t *host;  
     ram_addr_t offset;  
     ram_addr_t length;  
     struct RAMBlock *next;  
 } RAMBlock;  
   
 static RAMBlock *ram_blocks;  
 /* TODO: When we implement (and use) ram deallocation (e.g. for hotplug)  
    then we can no longer assume contiguous ram offsets, and external uses  
    of this variable will break.  */  
 ram_addr_t last_ram_offset;  
 #endif  #endif
   
 CPUState *first_cpu;  CPUState *first_cpu;
Line 151  typedef struct PageDesc { Line 135  typedef struct PageDesc {
 #endif  #endif
 } PageDesc;  } PageDesc;
   
 typedef struct PhysPageDesc {  /* In system mode we want L1_MAP to be based on ram offsets,
     /* offset in host memory of the page + io_index in the low bits */     while in user mode we want it to be based on virtual addresses.  */
     ram_addr_t phys_offset;  #if !defined(CONFIG_USER_ONLY)
     ram_addr_t region_offset;  #if HOST_LONG_BITS < TARGET_PHYS_ADDR_SPACE_BITS
 } PhysPageDesc;  # define L1_MAP_ADDR_SPACE_BITS  HOST_LONG_BITS
   #else
   # define L1_MAP_ADDR_SPACE_BITS  TARGET_PHYS_ADDR_SPACE_BITS
   #endif
   #else
   # define L1_MAP_ADDR_SPACE_BITS  TARGET_VIRT_ADDR_SPACE_BITS
   #endif
   
   /* Size of the L2 (and L3, etc) page tables.  */
 #define L2_BITS 10  #define L2_BITS 10
 #if defined(CONFIG_USER_ONLY) && defined(TARGET_VIRT_ADDR_SPACE_BITS)  #define L2_SIZE (1 << L2_BITS)
 /* XXX: this is a temporary hack for alpha target.  
  *      In the future, this is to be replaced by a multi-level table  /* The bits remaining after N lower levels of page tables.  */
  *      to actually be able to handle the complete 64 bits address space.  #define P_L1_BITS_REM \
  */      ((TARGET_PHYS_ADDR_SPACE_BITS - TARGET_PAGE_BITS) % L2_BITS)
 #define L1_BITS (TARGET_VIRT_ADDR_SPACE_BITS - L2_BITS - TARGET_PAGE_BITS)  #define V_L1_BITS_REM \
       ((L1_MAP_ADDR_SPACE_BITS - TARGET_PAGE_BITS) % L2_BITS)
   
   /* Size of the L1 page table.  Avoid silly small sizes.  */
   #if P_L1_BITS_REM < 4
   #define P_L1_BITS  (P_L1_BITS_REM + L2_BITS)
 #else  #else
 #define L1_BITS (32 - L2_BITS - TARGET_PAGE_BITS)  #define P_L1_BITS  P_L1_BITS_REM
 #endif  #endif
   
 #define L1_SIZE (1 << L1_BITS)  #if V_L1_BITS_REM < 4
 #define L2_SIZE (1 << L2_BITS)  #define V_L1_BITS  (V_L1_BITS_REM + L2_BITS)
   #else
   #define V_L1_BITS  V_L1_BITS_REM
   #endif
   
   #define P_L1_SIZE  ((target_phys_addr_t)1 << P_L1_BITS)
   #define V_L1_SIZE  ((target_ulong)1 << V_L1_BITS)
   
   #define P_L1_SHIFT (TARGET_PHYS_ADDR_SPACE_BITS - TARGET_PAGE_BITS - P_L1_BITS)
   #define V_L1_SHIFT (L1_MAP_ADDR_SPACE_BITS - TARGET_PAGE_BITS - V_L1_BITS)
   
 unsigned long qemu_real_host_page_size;  unsigned long qemu_real_host_page_size;
 unsigned long qemu_host_page_bits;  unsigned long qemu_host_page_bits;
 unsigned long qemu_host_page_size;  unsigned long qemu_host_page_size;
 unsigned long qemu_host_page_mask;  unsigned long qemu_host_page_mask;
   
 /* XXX: for system emulation, it could just be an array */  /* This is a multi-level map on the virtual address space.
 static PageDesc *l1_map[L1_SIZE];     The bottom level has pointers to PageDesc.  */
 static PhysPageDesc **l1_phys_map;  static void *l1_map[V_L1_SIZE];
   
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
   typedef struct PhysPageDesc {
       /* offset in host memory of the page + io_index in the low bits */
       ram_addr_t phys_offset;
       ram_addr_t region_offset;
   } PhysPageDesc;
   
   /* This is a multi-level map on the physical address space.
      The bottom level has pointers to PhysPageDesc.  */
   static void *l1_phys_map[P_L1_SIZE];
   
 static void io_mem_init(void);  static void io_mem_init(void);
   
 /* io memory support */  /* io memory support */
Line 192  static int io_mem_watch; Line 207  static int io_mem_watch;
 #endif  #endif
   
 /* log support */  /* log support */
   #ifdef WIN32
   static const char *logfilename = "qemu.log";
   #else
 static const char *logfilename = "/tmp/qemu.log";  static const char *logfilename = "/tmp/qemu.log";
   #endif
 FILE *logfile;  FILE *logfile;
 int loglevel;  int loglevel;
 static int log_append = 0;  static int log_append = 0;
   
 /* statistics */  /* statistics */
   #if !defined(CONFIG_USER_ONLY)
 static int tlb_flush_count;  static int tlb_flush_count;
   #endif
 static int tb_flush_count;  static int tb_flush_count;
 static int tb_phys_invalidate_count;  static int tb_phys_invalidate_count;
   
 #define SUBPAGE_IDX(addr) ((addr) & ~TARGET_PAGE_MASK)  
 typedef struct subpage_t {  
     target_phys_addr_t base;  
     CPUReadMemoryFunc * const *mem_read[TARGET_PAGE_SIZE][4];  
     CPUWriteMemoryFunc * const *mem_write[TARGET_PAGE_SIZE][4];  
     void *opaque[TARGET_PAGE_SIZE][2][4];  
     ram_addr_t region_offset[TARGET_PAGE_SIZE][2][4];  
 } subpage_t;  
   
 #ifdef _WIN32  #ifdef _WIN32
 static void map_exec(void *addr, long size)  static void map_exec(void *addr, long size)
 {  {
Line 259  static void page_init(void) Line 271  static void page_init(void)
     while ((1 << qemu_host_page_bits) < qemu_host_page_size)      while ((1 << qemu_host_page_bits) < qemu_host_page_size)
         qemu_host_page_bits++;          qemu_host_page_bits++;
     qemu_host_page_mask = ~(qemu_host_page_size - 1);      qemu_host_page_mask = ~(qemu_host_page_size - 1);
     l1_phys_map = qemu_vmalloc(L1_SIZE * sizeof(void *));  
     memset(l1_phys_map, 0, L1_SIZE * sizeof(void *));  
   
 #if !defined(_WIN32) && defined(CONFIG_USER_ONLY)  #if defined(CONFIG_BSD) && defined(CONFIG_USER_ONLY)
     {      {
         long long startaddr, endaddr;  #ifdef HAVE_KINFO_GETVMMAP
           struct kinfo_vmentry *freep;
           int i, cnt;
   
           freep = kinfo_getvmmap(getpid(), &cnt);
           if (freep) {
               mmap_lock();
               for (i = 0; i < cnt; i++) {
                   unsigned long startaddr, endaddr;
   
                   startaddr = freep[i].kve_start;
                   endaddr = freep[i].kve_end;
                   if (h2g_valid(startaddr)) {
                       startaddr = h2g(startaddr) & TARGET_PAGE_MASK;
   
                       if (h2g_valid(endaddr)) {
                           endaddr = h2g(endaddr);
                           page_set_flags(startaddr, endaddr, PAGE_RESERVED);
                       } else {
   #if TARGET_ABI_BITS <= L1_MAP_ADDR_SPACE_BITS
                           endaddr = ~0ul;
                           page_set_flags(startaddr, endaddr, PAGE_RESERVED);
   #endif
                       }
                   }
               }
               free(freep);
               mmap_unlock();
           }
   #else
         FILE *f;          FILE *f;
         int n;  
   
         mmap_lock();  
         last_brk = (unsigned long)sbrk(0);          last_brk = (unsigned long)sbrk(0);
         f = fopen("/proc/self/maps", "r");  
           f = fopen("/compat/linux/proc/self/maps", "r");
         if (f) {          if (f) {
               mmap_lock();
   
             do {              do {
                 n = fscanf (f, "%llx-%llx %*[^\n]\n", &startaddr, &endaddr);                  unsigned long startaddr, endaddr;
                 if (n == 2) {                  int n;
                     startaddr = MIN(startaddr,  
                                     (1ULL << TARGET_PHYS_ADDR_SPACE_BITS) - 1);                  n = fscanf (f, "%lx-%lx %*[^\n]\n", &startaddr, &endaddr);
                     endaddr = MIN(endaddr,  
                                     (1ULL << TARGET_PHYS_ADDR_SPACE_BITS) - 1);                  if (n == 2 && h2g_valid(startaddr)) {
                     page_set_flags(startaddr & TARGET_PAGE_MASK,                      startaddr = h2g(startaddr) & TARGET_PAGE_MASK;
                                    TARGET_PAGE_ALIGN(endaddr),  
                                    PAGE_RESERVED);                       if (h2g_valid(endaddr)) {
                           endaddr = h2g(endaddr);
                       } else {
                           endaddr = ~0ul;
                       }
                       page_set_flags(startaddr, endaddr, PAGE_RESERVED);
                 }                  }
             } while (!feof(f));              } while (!feof(f));
   
             fclose(f);              fclose(f);
               mmap_unlock();
         }          }
         mmap_unlock();  
     }  
 #endif  #endif
 }      }
   
 static inline PageDesc **page_l1_map(target_ulong index)  
 {  
 #if TARGET_LONG_BITS > 32  
     /* Host memory outside guest VM.  For 32-bit targets we have already  
        excluded high addresses.  */  
     if (index > ((target_ulong)L2_SIZE * L1_SIZE))  
         return NULL;  
 #endif  #endif
     return &l1_map[index >> L2_BITS];  
 }  }
   
 static inline PageDesc *page_find_alloc(target_ulong index)  static PageDesc *page_find_alloc(tb_page_addr_t index, int alloc)
 {  {
     PageDesc **lp, *p;      PageDesc *pd;
     lp = page_l1_map(index);      void **lp;
     if (!lp)      int i;
         return NULL;  
   
     p = *lp;  
     if (!p) {  
         /* allocate if not found */  
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
         size_t len = sizeof(PageDesc) * L2_SIZE;      /* We can't use qemu_malloc because it may recurse into a locked mutex. */
         /* Don't use qemu_malloc because it may recurse.  */  # define ALLOC(P, SIZE)                                 \
         p = mmap(NULL, len, PROT_READ | PROT_WRITE,      do {                                                \
                  MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);          P = mmap(NULL, SIZE, PROT_READ | PROT_WRITE,    \
         *lp = p;                   MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);   \
         if (h2g_valid(p)) {      } while (0)
             unsigned long addr = h2g(p);  
             page_set_flags(addr & TARGET_PAGE_MASK,  
                            TARGET_PAGE_ALIGN(addr + len),  
                            PAGE_RESERVED);   
         }  
 #else  #else
         p = qemu_mallocz(sizeof(PageDesc) * L2_SIZE);  # define ALLOC(P, SIZE) \
         *lp = p;      do { P = qemu_mallocz(SIZE); } while (0)
 #endif  #endif
   
       /* Level 1.  Always allocated.  */
       lp = l1_map + ((index >> V_L1_SHIFT) & (V_L1_SIZE - 1));
   
       /* Level 2..N-1.  */
       for (i = V_L1_SHIFT / L2_BITS - 1; i > 0; i--) {
           void **p = *lp;
   
           if (p == NULL) {
               if (!alloc) {
                   return NULL;
               }
               ALLOC(p, sizeof(void *) * L2_SIZE);
               *lp = p;
           }
   
           lp = p + ((index >> (i * L2_BITS)) & (L2_SIZE - 1));
       }
   
       pd = *lp;
       if (pd == NULL) {
           if (!alloc) {
               return NULL;
           }
           ALLOC(pd, sizeof(PageDesc) * L2_SIZE);
           *lp = pd;
     }      }
     return p + (index & (L2_SIZE - 1));  
   #undef ALLOC
   
       return pd + (index & (L2_SIZE - 1));
 }  }
   
 static inline PageDesc *page_find(target_ulong index)  static inline PageDesc *page_find(tb_page_addr_t index)
 {  {
     PageDesc **lp, *p;      return page_find_alloc(index, 0);
     lp = page_l1_map(index);  
     if (!lp)  
         return NULL;  
   
     p = *lp;  
     if (!p) {  
         return NULL;  
     }  
     return p + (index & (L2_SIZE - 1));  
 }  }
   
   #if !defined(CONFIG_USER_ONLY)
 static PhysPageDesc *phys_page_find_alloc(target_phys_addr_t index, int alloc)  static PhysPageDesc *phys_page_find_alloc(target_phys_addr_t index, int alloc)
 {  {
     void **lp, **p;  
     PhysPageDesc *pd;      PhysPageDesc *pd;
       void **lp;
       int i;
   
     p = (void **)l1_phys_map;      /* Level 1.  Always allocated.  */
 #if TARGET_PHYS_ADDR_SPACE_BITS > 32      lp = l1_phys_map + ((index >> P_L1_SHIFT) & (P_L1_SIZE - 1));
   
 #if TARGET_PHYS_ADDR_SPACE_BITS > (32 + L1_BITS)      /* Level 2..N-1.  */
 #error unsupported TARGET_PHYS_ADDR_SPACE_BITS      for (i = P_L1_SHIFT / L2_BITS - 1; i > 0; i--) {
 #endif          void **p = *lp;
     lp = p + ((index >> (L1_BITS + L2_BITS)) & (L1_SIZE - 1));          if (p == NULL) {
     p = *lp;              if (!alloc) {
     if (!p) {                  return NULL;
         /* allocate if not found */              }
         if (!alloc)              *lp = p = qemu_mallocz(sizeof(void *) * L2_SIZE);
             return NULL;          }
         p = qemu_vmalloc(sizeof(void *) * L1_SIZE);          lp = p + ((index >> (i * L2_BITS)) & (L2_SIZE - 1));
         memset(p, 0, sizeof(void *) * L1_SIZE);  
         *lp = p;  
     }      }
 #endif  
     lp = p + ((index >> L2_BITS) & (L1_SIZE - 1));  
     pd = *lp;      pd = *lp;
     if (!pd) {      if (pd == NULL) {
         int i;          int i;
         /* allocate if not found */  
         if (!alloc)          if (!alloc) {
             return NULL;              return NULL;
         pd = qemu_vmalloc(sizeof(PhysPageDesc) * L2_SIZE);          }
         *lp = pd;  
           *lp = pd = qemu_malloc(sizeof(PhysPageDesc) * L2_SIZE);
   
         for (i = 0; i < L2_SIZE; i++) {          for (i = 0; i < L2_SIZE; i++) {
           pd[i].phys_offset = IO_MEM_UNASSIGNED;              pd[i].phys_offset = IO_MEM_UNASSIGNED;
           pd[i].region_offset = (index + i) << TARGET_PAGE_BITS;              pd[i].region_offset = (index + i) << TARGET_PAGE_BITS;
         }          }
     }      }
     return ((PhysPageDesc *)pd) + (index & (L2_SIZE - 1));  
       return pd + (index & (L2_SIZE - 1));
 }  }
   
 static inline PhysPageDesc *phys_page_find(target_phys_addr_t index)  static inline PhysPageDesc *phys_page_find(target_phys_addr_t index)
Line 390  static inline PhysPageDesc *phys_page_fi Line 439  static inline PhysPageDesc *phys_page_fi
     return phys_page_find_alloc(index, 0);      return phys_page_find_alloc(index, 0);
 }  }
   
 #if !defined(CONFIG_USER_ONLY)  
 static void tlb_protect_code(ram_addr_t ram_addr);  static void tlb_protect_code(ram_addr_t ram_addr);
 static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,  static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,
                                     target_ulong vaddr);                                      target_ulong vaddr);
Line 407  static void tlb_unprotect_code_phys(CPUS Line 455  static void tlb_unprotect_code_phys(CPUS
 #endif  #endif
   
 #ifdef USE_STATIC_CODE_GEN_BUFFER  #ifdef USE_STATIC_CODE_GEN_BUFFER
 static uint8_t static_code_gen_buffer[DEFAULT_CODE_GEN_BUFFER_SIZE];  static uint8_t static_code_gen_buffer[DEFAULT_CODE_GEN_BUFFER_SIZE]
                  __attribute__((aligned (CODE_GEN_ALIGN)));
 #endif  #endif
   
 static void code_gen_alloc(unsigned long tb_size)  static void code_gen_alloc(unsigned long tb_size)
Line 454  static void code_gen_alloc(unsigned long Line 503  static void code_gen_alloc(unsigned long
         start = (void *) 0x01000000UL;          start = (void *) 0x01000000UL;
         if (code_gen_buffer_size > 16 * 1024 * 1024)          if (code_gen_buffer_size > 16 * 1024 * 1024)
             code_gen_buffer_size = 16 * 1024 * 1024;              code_gen_buffer_size = 16 * 1024 * 1024;
   #elif defined(__s390x__)
           /* Map the buffer so that we can use direct calls and branches.  */
           /* We have a +- 4GB range on the branches; leave some slop.  */
           if (code_gen_buffer_size > (3ul * 1024 * 1024 * 1024)) {
               code_gen_buffer_size = 3ul * 1024 * 1024 * 1024;
           }
           start = (void *)0x90000000UL;
 #endif  #endif
         code_gen_buffer = mmap(start, code_gen_buffer_size,          code_gen_buffer = mmap(start, code_gen_buffer_size,
                                PROT_WRITE | PROT_READ | PROT_EXEC,                                 PROT_WRITE | PROT_READ | PROT_EXEC,
Line 463  static void code_gen_alloc(unsigned long Line 519  static void code_gen_alloc(unsigned long
             exit(1);              exit(1);
         }          }
     }      }
 #elif defined(__FreeBSD__) || defined(__FreeBSD_kernel__) || defined(__DragonFly__)  #elif defined(__FreeBSD__) || defined(__FreeBSD_kernel__) \
       || defined(__DragonFly__) || defined(__OpenBSD__)
     {      {
         int flags;          int flags;
         void *addr = NULL;          void *addr = NULL;
Line 476  static void code_gen_alloc(unsigned long Line 533  static void code_gen_alloc(unsigned long
         /* Cannot map more than that */          /* Cannot map more than that */
         if (code_gen_buffer_size > (800 * 1024 * 1024))          if (code_gen_buffer_size > (800 * 1024 * 1024))
             code_gen_buffer_size = (800 * 1024 * 1024);              code_gen_buffer_size = (800 * 1024 * 1024);
   #elif defined(__sparc_v9__)
           // Map the buffer below 2G, so we can use direct calls and branches
           flags |= MAP_FIXED;
           addr = (void *) 0x60000000UL;
           if (code_gen_buffer_size > (512 * 1024 * 1024)) {
               code_gen_buffer_size = (512 * 1024 * 1024);
           }
 #endif  #endif
         code_gen_buffer = mmap(addr, code_gen_buffer_size,          code_gen_buffer = mmap(addr, code_gen_buffer_size,
                                PROT_WRITE | PROT_READ | PROT_EXEC,                                  PROT_WRITE | PROT_READ | PROT_EXEC, 
Line 491  static void code_gen_alloc(unsigned long Line 555  static void code_gen_alloc(unsigned long
 #endif  #endif
 #endif /* !USE_STATIC_CODE_GEN_BUFFER */  #endif /* !USE_STATIC_CODE_GEN_BUFFER */
     map_exec(code_gen_prologue, sizeof(code_gen_prologue));      map_exec(code_gen_prologue, sizeof(code_gen_prologue));
     code_gen_buffer_max_size = code_gen_buffer_size -       code_gen_buffer_max_size = code_gen_buffer_size -
         code_gen_max_block_size();          (TCG_MAX_OP_SIZE * OPC_BUF_SIZE);
     code_gen_max_blocks = code_gen_buffer_size / CODE_GEN_AVG_BLOCK_SIZE;      code_gen_max_blocks = code_gen_buffer_size / CODE_GEN_AVG_BLOCK_SIZE;
     tbs = qemu_malloc(code_gen_max_blocks * sizeof(TranslationBlock));      tbs = qemu_malloc(code_gen_max_blocks * sizeof(TranslationBlock));
 }  }
Line 509  void cpu_exec_init_all(unsigned long tb_ Line 573  void cpu_exec_init_all(unsigned long tb_
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
     io_mem_init();      io_mem_init();
 #endif  #endif
   #if !defined(CONFIG_USER_ONLY) || !defined(CONFIG_USE_GUEST_BASE)
       /* There's no guest base to take into account, so go ahead and
          initialize the prologue now.  */
       tcg_prologue_init(&tcg_ctx);
   #endif
 }  }
   
 #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)  #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)
   
 static void cpu_common_pre_save(void *opaque)  
 {  
     CPUState *env = opaque;  
   
     cpu_synchronize_state(env);  
 }  
   
 static int cpu_common_pre_load(void *opaque)  
 {  
     CPUState *env = opaque;  
   
     cpu_synchronize_state(env);  
     return 0;  
 }  
   
 static int cpu_common_post_load(void *opaque, int version_id)  static int cpu_common_post_load(void *opaque, int version_id)
 {  {
     CPUState *env = opaque;      CPUState *env = opaque;
Line 545  static const VMStateDescription vmstate_ Line 599  static const VMStateDescription vmstate_
     .version_id = 1,      .version_id = 1,
     .minimum_version_id = 1,      .minimum_version_id = 1,
     .minimum_version_id_old = 1,      .minimum_version_id_old = 1,
     .pre_save = cpu_common_pre_save,  
     .pre_load = cpu_common_pre_load,  
     .post_load = cpu_common_post_load,      .post_load = cpu_common_post_load,
     .fields      = (VMStateField []) {      .fields      = (VMStateField []) {
         VMSTATE_UINT32(halted, CPUState),          VMSTATE_UINT32(halted, CPUState),
Line 588  void cpu_exec_init(CPUState *env) Line 640  void cpu_exec_init(CPUState *env)
     env->numa_node = 0;      env->numa_node = 0;
     QTAILQ_INIT(&env->breakpoints);      QTAILQ_INIT(&env->breakpoints);
     QTAILQ_INIT(&env->watchpoints);      QTAILQ_INIT(&env->watchpoints);
   #ifndef CONFIG_USER_ONLY
       env->thread_id = qemu_get_thread_id();
   #endif
     *penv = env;      *penv = env;
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
     cpu_list_unlock();      cpu_list_unlock();
 #endif  #endif
 #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)  #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)
     vmstate_register(cpu_index, &vmstate_cpu_common, env);      vmstate_register(NULL, cpu_index, &vmstate_cpu_common, env);
     register_savevm("cpu", cpu_index, CPU_SAVE_VERSION,      register_savevm(NULL, "cpu", cpu_index, CPU_SAVE_VERSION,
                     cpu_save, cpu_load, env);                      cpu_save, cpu_load, env);
 #endif  #endif
 }  }
   
   /* Allocate a new translation block. Flush the translation buffer if
      too many translation blocks or too much generated code. */
   static TranslationBlock *tb_alloc(target_ulong pc)
   {
       TranslationBlock *tb;
   
       if (nb_tbs >= code_gen_max_blocks ||
           (code_gen_ptr - code_gen_buffer) >= code_gen_buffer_max_size)
           return NULL;
       tb = &tbs[nb_tbs++];
       tb->pc = pc;
       tb->cflags = 0;
       return tb;
   }
   
   void tb_free(TranslationBlock *tb)
   {
       /* In practice this is mostly used for single use temporary TB
          Ignore the hard cases and just back up if this TB happens to
          be the last one generated.  */
       if (nb_tbs > 0 && tb == &tbs[nb_tbs - 1]) {
           code_gen_ptr = tb->tc_ptr;
           nb_tbs--;
       }
   }
   
 static inline void invalidate_page_bitmap(PageDesc *p)  static inline void invalidate_page_bitmap(PageDesc *p)
 {  {
     if (p->code_bitmap) {      if (p->code_bitmap) {
Line 608  static inline void invalidate_page_bitma Line 689  static inline void invalidate_page_bitma
     p->code_write_count = 0;      p->code_write_count = 0;
 }  }
   
 /* set to NULL all the 'first_tb' fields in all PageDescs */  /* Set to NULL all the 'first_tb' fields in all PageDescs. */
 static void page_flush_tb(void)  
   static void page_flush_tb_1 (int level, void **lp)
 {  {
     int i, j;      int i;
     PageDesc *p;  
   
     for(i = 0; i < L1_SIZE; i++) {      if (*lp == NULL) {
         p = l1_map[i];          return;
         if (p) {      }
             for(j = 0; j < L2_SIZE; j++) {      if (level == 0) {
                 p->first_tb = NULL;          PageDesc *pd = *lp;
                 invalidate_page_bitmap(p);          for (i = 0; i < L2_SIZE; ++i) {
                 p++;              pd[i].first_tb = NULL;
             }              invalidate_page_bitmap(pd + i);
           }
       } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               page_flush_tb_1 (level - 1, pp + i);
         }          }
     }      }
 }  }
   
   static void page_flush_tb(void)
   {
       int i;
       for (i = 0; i < V_L1_SIZE; i++) {
           page_flush_tb_1(V_L1_SHIFT / L2_BITS - 1, l1_map + i);
       }
   }
   
 /* flush all the translation blocks */  /* flush all the translation blocks */
 /* XXX: tb_flush is currently not thread safe */  /* XXX: tb_flush is currently not thread safe */
 void tb_flush(CPUState *env1)  void tb_flush(CPUState *env1)
Line 761  static inline void tb_reset_jump(Transla Line 855  static inline void tb_reset_jump(Transla
     tb_set_jmp_target(tb, n, (unsigned long)(tb->tc_ptr + tb->tb_next_offset[n]));      tb_set_jmp_target(tb, n, (unsigned long)(tb->tc_ptr + tb->tb_next_offset[n]));
 }  }
   
 void tb_phys_invalidate(TranslationBlock *tb, target_ulong page_addr)  void tb_phys_invalidate(TranslationBlock *tb, tb_page_addr_t page_addr)
 {  {
     CPUState *env;      CPUState *env;
     PageDesc *p;      PageDesc *p;
     unsigned int h, n1;      unsigned int h, n1;
     target_phys_addr_t phys_pc;      tb_page_addr_t phys_pc;
     TranslationBlock *tb1, *tb2;      TranslationBlock *tb1, *tb2;
   
     /* remove the TB from the hash list */      /* remove the TB from the hash list */
Line 878  TranslationBlock *tb_gen_code(CPUState * Line 972  TranslationBlock *tb_gen_code(CPUState *
 {  {
     TranslationBlock *tb;      TranslationBlock *tb;
     uint8_t *tc_ptr;      uint8_t *tc_ptr;
     target_ulong phys_pc, phys_page2, virt_page2;      tb_page_addr_t phys_pc, phys_page2;
       target_ulong virt_page2;
     int code_gen_size;      int code_gen_size;
   
     phys_pc = get_phys_addr_code(env, pc);      phys_pc = get_page_addr_code(env, pc);
     tb = tb_alloc(pc);      tb = tb_alloc(pc);
     if (!tb) {      if (!tb) {
         /* flush must be done */          /* flush must be done */
Line 903  TranslationBlock *tb_gen_code(CPUState * Line 998  TranslationBlock *tb_gen_code(CPUState *
     virt_page2 = (pc + tb->size - 1) & TARGET_PAGE_MASK;      virt_page2 = (pc + tb->size - 1) & TARGET_PAGE_MASK;
     phys_page2 = -1;      phys_page2 = -1;
     if ((pc & TARGET_PAGE_MASK) != virt_page2) {      if ((pc & TARGET_PAGE_MASK) != virt_page2) {
         phys_page2 = get_phys_addr_code(env, virt_page2);          phys_page2 = get_page_addr_code(env, virt_page2);
     }      }
     tb_link_phys(tb, phys_pc, phys_page2);      tb_link_page(tb, phys_pc, phys_page2);
     return tb;      return tb;
 }  }
   
Line 914  TranslationBlock *tb_gen_code(CPUState * Line 1009  TranslationBlock *tb_gen_code(CPUState *
    the same physical page. 'is_cpu_write_access' should be true if called     the same physical page. 'is_cpu_write_access' should be true if called
    from a real cpu write access: the virtual CPU will exit the current     from a real cpu write access: the virtual CPU will exit the current
    TB if code is modified inside this TB. */     TB if code is modified inside this TB. */
 void tb_invalidate_phys_page_range(target_phys_addr_t start, target_phys_addr_t end,  void tb_invalidate_phys_page_range(tb_page_addr_t start, tb_page_addr_t end,
                                    int is_cpu_write_access)                                     int is_cpu_write_access)
 {  {
     TranslationBlock *tb, *tb_next, *saved_tb;      TranslationBlock *tb, *tb_next, *saved_tb;
     CPUState *env = cpu_single_env;      CPUState *env = cpu_single_env;
     target_ulong tb_start, tb_end;      tb_page_addr_t tb_start, tb_end;
     PageDesc *p;      PageDesc *p;
     int n;      int n;
 #ifdef TARGET_HAS_PRECISE_SMC  #ifdef TARGET_HAS_PRECISE_SMC
Line 977  void tb_invalidate_phys_page_range(targe Line 1072  void tb_invalidate_phys_page_range(targe
                 restore the CPU state */                  restore the CPU state */
   
                 current_tb_modified = 1;                  current_tb_modified = 1;
                 cpu_restore_state(current_tb, env,                  cpu_restore_state(current_tb, env, env->mem_io_pc);
                                   env->mem_io_pc, NULL);  
                 cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,                  cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
                                      &current_flags);                                       &current_flags);
             }              }
Line 1021  void tb_invalidate_phys_page_range(targe Line 1115  void tb_invalidate_phys_page_range(targe
 }  }
   
 /* len must be <= 8 and start must be a multiple of len */  /* len must be <= 8 and start must be a multiple of len */
 static inline void tb_invalidate_phys_page_fast(target_phys_addr_t start, int len)  static inline void tb_invalidate_phys_page_fast(tb_page_addr_t start, int len)
 {  {
     PageDesc *p;      PageDesc *p;
     int offset, b;      int offset, b;
Line 1048  static inline void tb_invalidate_phys_pa Line 1142  static inline void tb_invalidate_phys_pa
 }  }
   
 #if !defined(CONFIG_SOFTMMU)  #if !defined(CONFIG_SOFTMMU)
 static void tb_invalidate_phys_page(target_phys_addr_t addr,  static void tb_invalidate_phys_page(tb_page_addr_t addr,
                                     unsigned long pc, void *puc)                                      unsigned long pc, void *puc)
 {  {
     TranslationBlock *tb;      TranslationBlock *tb;
Line 1086  static void tb_invalidate_phys_page(targ Line 1180  static void tb_invalidate_phys_page(targ
                    restore the CPU state */                     restore the CPU state */
   
             current_tb_modified = 1;              current_tb_modified = 1;
             cpu_restore_state(current_tb, env, pc, puc);              cpu_restore_state(current_tb, env, pc);
             cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,              cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
                                  &current_flags);                                   &current_flags);
         }          }
Line 1110  static void tb_invalidate_phys_page(targ Line 1204  static void tb_invalidate_phys_page(targ
   
 /* add the tb in the target page and protect it if necessary */  /* add the tb in the target page and protect it if necessary */
 static inline void tb_alloc_page(TranslationBlock *tb,  static inline void tb_alloc_page(TranslationBlock *tb,
                                  unsigned int n, target_ulong page_addr)                                   unsigned int n, tb_page_addr_t page_addr)
 {  {
     PageDesc *p;      PageDesc *p;
     TranslationBlock *last_first_tb;  #ifndef CONFIG_USER_ONLY
       bool page_already_protected;
   #endif
   
     tb->page_addr[n] = page_addr;      tb->page_addr[n] = page_addr;
     p = page_find_alloc(page_addr >> TARGET_PAGE_BITS);      p = page_find_alloc(page_addr >> TARGET_PAGE_BITS, 1);
     tb->page_next[n] = p->first_tb;      tb->page_next[n] = p->first_tb;
     last_first_tb = p->first_tb;  #ifndef CONFIG_USER_ONLY
       page_already_protected = p->first_tb != NULL;
   #endif
     p->first_tb = (TranslationBlock *)((long)tb | n);      p->first_tb = (TranslationBlock *)((long)tb | n);
     invalidate_page_bitmap(p);      invalidate_page_bitmap(p);
   
Line 1142  static inline void tb_alloc_page(Transla Line 1240  static inline void tb_alloc_page(Transla
                 continue;                  continue;
             prot |= p2->flags;              prot |= p2->flags;
             p2->flags &= ~PAGE_WRITE;              p2->flags &= ~PAGE_WRITE;
             page_get_flags(addr);  
           }            }
         mprotect(g2h(page_addr), qemu_host_page_size,          mprotect(g2h(page_addr), qemu_host_page_size,
                  (prot & PAGE_BITS) & ~PAGE_WRITE);                   (prot & PAGE_BITS) & ~PAGE_WRITE);
Line 1155  static inline void tb_alloc_page(Transla Line 1252  static inline void tb_alloc_page(Transla
     /* if some code is already present, then the pages are already      /* if some code is already present, then the pages are already
        protected. So we handle the case where only the first TB is         protected. So we handle the case where only the first TB is
        allocated in a physical page */         allocated in a physical page */
     if (!last_first_tb) {      if (!page_already_protected) {
         tlb_protect_code(page_addr);          tlb_protect_code(page_addr);
     }      }
 #endif  #endif
Line 1163  static inline void tb_alloc_page(Transla Line 1260  static inline void tb_alloc_page(Transla
 #endif /* TARGET_HAS_SMC */  #endif /* TARGET_HAS_SMC */
 }  }
   
 /* Allocate a new translation block. Flush the translation buffer if  
    too many translation blocks or too much generated code. */  
 TranslationBlock *tb_alloc(target_ulong pc)  
 {  
     TranslationBlock *tb;  
   
     if (nb_tbs >= code_gen_max_blocks ||  
         (code_gen_ptr - code_gen_buffer) >= code_gen_buffer_max_size)  
         return NULL;  
     tb = &tbs[nb_tbs++];  
     tb->pc = pc;  
     tb->cflags = 0;  
     return tb;  
 }  
   
 void tb_free(TranslationBlock *tb)  
 {  
     /* In practice this is mostly used for single use temporary TB  
        Ignore the hard cases and just back up if this TB happens to  
        be the last one generated.  */  
     if (nb_tbs > 0 && tb == &tbs[nb_tbs - 1]) {  
         code_gen_ptr = tb->tc_ptr;  
         nb_tbs--;  
     }  
 }  
   
 /* add a new TB and link it to the physical page tables. phys_page2 is  /* add a new TB and link it to the physical page tables. phys_page2 is
    (-1) to indicate that only one page contains the TB. */     (-1) to indicate that only one page contains the TB. */
 void tb_link_phys(TranslationBlock *tb,  void tb_link_page(TranslationBlock *tb,
                   target_ulong phys_pc, target_ulong phys_page2)                    tb_page_addr_t phys_pc, tb_page_addr_t phys_page2)
 {  {
     unsigned int h;      unsigned int h;
     TranslationBlock **ptb;      TranslationBlock **ptb;
Line 1308  static void tb_reset_jump_recursive(Tran Line 1379  static void tb_reset_jump_recursive(Tran
 }  }
   
 #if defined(TARGET_HAS_ICE)  #if defined(TARGET_HAS_ICE)
   #if defined(CONFIG_USER_ONLY)
   static void breakpoint_invalidate(CPUState *env, target_ulong pc)
   {
       tb_invalidate_phys_page_range(pc, pc + 1, 0);
   }
   #else
 static void breakpoint_invalidate(CPUState *env, target_ulong pc)  static void breakpoint_invalidate(CPUState *env, target_ulong pc)
 {  {
     target_phys_addr_t addr;      target_phys_addr_t addr;
Line 1326  static void breakpoint_invalidate(CPUSta Line 1403  static void breakpoint_invalidate(CPUSta
     tb_invalidate_phys_page_range(ram_addr, ram_addr + 1, 0);      tb_invalidate_phys_page_range(ram_addr, ram_addr + 1, 0);
 }  }
 #endif  #endif
   #endif /* TARGET_HAS_ICE */
   
   #if defined(CONFIG_USER_ONLY)
   void cpu_watchpoint_remove_all(CPUState *env, int mask)
   
   {
   }
   
   int cpu_watchpoint_insert(CPUState *env, target_ulong addr, target_ulong len,
                             int flags, CPUWatchpoint **watchpoint)
   {
       return -ENOSYS;
   }
   #else
 /* Add a watchpoint.  */  /* Add a watchpoint.  */
 int cpu_watchpoint_insert(CPUState *env, target_ulong addr, target_ulong len,  int cpu_watchpoint_insert(CPUState *env, target_ulong addr, target_ulong len,
                           int flags, CPUWatchpoint **watchpoint)                            int flags, CPUWatchpoint **watchpoint)
Line 1396  void cpu_watchpoint_remove_all(CPUState  Line 1486  void cpu_watchpoint_remove_all(CPUState 
             cpu_watchpoint_remove_by_ref(env, wp);              cpu_watchpoint_remove_by_ref(env, wp);
     }      }
 }  }
   #endif
   
 /* Add a breakpoint.  */  /* Add a breakpoint.  */
 int cpu_breakpoint_insert(CPUState *env, target_ulong pc, int flags,  int cpu_breakpoint_insert(CPUState *env, target_ulong pc, int flags,
Line 1526  void cpu_set_log_filename(const char *fi Line 1617  void cpu_set_log_filename(const char *fi
   
 static void cpu_unlink_tb(CPUState *env)  static void cpu_unlink_tb(CPUState *env)
 {  {
 #if defined(CONFIG_USE_NPTL)  
     /* FIXME: TB unchaining isn't SMP safe.  For now just ignore the      /* FIXME: TB unchaining isn't SMP safe.  For now just ignore the
        problem and hope the cpu will stop of its own accord.  For userspace         problem and hope the cpu will stop of its own accord.  For userspace
        emulation this often isn't actually as bad as it sounds.  Often         emulation this often isn't actually as bad as it sounds.  Often
        signals are used primarily to interrupt blocking syscalls.  */         signals are used primarily to interrupt blocking syscalls.  */
 #else  
     TranslationBlock *tb;      TranslationBlock *tb;
     static spinlock_t interrupt_lock = SPIN_LOCK_UNLOCKED;      static spinlock_t interrupt_lock = SPIN_LOCK_UNLOCKED;
   
       spin_lock(&interrupt_lock);
     tb = env->current_tb;      tb = env->current_tb;
     /* if the cpu is currently executing code, we must unlink it and      /* if the cpu is currently executing code, we must unlink it and
        all the potentially executing TB */         all the potentially executing TB */
     if (tb && !testandset(&interrupt_lock)) {      if (tb) {
         env->current_tb = NULL;          env->current_tb = NULL;
         tb_reset_jump_recursive(tb);          tb_reset_jump_recursive(tb);
         resetlock(&interrupt_lock);  
     }      }
 #endif      spin_unlock(&interrupt_lock);
 }  }
   
   #ifndef CONFIG_USER_ONLY
 /* mask must never be zero, except for A20 change call */  /* mask must never be zero, except for A20 change call */
 void cpu_interrupt(CPUState *env, int mask)  static void tcg_handle_interrupt(CPUState *env, int mask)
 {  {
     int old_mask;      int old_mask;
   
     old_mask = env->interrupt_request;      old_mask = env->interrupt_request;
     env->interrupt_request |= mask;      env->interrupt_request |= mask;
   
 #ifndef CONFIG_USER_ONLY  
     /*      /*
      * If called from iothread context, wake the target cpu in       * If called from iothread context, wake the target cpu in
      * case its halted.       * case its halted.
      */       */
     if (!qemu_cpu_self(env)) {      if (!qemu_cpu_is_self(env)) {
         qemu_cpu_kick(env);          qemu_cpu_kick(env);
         return;          return;
     }      }
 #endif  
   
     if (use_icount) {      if (use_icount) {
         env->icount_decr.u16.high = 0xffff;          env->icount_decr.u16.high = 0xffff;
 #ifndef CONFIG_USER_ONLY  
         if (!can_do_io(env)          if (!can_do_io(env)
             && (mask & ~old_mask) != 0) {              && (mask & ~old_mask) != 0) {
             cpu_abort(env, "Raised interrupt while not in I/O function");              cpu_abort(env, "Raised interrupt while not in I/O function");
         }          }
 #endif  
     } else {      } else {
         cpu_unlink_tb(env);          cpu_unlink_tb(env);
     }      }
 }  }
   
   CPUInterruptHandler cpu_interrupt_handler = tcg_handle_interrupt;
   
   #else /* CONFIG_USER_ONLY */
   
   void cpu_interrupt(CPUState *env, int mask)
   {
       env->interrupt_request |= mask;
       cpu_unlink_tb(env);
   }
   #endif /* CONFIG_USER_ONLY */
   
 void cpu_reset_interrupt(CPUState *env, int mask)  void cpu_reset_interrupt(CPUState *env, int mask)
 {  {
     env->interrupt_request &= ~mask;      env->interrupt_request &= ~mask;
Line 1621  const CPULogItem cpu_log_items[] = { Line 1718  const CPULogItem cpu_log_items[] = {
     { 0, NULL, NULL },      { 0, NULL, NULL },
 };  };
   
 static int cmp1(const char *s1, int n, const char *s2)  #ifndef CONFIG_USER_ONLY
   static QLIST_HEAD(memory_client_list, CPUPhysMemoryClient) memory_client_list
       = QLIST_HEAD_INITIALIZER(memory_client_list);
   
   static void cpu_notify_set_memory(target_phys_addr_t start_addr,
                                     ram_addr_t size,
                                     ram_addr_t phys_offset,
                                     bool log_dirty)
 {  {
     if (strlen(s2) != n)      CPUPhysMemoryClient *client;
         return 0;      QLIST_FOREACH(client, &memory_client_list, list) {
     return memcmp(s1, s2, n) == 0;          client->set_memory(client, start_addr, size, phys_offset, log_dirty);
       }
 }  }
   
 /* takes a comma separated list of log masks. Return 0 if error. */  static int cpu_notify_sync_dirty_bitmap(target_phys_addr_t start,
 int cpu_str_to_log_mask(const char *str)                                          target_phys_addr_t end)
 {  {
     const CPULogItem *item;      CPUPhysMemoryClient *client;
     int mask;      QLIST_FOREACH(client, &memory_client_list, list) {
     const char *p, *p1;          int r = client->sync_dirty_bitmap(client, start, end);
           if (r < 0)
     p = str;              return r;
     mask = 0;  
     for(;;) {  
         p1 = strchr(p, ',');  
         if (!p1)  
             p1 = p + strlen(p);  
         if(cmp1(p,p1-p,"all")) {  
                 for(item = cpu_log_items; item->mask != 0; item++) {  
                         mask |= item->mask;  
                 }  
         } else {  
         for(item = cpu_log_items; item->mask != 0; item++) {  
             if (cmp1(p, p1 - p, item->name))  
                 goto found;  
         }  
         return 0;  
         }  
     found:  
         mask |= item->mask;  
         if (*p1 != ',')  
             break;  
         p = p1 + 1;  
     }      }
     return mask;      return 0;
 }  }
   
 void cpu_abort(CPUState *env, const char *fmt, ...)  static int cpu_notify_migration_log(int enable)
 {  {
     va_list ap;      CPUPhysMemoryClient *client;
     va_list ap2;      QLIST_FOREACH(client, &memory_client_list, list) {
           int r = client->migration_log(client, enable);
           if (r < 0)
               return r;
       }
       return 0;
   }
   
   struct last_map {
       target_phys_addr_t start_addr;
       ram_addr_t size;
       ram_addr_t phys_offset;
   };
   
   /* The l1_phys_map provides the upper P_L1_BITs of the guest physical
    * address.  Each intermediate table provides the next L2_BITs of guest
    * physical address space.  The number of levels vary based on host and
    * guest configuration, making it efficient to build the final guest
    * physical address by seeding the L1 offset and shifting and adding in
    * each L2 offset as we recurse through them. */
   static void phys_page_for_each_1(CPUPhysMemoryClient *client, int level,
                                    void **lp, target_phys_addr_t addr,
                                    struct last_map *map)
   {
       int i;
   
       if (*lp == NULL) {
           return;
       }
       if (level == 0) {
           PhysPageDesc *pd = *lp;
           addr <<= L2_BITS + TARGET_PAGE_BITS;
           for (i = 0; i < L2_SIZE; ++i) {
               if (pd[i].phys_offset != IO_MEM_UNASSIGNED) {
                   target_phys_addr_t start_addr = addr | i << TARGET_PAGE_BITS;
   
                   if (map->size &&
                       start_addr == map->start_addr + map->size &&
                       pd[i].phys_offset == map->phys_offset + map->size) {
   
                       map->size += TARGET_PAGE_SIZE;
                       continue;
                   } else if (map->size) {
                       client->set_memory(client, map->start_addr,
                                          map->size, map->phys_offset, false);
                   }
   
                   map->start_addr = start_addr;
                   map->size = TARGET_PAGE_SIZE;
                   map->phys_offset = pd[i].phys_offset;
               }
           }
       } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               phys_page_for_each_1(client, level - 1, pp + i,
                                    (addr << L2_BITS) | i, map);
           }
       }
   }
   
   static void phys_page_for_each(CPUPhysMemoryClient *client)
   {
       int i;
       struct last_map map = { };
   
       for (i = 0; i < P_L1_SIZE; ++i) {
           phys_page_for_each_1(client, P_L1_SHIFT / L2_BITS - 1,
                                l1_phys_map + i, i, &map);
       }
       if (map.size) {
           client->set_memory(client, map.start_addr, map.size, map.phys_offset,
                              false);
       }
   }
   
   void cpu_register_phys_memory_client(CPUPhysMemoryClient *client)
   {
       QLIST_INSERT_HEAD(&memory_client_list, client, list);
       phys_page_for_each(client);
   }
   
   void cpu_unregister_phys_memory_client(CPUPhysMemoryClient *client)
   {
       QLIST_REMOVE(client, list);
   }
   #endif
   
   static int cmp1(const char *s1, int n, const char *s2)
   {
       if (strlen(s2) != n)
           return 0;
       return memcmp(s1, s2, n) == 0;
   }
   
   /* takes a comma separated list of log masks. Return 0 if error. */
   int cpu_str_to_log_mask(const char *str)
   {
       const CPULogItem *item;
       int mask;
       const char *p, *p1;
   
       p = str;
       mask = 0;
       for(;;) {
           p1 = strchr(p, ',');
           if (!p1)
               p1 = p + strlen(p);
           if(cmp1(p,p1-p,"all")) {
               for(item = cpu_log_items; item->mask != 0; item++) {
                   mask |= item->mask;
               }
           } else {
               for(item = cpu_log_items; item->mask != 0; item++) {
                   if (cmp1(p, p1 - p, item->name))
                       goto found;
               }
               return 0;
           }
       found:
           mask |= item->mask;
           if (*p1 != ',')
               break;
           p = p1 + 1;
       }
       return mask;
   }
   
   void cpu_abort(CPUState *env, const char *fmt, ...)
   {
       va_list ap;
       va_list ap2;
   
     va_start(ap, fmt);      va_start(ap, fmt);
     va_copy(ap2, ap);      va_copy(ap2, ap);
     fprintf(stderr, "qemu: fatal: ");      fprintf(stderr, "qemu: fatal: ");
Line 1690  void cpu_abort(CPUState *env, const char Line 1905  void cpu_abort(CPUState *env, const char
     }      }
     va_end(ap2);      va_end(ap2);
     va_end(ap);      va_end(ap);
   #if defined(CONFIG_USER_ONLY)
       {
           struct sigaction act;
           sigfillset(&act.sa_mask);
           act.sa_handler = SIG_DFL;
           sigaction(SIGABRT, &act, NULL);
       }
   #endif
     abort();      abort();
 }  }
   
Line 1737  static inline void tlb_flush_jmp_cache(C Line 1960  static inline void tlb_flush_jmp_cache(C
        overlap the flushed page.  */         overlap the flushed page.  */
     i = tb_jmp_cache_hash_page(addr - TARGET_PAGE_SIZE);      i = tb_jmp_cache_hash_page(addr - TARGET_PAGE_SIZE);
     memset (&env->tb_jmp_cache[i], 0,       memset (&env->tb_jmp_cache[i], 0, 
             TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));              TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));
   
     i = tb_jmp_cache_hash_page(addr);      i = tb_jmp_cache_hash_page(addr);
     memset (&env->tb_jmp_cache[i], 0,       memset (&env->tb_jmp_cache[i], 0, 
             TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));              TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));
 }  }
   
 static CPUTLBEntry s_cputlb_empty_entry = {  static CPUTLBEntry s_cputlb_empty_entry = {
Line 1773  void tlb_flush(CPUState *env, int flush_ Line 1996  void tlb_flush(CPUState *env, int flush_
   
     memset (env->tb_jmp_cache, 0, TB_JMP_CACHE_SIZE * sizeof (void *));      memset (env->tb_jmp_cache, 0, TB_JMP_CACHE_SIZE * sizeof (void *));
   
       env->tlb_flush_addr = -1;
       env->tlb_flush_mask = 0;
     tlb_flush_count++;      tlb_flush_count++;
 }  }
   
Line 1796  void tlb_flush_page(CPUState *env, targe Line 2021  void tlb_flush_page(CPUState *env, targe
 #if defined(DEBUG_TLB)  #if defined(DEBUG_TLB)
     printf("tlb_flush_page: " TARGET_FMT_lx "\n", addr);      printf("tlb_flush_page: " TARGET_FMT_lx "\n", addr);
 #endif  #endif
       /* Check if we need to flush due to large pages.  */
       if ((addr & env->tlb_flush_mask) == env->tlb_flush_addr) {
   #if defined(DEBUG_TLB)
           printf("tlb_flush_page: forced full flush ("
                  TARGET_FMT_lx "/" TARGET_FMT_lx ")\n",
                  env->tlb_flush_addr, env->tlb_flush_mask);
   #endif
           tlb_flush(env, 1);
           return;
       }
     /* must reset current TB so that interrupts cannot modify the      /* must reset current TB so that interrupts cannot modify the
        links while we are modifying them */         links while we are modifying them */
     env->current_tb = NULL;      env->current_tb = NULL;
Line 1822  static void tlb_protect_code(ram_addr_t  Line 2057  static void tlb_protect_code(ram_addr_t 
 static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,  static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,
                                     target_ulong vaddr)                                      target_ulong vaddr)
 {  {
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] |= CODE_DIRTY_FLAG;      cpu_physical_memory_set_dirty_flags(ram_addr, CODE_DIRTY_FLAG);
 }  }
   
 static inline void tlb_reset_dirty_range(CPUTLBEntry *tlb_entry,  static inline void tlb_reset_dirty_range(CPUTLBEntry *tlb_entry,
Line 1843  void cpu_physical_memory_reset_dirty(ram Line 2078  void cpu_physical_memory_reset_dirty(ram
 {  {
     CPUState *env;      CPUState *env;
     unsigned long length, start1;      unsigned long length, start1;
     int i, mask, len;      int i;
     uint8_t *p;  
   
     start &= TARGET_PAGE_MASK;      start &= TARGET_PAGE_MASK;
     end = TARGET_PAGE_ALIGN(end);      end = TARGET_PAGE_ALIGN(end);
Line 1852  void cpu_physical_memory_reset_dirty(ram Line 2086  void cpu_physical_memory_reset_dirty(ram
     length = end - start;      length = end - start;
     if (length == 0)      if (length == 0)
         return;          return;
     len = length >> TARGET_PAGE_BITS;      cpu_physical_memory_mask_dirty_range(start, length, dirty_flags);
     mask = ~dirty_flags;  
     p = phys_ram_dirty + (start >> TARGET_PAGE_BITS);  
     for(i = 0; i < len; i++)  
         p[i] &= mask;  
   
     /* we modify the TLB cache so that the dirty bit will be set again      /* we modify the TLB cache so that the dirty bit will be set again
        when accessing the range */         when accessing the range */
     start1 = (unsigned long)qemu_get_ram_ptr(start);      start1 = (unsigned long)qemu_safe_ram_ptr(start);
     /* Chek that we don't span multiple blocks - this breaks the      /* Check that we don't span multiple blocks - this breaks the
        address comparisons below.  */         address comparisons below.  */
     if ((unsigned long)qemu_get_ram_ptr(end - 1) - start1      if ((unsigned long)qemu_safe_ram_ptr(end - 1) - start1
             != (end - 1) - start) {              != (end - 1) - start) {
         abort();          abort();
     }      }
Line 1880  void cpu_physical_memory_reset_dirty(ram Line 2110  void cpu_physical_memory_reset_dirty(ram
   
 int cpu_physical_memory_set_dirty_tracking(int enable)  int cpu_physical_memory_set_dirty_tracking(int enable)
 {  {
       int ret = 0;
     in_migration = enable;      in_migration = enable;
     if (kvm_enabled()) {      ret = cpu_notify_migration_log(!!enable);
         return kvm_set_migration_log(enable);      return ret;
     }  
     return 0;  
 }  }
   
 int cpu_physical_memory_get_dirty_tracking(void)  int cpu_physical_memory_get_dirty_tracking(void)
Line 1895  int cpu_physical_memory_get_dirty_tracki Line 2124  int cpu_physical_memory_get_dirty_tracki
 int cpu_physical_sync_dirty_bitmap(target_phys_addr_t start_addr,  int cpu_physical_sync_dirty_bitmap(target_phys_addr_t start_addr,
                                    target_phys_addr_t end_addr)                                     target_phys_addr_t end_addr)
 {  {
     int ret = 0;      int ret;
   
     if (kvm_enabled())      ret = cpu_notify_sync_dirty_bitmap(start_addr, end_addr);
         ret = kvm_physical_sync_dirty_bitmap(start_addr, end_addr);  
     return ret;      return ret;
 }  }
   
   int cpu_physical_log_start(target_phys_addr_t start_addr,
                              ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_start) {
               int r = client->log_start(client, start_addr, size);
               if (r < 0) {
                   return r;
               }
           }
       }
       return 0;
   }
   
   int cpu_physical_log_stop(target_phys_addr_t start_addr,
                             ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_stop) {
               int r = client->log_stop(client, start_addr, size);
               if (r < 0) {
                   return r;
               }
           }
       }
       return 0;
   }
   
 static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)  static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)
 {  {
     ram_addr_t ram_addr;      ram_addr_t ram_addr;
Line 1910  static inline void tlb_update_dirty(CPUT Line 2168  static inline void tlb_update_dirty(CPUT
     if ((tlb_entry->addr_write & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {      if ((tlb_entry->addr_write & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {
         p = (void *)(unsigned long)((tlb_entry->addr_write & TARGET_PAGE_MASK)          p = (void *)(unsigned long)((tlb_entry->addr_write & TARGET_PAGE_MASK)
             + tlb_entry->addend);              + tlb_entry->addend);
         ram_addr = qemu_ram_addr_from_host(p);          ram_addr = qemu_ram_addr_from_host_nofail(p);
         if (!cpu_physical_memory_is_dirty(ram_addr)) {          if (!cpu_physical_memory_is_dirty(ram_addr)) {
             tlb_entry->addr_write |= TLB_NOTDIRTY;              tlb_entry->addr_write |= TLB_NOTDIRTY;
         }          }
Line 1947  static inline void tlb_set_dirty(CPUStat Line 2205  static inline void tlb_set_dirty(CPUStat
         tlb_set_dirty1(&env->tlb_table[mmu_idx][i], vaddr);          tlb_set_dirty1(&env->tlb_table[mmu_idx][i], vaddr);
 }  }
   
 /* add a new TLB entry. At most one entry for a given virtual address  /* Our TLB does not support large pages, so remember the area covered by
    is permitted. Return 0 if OK or 2 if the page could not be mapped     large pages and trigger a full TLB flush if these are invalidated.  */
    (can only happen in non SOFTMMU mode for I/O pages or pages  static void tlb_add_large_page(CPUState *env, target_ulong vaddr,
    conflicting with the host address space). */                                 target_ulong size)
 int tlb_set_page_exec(CPUState *env, target_ulong vaddr,  {
                       target_phys_addr_t paddr, int prot,      target_ulong mask = ~(size - 1);
                       int mmu_idx, int is_softmmu)  
       if (env->tlb_flush_addr == (target_ulong)-1) {
           env->tlb_flush_addr = vaddr & mask;
           env->tlb_flush_mask = mask;
           return;
       }
       /* Extend the existing region to include the new page.
          This is a compromise between unnecessary flushes and the cost
          of maintaining a full variable size TLB.  */
       mask &= env->tlb_flush_mask;
       while (((env->tlb_flush_addr ^ vaddr) & mask) != 0) {
           mask <<= 1;
       }
       env->tlb_flush_addr &= mask;
       env->tlb_flush_mask = mask;
   }
   
   /* Add a new TLB entry. At most one entry for a given virtual address
      is permitted. Only a single TARGET_PAGE_SIZE region is mapped, the
      supplied size is only used by tlb_flush_page.  */
   void tlb_set_page(CPUState *env, target_ulong vaddr,
                     target_phys_addr_t paddr, int prot,
                     int mmu_idx, target_ulong size)
 {  {
     PhysPageDesc *p;      PhysPageDesc *p;
     unsigned long pd;      unsigned long pd;
     unsigned int index;      unsigned int index;
     target_ulong address;      target_ulong address;
     target_ulong code_address;      target_ulong code_address;
     target_phys_addr_t addend;      unsigned long addend;
     int ret;  
     CPUTLBEntry *te;      CPUTLBEntry *te;
     CPUWatchpoint *wp;      CPUWatchpoint *wp;
     target_phys_addr_t iotlb;      target_phys_addr_t iotlb;
   
       assert(size >= TARGET_PAGE_SIZE);
       if (size != TARGET_PAGE_SIZE) {
           tlb_add_large_page(env, vaddr, size);
       }
     p = phys_page_find(paddr >> TARGET_PAGE_BITS);      p = phys_page_find(paddr >> TARGET_PAGE_BITS);
     if (!p) {      if (!p) {
         pd = IO_MEM_UNASSIGNED;          pd = IO_MEM_UNASSIGNED;
Line 1973  int tlb_set_page_exec(CPUState *env, tar Line 2256  int tlb_set_page_exec(CPUState *env, tar
         pd = p->phys_offset;          pd = p->phys_offset;
     }      }
 #if defined(DEBUG_TLB)  #if defined(DEBUG_TLB)
     printf("tlb_set_page: vaddr=" TARGET_FMT_lx " paddr=0x%08x prot=%x idx=%d smmu=%d pd=0x%08lx\n",      printf("tlb_set_page: vaddr=" TARGET_FMT_lx " paddr=0x" TARGET_FMT_plx
            vaddr, (int)paddr, prot, mmu_idx, is_softmmu, pd);             " prot=%x idx=%d pd=0x%08lx\n",
              vaddr, paddr, prot, mmu_idx, pd);
 #endif  #endif
   
     ret = 0;  
     address = vaddr;      address = vaddr;
     if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM && !(pd & IO_MEM_ROMD)) {      if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM && !(pd & IO_MEM_ROMD)) {
         /* IO memory case (romd handled later) */          /* IO memory case (romd handled later) */
Line 2011  int tlb_set_page_exec(CPUState *env, tar Line 2294  int tlb_set_page_exec(CPUState *env, tar
        watchpoint trap routines.  */         watchpoint trap routines.  */
     QTAILQ_FOREACH(wp, &env->watchpoints, entry) {      QTAILQ_FOREACH(wp, &env->watchpoints, entry) {
         if (vaddr == (wp->vaddr & TARGET_PAGE_MASK)) {          if (vaddr == (wp->vaddr & TARGET_PAGE_MASK)) {
             iotlb = io_mem_watch + paddr;              /* Avoid trapping reads of pages with a write breakpoint. */
             /* TODO: The memory case can be optimized by not trapping              if ((prot & PAGE_WRITE) || (wp->flags & BP_MEM_READ)) {
                reads of pages with a write breakpoint.  */                  iotlb = io_mem_watch + paddr;
             address |= TLB_MMIO;                  address |= TLB_MMIO;
                   break;
               }
         }          }
     }      }
   
Line 2047  int tlb_set_page_exec(CPUState *env, tar Line 2332  int tlb_set_page_exec(CPUState *env, tar
     } else {      } else {
         te->addr_write = -1;          te->addr_write = -1;
     }      }
     return ret;  
 }  }
   
 #else  #else
Line 2060  void tlb_flush_page(CPUState *env, targe Line 2344  void tlb_flush_page(CPUState *env, targe
 {  {
 }  }
   
 int tlb_set_page_exec(CPUState *env, target_ulong vaddr,  
                       target_phys_addr_t paddr, int prot,  
                       int mmu_idx, int is_softmmu)  
 {  
     return 0;  
 }  
   
 /*  /*
  * Walks guest process memory "regions" one by one   * Walks guest process memory "regions" one by one
  * and calls callback function 'fn' for each region.   * and calls callback function 'fn' for each region.
  */   */
 int walk_memory_regions(void *priv,  
     int (*fn)(void *, unsigned long, unsigned long, unsigned long))  struct walk_memory_regions_data
   {
       walk_memory_regions_fn fn;
       void *priv;
       unsigned long start;
       int prot;
   };
   
   static int walk_memory_regions_end(struct walk_memory_regions_data *data,
                                      abi_ulong end, int new_prot)
   {
       if (data->start != -1ul) {
           int rc = data->fn(data->priv, data->start, end, data->prot);
           if (rc != 0) {
               return rc;
           }
       }
   
       data->start = (new_prot ? end : -1ul);
       data->prot = new_prot;
   
       return 0;
   }
   
   static int walk_memory_regions_1(struct walk_memory_regions_data *data,
                                    abi_ulong base, int level, void **lp)
 {  {
     unsigned long start, end;      abi_ulong pa;
     PageDesc *p = NULL;      int i, rc;
     int i, j, prot, prot1;  
     int rc = 0;      if (*lp == NULL) {
           return walk_memory_regions_end(data, base, 0);
     start = end = -1;      }
     prot = 0;  
       if (level == 0) {
     for (i = 0; i <= L1_SIZE; i++) {          PageDesc *pd = *lp;
         p = (i < L1_SIZE) ? l1_map[i] : NULL;          for (i = 0; i < L2_SIZE; ++i) {
         for (j = 0; j < L2_SIZE; j++) {              int prot = pd[i].flags;
             prot1 = (p == NULL) ? 0 : p[j].flags;  
             /*              pa = base | (i << TARGET_PAGE_BITS);
              * "region" is one continuous chunk of memory              if (prot != data->prot) {
              * that has same protection flags set.                  rc = walk_memory_regions_end(data, pa, prot);
              */                  if (rc != 0) {
             if (prot1 != prot) {                      return rc;
                 end = (i << (32 - L1_BITS)) | (j << TARGET_PAGE_BITS);  
                 if (start != -1) {  
                     rc = (*fn)(priv, start, end, prot);  
                     /* callback can stop iteration by returning != 0 */  
                     if (rc != 0)  
                         return (rc);  
                 }                  }
                 if (prot1 != 0)  
                     start = end;  
                 else  
                     start = -1;  
                 prot = prot1;  
             }              }
             if (p == NULL)          }
                 break;      } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               pa = base | ((abi_ulong)i <<
                   (TARGET_PAGE_BITS + L2_BITS * level));
               rc = walk_memory_regions_1(data, pa, level - 1, pp + i);
               if (rc != 0) {
                   return rc;
               }
         }          }
     }      }
     return (rc);  
       return 0;
 }  }
   
 static int dump_region(void *priv, unsigned long start,  int walk_memory_regions(void *priv, walk_memory_regions_fn fn)
     unsigned long end, unsigned long prot)  {
       struct walk_memory_regions_data data;
       unsigned long i;
   
       data.fn = fn;
       data.priv = priv;
       data.start = -1ul;
       data.prot = 0;
   
       for (i = 0; i < V_L1_SIZE; i++) {
           int rc = walk_memory_regions_1(&data, (abi_ulong)i << V_L1_SHIFT,
                                          V_L1_SHIFT / L2_BITS - 1, l1_map + i);
           if (rc != 0) {
               return rc;
           }
       }
   
       return walk_memory_regions_end(&data, 0, 0);
   }
   
   static int dump_region(void *priv, abi_ulong start,
       abi_ulong end, unsigned long prot)
 {  {
     FILE *f = (FILE *)priv;      FILE *f = (FILE *)priv;
   
     (void) fprintf(f, "%08lx-%08lx %08lx %c%c%c\n",      (void) fprintf(f, TARGET_ABI_FMT_lx"-"TARGET_ABI_FMT_lx
           " "TARGET_ABI_FMT_lx" %c%c%c\n",
         start, end, end - start,          start, end, end - start,
         ((prot & PAGE_READ) ? 'r' : '-'),          ((prot & PAGE_READ) ? 'r' : '-'),
         ((prot & PAGE_WRITE) ? 'w' : '-'),          ((prot & PAGE_WRITE) ? 'w' : '-'),
Line 2143  int page_get_flags(target_ulong address) Line 2465  int page_get_flags(target_ulong address)
     return p->flags;      return p->flags;
 }  }
   
 /* modify the flags of a page and invalidate the code if  /* Modify the flags of a page and invalidate the code if necessary.
    necessary. The flag PAGE_WRITE_ORG is positioned automatically     The flag PAGE_WRITE_ORG is positioned automatically depending
    depending on PAGE_WRITE */     on PAGE_WRITE.  The mmap_lock should already be held.  */
 void page_set_flags(target_ulong start, target_ulong end, int flags)  void page_set_flags(target_ulong start, target_ulong end, int flags)
 {  {
     PageDesc *p;      target_ulong addr, len;
     target_ulong addr;  
       /* This function should never be called with addresses outside the
          guest address space.  If this assert fires, it probably indicates
          a missing call to h2g_valid.  */
   #if TARGET_ABI_BITS > L1_MAP_ADDR_SPACE_BITS
       assert(end < ((abi_ulong)1 << L1_MAP_ADDR_SPACE_BITS));
   #endif
       assert(start < end);
   
     /* mmap_lock should already be held.  */  
     start = start & TARGET_PAGE_MASK;      start = start & TARGET_PAGE_MASK;
     end = TARGET_PAGE_ALIGN(end);      end = TARGET_PAGE_ALIGN(end);
     if (flags & PAGE_WRITE)  
       if (flags & PAGE_WRITE) {
         flags |= PAGE_WRITE_ORG;          flags |= PAGE_WRITE_ORG;
     for(addr = start; addr < end; addr += TARGET_PAGE_SIZE) {      }
         p = page_find_alloc(addr >> TARGET_PAGE_BITS);  
         /* We may be called for host regions that are outside guest      for (addr = start, len = end - start;
            address space.  */           len != 0;
         if (!p)           len -= TARGET_PAGE_SIZE, addr += TARGET_PAGE_SIZE) {
             return;          PageDesc *p = page_find_alloc(addr >> TARGET_PAGE_BITS, 1);
         /* if the write protection is set, then we invalidate the code  
            inside */          /* If the write protection bit is set, then we invalidate
              the code inside.  */
         if (!(p->flags & PAGE_WRITE) &&          if (!(p->flags & PAGE_WRITE) &&
             (flags & PAGE_WRITE) &&              (flags & PAGE_WRITE) &&
             p->first_tb) {              p->first_tb) {
Line 2179  int page_check_range(target_ulong start, Line 2509  int page_check_range(target_ulong start,
     target_ulong end;      target_ulong end;
     target_ulong addr;      target_ulong addr;
   
     if (start + len < start)      /* This function should never be called with addresses outside the
         /* we've wrapped around */         guest address space.  If this assert fires, it probably indicates
          a missing call to h2g_valid.  */
   #if TARGET_ABI_BITS > L1_MAP_ADDR_SPACE_BITS
       assert(start < ((abi_ulong)1 << L1_MAP_ADDR_SPACE_BITS));
   #endif
   
       if (len == 0) {
           return 0;
       }
       if (start + len - 1 < start) {
           /* We've wrapped around.  */
         return -1;          return -1;
       }
   
     end = TARGET_PAGE_ALIGN(start+len); /* must do before we loose bits in the next step */      end = TARGET_PAGE_ALIGN(start+len); /* must do before we loose bits in the next step */
     start = start & TARGET_PAGE_MASK;      start = start & TARGET_PAGE_MASK;
   
     for(addr = start; addr < end; addr += TARGET_PAGE_SIZE) {      for (addr = start, len = end - start;
            len != 0;
            len -= TARGET_PAGE_SIZE, addr += TARGET_PAGE_SIZE) {
         p = page_find(addr >> TARGET_PAGE_BITS);          p = page_find(addr >> TARGET_PAGE_BITS);
         if( !p )          if( !p )
             return -1;              return -1;
Line 2214  int page_check_range(target_ulong start, Line 2557  int page_check_range(target_ulong start,
    page. Return TRUE if the fault was successfully handled. */     page. Return TRUE if the fault was successfully handled. */
 int page_unprotect(target_ulong address, unsigned long pc, void *puc)  int page_unprotect(target_ulong address, unsigned long pc, void *puc)
 {  {
     unsigned int page_index, prot, pindex;      unsigned int prot;
     PageDesc *p, *p1;      PageDesc *p;
     target_ulong host_start, host_end, addr;      target_ulong host_start, host_end, addr;
   
     /* Technically this isn't safe inside a signal handler.  However we      /* Technically this isn't safe inside a signal handler.  However we
Line 2223  int page_unprotect(target_ulong address, Line 2566  int page_unprotect(target_ulong address,
        practice it seems to be ok.  */         practice it seems to be ok.  */
     mmap_lock();      mmap_lock();
   
     host_start = address & qemu_host_page_mask;      p = page_find(address >> TARGET_PAGE_BITS);
     page_index = host_start >> TARGET_PAGE_BITS;      if (!p) {
     p1 = page_find(page_index);  
     if (!p1) {  
         mmap_unlock();          mmap_unlock();
         return 0;          return 0;
     }      }
     host_end = host_start + qemu_host_page_size;  
     p = p1;  
     prot = 0;  
     for(addr = host_start;addr < host_end; addr += TARGET_PAGE_SIZE) {  
         prot |= p->flags;  
         p++;  
     }  
     /* if the page was really writable, then we change its      /* if the page was really writable, then we change its
        protection back to writable */         protection back to writable */
     if (prot & PAGE_WRITE_ORG) {      if ((p->flags & PAGE_WRITE_ORG) && !(p->flags & PAGE_WRITE)) {
         pindex = (address - host_start) >> TARGET_PAGE_BITS;          host_start = address & qemu_host_page_mask;
         if (!(p1[pindex].flags & PAGE_WRITE)) {          host_end = host_start + qemu_host_page_size;
             mprotect((void *)g2h(host_start), qemu_host_page_size,  
                      (prot & PAGE_BITS) | PAGE_WRITE);          prot = 0;
             p1[pindex].flags |= PAGE_WRITE;          for (addr = host_start ; addr < host_end ; addr += TARGET_PAGE_SIZE) {
               p = page_find(addr >> TARGET_PAGE_BITS);
               p->flags |= PAGE_WRITE;
               prot |= p->flags;
   
             /* and since the content will be modified, we must invalidate              /* and since the content will be modified, we must invalidate
                the corresponding translated code. */                 the corresponding translated code. */
             tb_invalidate_phys_page(address, pc, puc);              tb_invalidate_phys_page(addr, pc, puc);
 #ifdef DEBUG_TB_CHECK  #ifdef DEBUG_TB_CHECK
             tb_invalidate_check(address);              tb_invalidate_check(addr);
 #endif  #endif
             mmap_unlock();  
             return 1;  
         }          }
           mprotect((void *)g2h(host_start), qemu_host_page_size,
                    prot & PAGE_BITS);
   
           mmap_unlock();
           return 1;
     }      }
     mmap_unlock();      mmap_unlock();
     return 0;      return 0;
Line 2267  static inline void tlb_set_dirty(CPUStat Line 2609  static inline void tlb_set_dirty(CPUStat
   
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
   
   #define SUBPAGE_IDX(addr) ((addr) & ~TARGET_PAGE_MASK)
   typedef struct subpage_t {
       target_phys_addr_t base;
       ram_addr_t sub_io_index[TARGET_PAGE_SIZE];
       ram_addr_t region_offset[TARGET_PAGE_SIZE];
   } subpage_t;
   
 static int subpage_register (subpage_t *mmio, uint32_t start, uint32_t end,  static int subpage_register (subpage_t *mmio, uint32_t start, uint32_t end,
                              ram_addr_t memory, ram_addr_t region_offset);                               ram_addr_t memory, ram_addr_t region_offset);
 static void *subpage_init (target_phys_addr_t base, ram_addr_t *phys,  static subpage_t *subpage_init (target_phys_addr_t base, ram_addr_t *phys,
                            ram_addr_t orig_memory, ram_addr_t region_offset);                                  ram_addr_t orig_memory,
                                   ram_addr_t region_offset);
 #define CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2, \  #define CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2, \
                       need_subpage)                                     \                        need_subpage)                                     \
     do {                                                                \      do {                                                                \
Line 2299  static void *subpage_init (target_phys_a Line 2649  static void *subpage_init (target_phys_a
    start_addr and region_offset are rounded down to a page boundary     start_addr and region_offset are rounded down to a page boundary
    before calculating this offset.  This should not be a problem unless     before calculating this offset.  This should not be a problem unless
    the low bits of start_addr and region_offset differ.  */     the low bits of start_addr and region_offset differ.  */
 void cpu_register_physical_memory_offset(target_phys_addr_t start_addr,  void cpu_register_physical_memory_log(target_phys_addr_t start_addr,
                                          ram_addr_t size,                                           ram_addr_t size,
                                          ram_addr_t phys_offset,                                           ram_addr_t phys_offset,
                                          ram_addr_t region_offset)                                           ram_addr_t region_offset,
                                            bool log_dirty)
 {  {
     target_phys_addr_t addr, end_addr;      target_phys_addr_t addr, end_addr;
     PhysPageDesc *p;      PhysPageDesc *p;
     CPUState *env;      CPUState *env;
     ram_addr_t orig_size = size;      ram_addr_t orig_size = size;
     void *subpage;      subpage_t *subpage;
   
     if (kvm_enabled())      assert(size);
         kvm_set_phys_mem(start_addr, size, phys_offset);      cpu_notify_set_memory(start_addr, size, phys_offset, log_dirty);
   
     if (phys_offset == IO_MEM_UNASSIGNED) {      if (phys_offset == IO_MEM_UNASSIGNED) {
         region_offset = start_addr;          region_offset = start_addr;
Line 2319  void cpu_register_physical_memory_offset Line 2670  void cpu_register_physical_memory_offset
     region_offset &= TARGET_PAGE_MASK;      region_offset &= TARGET_PAGE_MASK;
     size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;      size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;
     end_addr = start_addr + (target_phys_addr_t)size;      end_addr = start_addr + (target_phys_addr_t)size;
     for(addr = start_addr; addr != end_addr; addr += TARGET_PAGE_SIZE) {  
       addr = start_addr;
       do {
         p = phys_page_find(addr >> TARGET_PAGE_BITS);          p = phys_page_find(addr >> TARGET_PAGE_BITS);
         if (p && p->phys_offset != IO_MEM_UNASSIGNED) {          if (p && p->phys_offset != IO_MEM_UNASSIGNED) {
             ram_addr_t orig_memory = p->phys_offset;              ram_addr_t orig_memory = p->phys_offset;
Line 2328  void cpu_register_physical_memory_offset Line 2681  void cpu_register_physical_memory_offset
   
             CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2,              CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2,
                           need_subpage);                            need_subpage);
             if (need_subpage || phys_offset & IO_MEM_SUBWIDTH) {              if (need_subpage) {
                 if (!(orig_memory & IO_MEM_SUBPAGE)) {                  if (!(orig_memory & IO_MEM_SUBPAGE)) {
                     subpage = subpage_init((addr & TARGET_PAGE_MASK),                      subpage = subpage_init((addr & TARGET_PAGE_MASK),
                                            &p->phys_offset, orig_memory,                                             &p->phys_offset, orig_memory,
Line 2360  void cpu_register_physical_memory_offset Line 2713  void cpu_register_physical_memory_offset
                 CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr,                  CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr,
                               end_addr2, need_subpage);                                end_addr2, need_subpage);
   
                 if (need_subpage || phys_offset & IO_MEM_SUBWIDTH) {                  if (need_subpage) {
                     subpage = subpage_init((addr & TARGET_PAGE_MASK),                      subpage = subpage_init((addr & TARGET_PAGE_MASK),
                                            &p->phys_offset, IO_MEM_UNASSIGNED,                                             &p->phys_offset, IO_MEM_UNASSIGNED,
                                            addr & TARGET_PAGE_MASK);                                             addr & TARGET_PAGE_MASK);
Line 2371  void cpu_register_physical_memory_offset Line 2724  void cpu_register_physical_memory_offset
             }              }
         }          }
         region_offset += TARGET_PAGE_SIZE;          region_offset += TARGET_PAGE_SIZE;
     }          addr += TARGET_PAGE_SIZE;
       } while (addr != end_addr);
   
     /* since each CPU stores ram addresses in its TLB cache, we must      /* since each CPU stores ram addresses in its TLB cache, we must
        reset the modified entries */         reset the modified entries */
Line 2404  void qemu_unregister_coalesced_mmio(targ Line 2758  void qemu_unregister_coalesced_mmio(targ
         kvm_uncoalesce_mmio_region(addr, size);          kvm_uncoalesce_mmio_region(addr, size);
 }  }
   
 ram_addr_t qemu_ram_alloc(ram_addr_t size)  void qemu_flush_coalesced_mmio_buffer(void)
 {  {
     RAMBlock *new_block;      if (kvm_enabled())
           kvm_flush_coalesced_mmio_buffer();
   }
   
   #if defined(__linux__) && !defined(TARGET_S390X)
   
   #include <sys/vfs.h>
   
   #define HUGETLBFS_MAGIC       0x958458f6
   
   static long gethugepagesize(const char *path)
   {
       struct statfs fs;
       int ret;
   
       do {
           ret = statfs(path, &fs);
       } while (ret != 0 && errno == EINTR);
   
       if (ret != 0) {
           perror(path);
           return 0;
       }
   
       if (fs.f_type != HUGETLBFS_MAGIC)
           fprintf(stderr, "Warning: path not on HugeTLBFS: %s\n", path);
   
       return fs.f_bsize;
   }
   
   static void *file_ram_alloc(RAMBlock *block,
                               ram_addr_t memory,
                               const char *path)
   {
       char *filename;
       void *area;
       int fd;
   #ifdef MAP_POPULATE
       int flags;
   #endif
       unsigned long hpagesize;
   
       hpagesize = gethugepagesize(path);
       if (!hpagesize) {
           return NULL;
       }
   
       if (memory < hpagesize) {
           return NULL;
       }
   
       if (kvm_enabled() && !kvm_has_sync_mmu()) {
           fprintf(stderr, "host lacks kvm mmu notifiers, -mem-path unsupported\n");
           return NULL;
       }
   
       if (asprintf(&filename, "%s/qemu_back_mem.XXXXXX", path) == -1) {
           return NULL;
       }
   
       fd = mkstemp(filename);
       if (fd < 0) {
           perror("unable to create backing store for hugepages");
           free(filename);
           return NULL;
       }
       unlink(filename);
       free(filename);
   
       memory = (memory+hpagesize-1) & ~(hpagesize-1);
   
       /*
        * ftruncate is not supported by hugetlbfs in older
        * hosts, so don't bother bailing out on errors.
        * If anything goes wrong with it under other filesystems,
        * mmap will fail.
        */
       if (ftruncate(fd, memory))
           perror("ftruncate");
   
   #ifdef MAP_POPULATE
       /* NB: MAP_POPULATE won't exhaustively alloc all phys pages in the case
        * MAP_PRIVATE is requested.  For mem_prealloc we mmap as MAP_SHARED
        * to sidestep this quirk.
        */
       flags = mem_prealloc ? MAP_POPULATE | MAP_SHARED : MAP_PRIVATE;
       area = mmap(0, memory, PROT_READ | PROT_WRITE, flags, fd, 0);
   #else
       area = mmap(0, memory, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);
   #endif
       if (area == MAP_FAILED) {
           perror("file_ram_alloc: can't mmap RAM pages");
           close(fd);
           return (NULL);
       }
       block->fd = fd;
       return area;
   }
   #endif
   
   static ram_addr_t find_ram_offset(ram_addr_t size)
   {
       RAMBlock *block, *next_block;
       ram_addr_t offset = 0, mingap = ULONG_MAX;
   
       if (QLIST_EMPTY(&ram_list.blocks))
           return 0;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           ram_addr_t end, next = ULONG_MAX;
   
           end = block->offset + block->length;
   
           QLIST_FOREACH(next_block, &ram_list.blocks, next) {
               if (next_block->offset >= end) {
                   next = MIN(next, next_block->offset);
               }
           }
           if (next - end >= size && next - end < mingap) {
               offset =  end;
               mingap = next - end;
           }
       }
       return offset;
   }
   
   static ram_addr_t last_ram_offset(void)
   {
       RAMBlock *block;
       ram_addr_t last = 0;
   
       QLIST_FOREACH(block, &ram_list.blocks, next)
           last = MAX(last, block->offset + block->length);
   
       return last;
   }
   
   ram_addr_t qemu_ram_alloc_from_ptr(DeviceState *dev, const char *name,
                                      ram_addr_t size, void *host)
   {
       RAMBlock *new_block, *block;
   
     size = TARGET_PAGE_ALIGN(size);      size = TARGET_PAGE_ALIGN(size);
     new_block = qemu_malloc(sizeof(*new_block));      new_block = qemu_mallocz(sizeof(*new_block));
   
 #if defined(TARGET_S390X) && defined(CONFIG_KVM)      if (dev && dev->parent_bus && dev->parent_bus->info->get_dev_path) {
     /* XXX S390 KVM requires the topmost vma of the RAM to be < 256GB */          char *id = dev->parent_bus->info->get_dev_path(dev);
     new_block->host = mmap((void*)0x1000000, size, PROT_EXEC|PROT_READ|PROT_WRITE,          if (id) {
                            MAP_SHARED | MAP_ANONYMOUS, -1, 0);              snprintf(new_block->idstr, sizeof(new_block->idstr), "%s/", id);
               qemu_free(id);
           }
       }
       pstrcat(new_block->idstr, sizeof(new_block->idstr), name);
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (!strcmp(block->idstr, new_block->idstr)) {
               fprintf(stderr, "RAMBlock \"%s\" already registered, abort!\n",
                       new_block->idstr);
               abort();
           }
       }
   
       new_block->offset = find_ram_offset(size);
       if (host) {
           new_block->host = host;
           new_block->flags |= RAM_PREALLOC_MASK;
       } else {
           if (mem_path) {
   #if defined (__linux__) && !defined(TARGET_S390X)
               new_block->host = file_ram_alloc(new_block, size, mem_path);
               if (!new_block->host) {
                   new_block->host = qemu_vmalloc(size);
                   qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);
               }
 #else  #else
     new_block->host = qemu_vmalloc(size);              fprintf(stderr, "-mem-path option unsupported\n");
               exit(1);
 #endif  #endif
 #ifdef MADV_MERGEABLE          } else {
     madvise(new_block->host, size, MADV_MERGEABLE);  #if defined(TARGET_S390X) && defined(CONFIG_KVM)
               /* S390 KVM requires the topmost vma of the RAM to be smaller than
                  an system defined value, which is at least 256GB. Larger systems
                  have larger values. We put the guest between the end of data
                  segment (system break) and this value. We use 32GB as a base to
                  have enough room for the system break to grow. */
               new_block->host = mmap((void*)0x800000000, size,
                                      PROT_EXEC|PROT_READ|PROT_WRITE,
                                      MAP_SHARED | MAP_ANONYMOUS | MAP_FIXED, -1, 0);
               if (new_block->host == MAP_FAILED) {
                   fprintf(stderr, "Allocating RAM failed\n");
                   abort();
               }
   #else
               if (xen_enabled()) {
                   xen_ram_alloc(new_block->offset, size);
               } else {
                   new_block->host = qemu_vmalloc(size);
               }
 #endif  #endif
     new_block->offset = last_ram_offset;              qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);
           }
       }
     new_block->length = size;      new_block->length = size;
   
     new_block->next = ram_blocks;      QLIST_INSERT_HEAD(&ram_list.blocks, new_block, next);
     ram_blocks = new_block;  
   
     phys_ram_dirty = qemu_realloc(phys_ram_dirty,      ram_list.phys_dirty = qemu_realloc(ram_list.phys_dirty,
         (last_ram_offset + size) >> TARGET_PAGE_BITS);                                         last_ram_offset() >> TARGET_PAGE_BITS);
     memset(phys_ram_dirty + (last_ram_offset >> TARGET_PAGE_BITS),      memset(ram_list.phys_dirty + (new_block->offset >> TARGET_PAGE_BITS),
            0xff, size >> TARGET_PAGE_BITS);             0xff, size >> TARGET_PAGE_BITS);
   
     last_ram_offset += size;  
   
     if (kvm_enabled())      if (kvm_enabled())
         kvm_setup_guest_memory(new_block->host, size);          kvm_setup_guest_memory(new_block->host, size);
   
     return new_block->offset;      return new_block->offset;
 }  }
   
   ram_addr_t qemu_ram_alloc(DeviceState *dev, const char *name, ram_addr_t size)
   {
       return qemu_ram_alloc_from_ptr(dev, name, size, NULL);
   }
   
   void qemu_ram_free_from_ptr(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr == block->offset) {
               QLIST_REMOVE(block, next);
               qemu_free(block);
               return;
           }
       }
   }
   
 void qemu_ram_free(ram_addr_t addr)  void qemu_ram_free(ram_addr_t addr)
 {  {
     /* TODO: implement this.  */      RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr == block->offset) {
               QLIST_REMOVE(block, next);
               if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else if (mem_path) {
   #if defined (__linux__) && !defined(TARGET_S390X)
                   if (block->fd) {
                       munmap(block->host, block->length);
                       close(block->fd);
                   } else {
                       qemu_vfree(block->host);
                   }
   #else
                   abort();
   #endif
               } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                   munmap(block->host, block->length);
   #else
                   if (xen_enabled()) {
                       xen_invalidate_map_cache_entry(block->host);
                   } else {
                       qemu_vfree(block->host);
                   }
   #endif
               }
               qemu_free(block);
               return;
           }
       }
   
 }  }
   
   #ifndef _WIN32
   void qemu_ram_remap(ram_addr_t addr, ram_addr_t length)
   {
       RAMBlock *block;
       ram_addr_t offset;
       int flags;
       void *area, *vaddr;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           offset = addr - block->offset;
           if (offset < block->length) {
               vaddr = block->host + offset;
               if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else {
                   flags = MAP_FIXED;
                   munmap(vaddr, length);
                   if (mem_path) {
   #if defined(__linux__) && !defined(TARGET_S390X)
                       if (block->fd) {
   #ifdef MAP_POPULATE
                           flags |= mem_prealloc ? MAP_POPULATE | MAP_SHARED :
                               MAP_PRIVATE;
   #else
                           flags |= MAP_PRIVATE;
   #endif
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, block->fd, offset);
                       } else {
                           flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, -1, 0);
                       }
   #else
                       abort();
   #endif
                   } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                       flags |= MAP_SHARED | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_EXEC|PROT_READ|PROT_WRITE,
                                   flags, -1, 0);
   #else
                       flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                   flags, -1, 0);
   #endif
                   }
                   if (area != vaddr) {
                       fprintf(stderr, "Could not remap addr: %lx@%lx\n",
                               length, addr);
                       exit(1);
                   }
                   qemu_madvise(vaddr, length, QEMU_MADV_MERGEABLE);
               }
               return;
           }
       }
   }
   #endif /* !_WIN32 */
   
 /* Return a host pointer to ram allocated with qemu_ram_alloc.  /* Return a host pointer to ram allocated with qemu_ram_alloc.
    With the exception of the softmmu code in this file, this should     With the exception of the softmmu code in this file, this should
    only be used for local memory (e.g. video ram) that the device owns,     only be used for local memory (e.g. video ram) that the device owns,
Line 2455  void qemu_ram_free(ram_addr_t addr) Line 3103  void qemu_ram_free(ram_addr_t addr)
  */   */
 void *qemu_get_ram_ptr(ram_addr_t addr)  void *qemu_get_ram_ptr(ram_addr_t addr)
 {  {
     RAMBlock *prev;  
     RAMBlock **prevp;  
     RAMBlock *block;      RAMBlock *block;
   
     prev = NULL;      QLIST_FOREACH(block, &ram_list.blocks, next) {
     prevp = &ram_blocks;          if (addr - block->offset < block->length) {
     block = ram_blocks;              /* Move this entry to to start of the list.  */
     while (block && (block->offset > addr              if (block != QLIST_FIRST(&ram_list.blocks)) {
                      || block->offset + block->length <= addr)) {                  QLIST_REMOVE(block, next);
         if (prev)                  QLIST_INSERT_HEAD(&ram_list.blocks, block, next);
           prevp = &prev->next;              }
         prev = block;              if (xen_enabled()) {
         block = block->next;                  /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
               return block->host + (addr - block->offset);
           }
       }
   
       fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
       abort();
   
       return NULL;
   }
   
   /* Return a host pointer to ram allocated with qemu_ram_alloc.
    * Same as qemu_get_ram_ptr but avoid reordering ramblocks.
    */
   void *qemu_safe_ram_ptr(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr - block->offset < block->length) {
               if (xen_enabled()) {
                   /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
               return block->host + (addr - block->offset);
           }
       }
   
       fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
       abort();
   
       return NULL;
   }
   
   /* Return a host pointer to guest's ram. Similar to qemu_get_ram_ptr
    * but takes a size argument */
   void *qemu_ram_ptr_length(ram_addr_t addr, ram_addr_t *size)
   {
       if (*size == 0) {
           return NULL;
     }      }
     if (!block) {      if (xen_enabled()) {
           return xen_map_cache(addr, *size, 1);
       } else {
           RAMBlock *block;
   
           QLIST_FOREACH(block, &ram_list.blocks, next) {
               if (addr - block->offset < block->length) {
                   if (addr - block->offset + *size > block->length)
                       *size = block->length - addr + block->offset;
                   return block->host + (addr - block->offset);
               }
           }
   
         fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);          fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
         abort();          abort();
     }      }
     /* Move this entry to to start of the list.  */  }
     if (prev) {  
         prev->next = block->next;  void qemu_put_ram_ptr(void *addr)
         block->next = *prevp;  {
         *prevp = block;      trace_qemu_put_ram_ptr(addr);
   }
   
   int qemu_ram_addr_from_host(void *ptr, ram_addr_t *ram_addr)
   {
       RAMBlock *block;
       uint8_t *host = ptr;
   
       if (xen_enabled()) {
           *ram_addr = xen_ram_addr_from_mapcache(ptr);
           return 0;
       }
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           /* This case append when the block is not mapped. */
           if (block->host == NULL) {
               continue;
           }
           if (host - block->host < block->length) {
               *ram_addr = block->offset + (host - block->host);
               return 0;
           }
     }      }
     return block->host + (addr - block->offset);  
       return -1;
 }  }
   
 /* Some of the softmmu routines need to translate from a host pointer  /* Some of the softmmu routines need to translate from a host pointer
    (typically a TLB entry) back to a ram offset.  */     (typically a TLB entry) back to a ram offset.  */
 ram_addr_t qemu_ram_addr_from_host(void *ptr)  ram_addr_t qemu_ram_addr_from_host_nofail(void *ptr)
 {  {
     RAMBlock *prev;      ram_addr_t ram_addr;
     RAMBlock **prevp;  
     RAMBlock *block;  
     uint8_t *host = ptr;  
   
     prev = NULL;      if (qemu_ram_addr_from_host(ptr, &ram_addr)) {
     prevp = &ram_blocks;  
     block = ram_blocks;  
     while (block && (block->host > host  
                      || block->host + block->length <= host)) {  
         if (prev)  
           prevp = &prev->next;  
         prev = block;  
         block = block->next;  
     }  
     if (!block) {  
         fprintf(stderr, "Bad ram pointer %p\n", ptr);          fprintf(stderr, "Bad ram pointer %p\n", ptr);
         abort();          abort();
     }      }
     return block->offset + (host - block->host);      return ram_addr;
 }  }
   
 static uint32_t unassigned_mem_readb(void *opaque, target_phys_addr_t addr)  static uint32_t unassigned_mem_readb(void *opaque, target_phys_addr_t addr)
Line 2513  static uint32_t unassigned_mem_readb(voi Line 3237  static uint32_t unassigned_mem_readb(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 1);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 1);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 2524  static uint32_t unassigned_mem_readw(voi Line 3248  static uint32_t unassigned_mem_readw(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 2);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 2);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 2535  static uint32_t unassigned_mem_readl(voi Line 3259  static uint32_t unassigned_mem_readl(voi
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);      printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 0, 0, 0, 4);      cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 4);
 #endif  #endif
     return 0;      return 0;
 }  }
Line 2546  static void unassigned_mem_writeb(void * Line 3270  static void unassigned_mem_writeb(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 1);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 1);
 #endif  #endif
 }  }
   
Line 2556  static void unassigned_mem_writew(void * Line 3280  static void unassigned_mem_writew(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 2);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 2);
 #endif  #endif
 }  }
   
Line 2566  static void unassigned_mem_writel(void * Line 3290  static void unassigned_mem_writel(void *
 #ifdef DEBUG_UNASSIGNED  #ifdef DEBUG_UNASSIGNED
     printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);      printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
 #endif  #endif
 #if defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)  #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
     do_unassigned_access(addr, 1, 0, 0, 4);      cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 4);
 #endif  #endif
 }  }
   
Line 2587  static void notdirty_mem_writeb(void *op Line 3311  static void notdirty_mem_writeb(void *op
                                 uint32_t val)                                  uint32_t val)
 {  {
     int dirty_flags;      int dirty_flags;
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {      if (!(dirty_flags & CODE_DIRTY_FLAG)) {
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
         tb_invalidate_phys_page_fast(ram_addr, 1);          tb_invalidate_phys_page_fast(ram_addr, 1);
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];          dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
 #endif  #endif
     }      }
     stb_p(qemu_get_ram_ptr(ram_addr), val);      stb_p(qemu_get_ram_ptr(ram_addr), val);
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);      dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;      cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
     /* we remove the notdirty callback only if the code has been      /* we remove the notdirty callback only if the code has been
        flushed */         flushed */
     if (dirty_flags == 0xff)      if (dirty_flags == 0xff)
Line 2607  static void notdirty_mem_writew(void *op Line 3331  static void notdirty_mem_writew(void *op
                                 uint32_t val)                                  uint32_t val)
 {  {
     int dirty_flags;      int dirty_flags;
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {      if (!(dirty_flags & CODE_DIRTY_FLAG)) {
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
         tb_invalidate_phys_page_fast(ram_addr, 2);          tb_invalidate_phys_page_fast(ram_addr, 2);
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];          dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
 #endif  #endif
     }      }
     stw_p(qemu_get_ram_ptr(ram_addr), val);      stw_p(qemu_get_ram_ptr(ram_addr), val);
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);      dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;      cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
     /* we remove the notdirty callback only if the code has been      /* we remove the notdirty callback only if the code has been
        flushed */         flushed */
     if (dirty_flags == 0xff)      if (dirty_flags == 0xff)
Line 2627  static void notdirty_mem_writel(void *op Line 3351  static void notdirty_mem_writel(void *op
                                 uint32_t val)                                  uint32_t val)
 {  {
     int dirty_flags;      int dirty_flags;
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {      if (!(dirty_flags & CODE_DIRTY_FLAG)) {
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
         tb_invalidate_phys_page_fast(ram_addr, 4);          tb_invalidate_phys_page_fast(ram_addr, 4);
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];          dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
 #endif  #endif
     }      }
     stl_p(qemu_get_ram_ptr(ram_addr), val);      stl_p(qemu_get_ram_ptr(ram_addr), val);
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);      dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;      cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
     /* we remove the notdirty callback only if the code has been      /* we remove the notdirty callback only if the code has been
        flushed */         flushed */
     if (dirty_flags == 0xff)      if (dirty_flags == 0xff)
Line 2684  static void check_watchpoint(int offset, Line 3408  static void check_watchpoint(int offset,
                     cpu_abort(env, "check_watchpoint: could not find TB for "                      cpu_abort(env, "check_watchpoint: could not find TB for "
                               "pc=%p", (void *)env->mem_io_pc);                                "pc=%p", (void *)env->mem_io_pc);
                 }                  }
                 cpu_restore_state(tb, env, env->mem_io_pc, NULL);                  cpu_restore_state(tb, env, env->mem_io_pc);
                 tb_phys_invalidate(tb, -1);                  tb_phys_invalidate(tb, -1);
                 if (wp->flags & BP_STOP_BEFORE_ACCESS) {                  if (wp->flags & BP_STOP_BEFORE_ACCESS) {
                     env->exception_index = EXCP_DEBUG;                      env->exception_index = EXCP_DEBUG;
Line 2754  static CPUWriteMemoryFunc * const watch_ Line 3478  static CPUWriteMemoryFunc * const watch_
     watch_mem_writel,      watch_mem_writel,
 };  };
   
 static inline uint32_t subpage_readlen (subpage_t *mmio, target_phys_addr_t addr,  static inline uint32_t subpage_readlen (subpage_t *mmio,
                                  unsigned int len)                                          target_phys_addr_t addr,
                                           unsigned int len)
 {  {
     uint32_t ret;      unsigned int idx = SUBPAGE_IDX(addr);
     unsigned int idx;  
   
     idx = SUBPAGE_IDX(addr);  
 #if defined(DEBUG_SUBPAGE)  #if defined(DEBUG_SUBPAGE)
     printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d\n", __func__,      printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d\n", __func__,
            mmio, len, addr, idx);             mmio, len, addr, idx);
 #endif  #endif
     ret = (**mmio->mem_read[idx][len])(mmio->opaque[idx][0][len],  
                                        addr + mmio->region_offset[idx][0][len]);  
   
     return ret;      addr += mmio->region_offset[idx];
       idx = mmio->sub_io_index[idx];
       return io_mem_read[idx][len](io_mem_opaque[idx], addr);
 }  }
   
 static inline void subpage_writelen (subpage_t *mmio, target_phys_addr_t addr,  static inline void subpage_writelen (subpage_t *mmio, target_phys_addr_t addr,
                               uint32_t value, unsigned int len)                                       uint32_t value, unsigned int len)
 {  {
     unsigned int idx;      unsigned int idx = SUBPAGE_IDX(addr);
   
     idx = SUBPAGE_IDX(addr);  
 #if defined(DEBUG_SUBPAGE)  #if defined(DEBUG_SUBPAGE)
     printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d value %08x\n", __func__,      printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d value %08x\n",
            mmio, len, addr, idx, value);             __func__, mmio, len, addr, idx, value);
 #endif  #endif
     (**mmio->mem_write[idx][len])(mmio->opaque[idx][1][len],  
                                   addr + mmio->region_offset[idx][1][len],      addr += mmio->region_offset[idx];
                                   value);      idx = mmio->sub_io_index[idx];
       io_mem_write[idx][len](io_mem_opaque[idx], addr, value);
 }  }
   
 static uint32_t subpage_readb (void *opaque, target_phys_addr_t addr)  static uint32_t subpage_readb (void *opaque, target_phys_addr_t addr)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx "\n", __func__, addr);  
 #endif  
   
     return subpage_readlen(opaque, addr, 0);      return subpage_readlen(opaque, addr, 0);
 }  }
   
 static void subpage_writeb (void *opaque, target_phys_addr_t addr,  static void subpage_writeb (void *opaque, target_phys_addr_t addr,
                             uint32_t value)                              uint32_t value)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx " val %08x\n", __func__, addr, value);  
 #endif  
     subpage_writelen(opaque, addr, value, 0);      subpage_writelen(opaque, addr, value, 0);
 }  }
   
 static uint32_t subpage_readw (void *opaque, target_phys_addr_t addr)  static uint32_t subpage_readw (void *opaque, target_phys_addr_t addr)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx "\n", __func__, addr);  
 #endif  
   
     return subpage_readlen(opaque, addr, 1);      return subpage_readlen(opaque, addr, 1);
 }  }
   
 static void subpage_writew (void *opaque, target_phys_addr_t addr,  static void subpage_writew (void *opaque, target_phys_addr_t addr,
                             uint32_t value)                              uint32_t value)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx " val %08x\n", __func__, addr, value);  
 #endif  
     subpage_writelen(opaque, addr, value, 1);      subpage_writelen(opaque, addr, value, 1);
 }  }
   
 static uint32_t subpage_readl (void *opaque, target_phys_addr_t addr)  static uint32_t subpage_readl (void *opaque, target_phys_addr_t addr)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx "\n", __func__, addr);  
 #endif  
   
     return subpage_readlen(opaque, addr, 2);      return subpage_readlen(opaque, addr, 2);
 }  }
   
 static void subpage_writel (void *opaque,  static void subpage_writel (void *opaque, target_phys_addr_t addr,
                          target_phys_addr_t addr, uint32_t value)                              uint32_t value)
 {  {
 #if defined(DEBUG_SUBPAGE)  
     printf("%s: addr " TARGET_FMT_plx " val %08x\n", __func__, addr, value);  
 #endif  
     subpage_writelen(opaque, addr, value, 2);      subpage_writelen(opaque, addr, value, 2);
 }  }
   
Line 2856  static int subpage_register (subpage_t * Line 3556  static int subpage_register (subpage_t *
                              ram_addr_t memory, ram_addr_t region_offset)                               ram_addr_t memory, ram_addr_t region_offset)
 {  {
     int idx, eidx;      int idx, eidx;
     unsigned int i;  
   
     if (start >= TARGET_PAGE_SIZE || end >= TARGET_PAGE_SIZE)      if (start >= TARGET_PAGE_SIZE || end >= TARGET_PAGE_SIZE)
         return -1;          return -1;
Line 2866  static int subpage_register (subpage_t * Line 3565  static int subpage_register (subpage_t *
     printf("%s: %p start %08x end %08x idx %08x eidx %08x mem %ld\n", __func__,      printf("%s: %p start %08x end %08x idx %08x eidx %08x mem %ld\n", __func__,
            mmio, start, end, idx, eidx, memory);             mmio, start, end, idx, eidx, memory);
 #endif  #endif
     memory >>= IO_MEM_SHIFT;      if ((memory & ~TARGET_PAGE_MASK) == IO_MEM_RAM)
           memory = IO_MEM_UNASSIGNED;
       memory = (memory >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
     for (; idx <= eidx; idx++) {      for (; idx <= eidx; idx++) {
         for (i = 0; i < 4; i++) {          mmio->sub_io_index[idx] = memory;
             if (io_mem_read[memory][i]) {          mmio->region_offset[idx] = region_offset;
                 mmio->mem_read[idx][i] = &io_mem_read[memory][i];  
                 mmio->opaque[idx][0][i] = io_mem_opaque[memory];  
                 mmio->region_offset[idx][0][i] = region_offset;  
             }  
             if (io_mem_write[memory][i]) {  
                 mmio->mem_write[idx][i] = &io_mem_write[memory][i];  
                 mmio->opaque[idx][1][i] = io_mem_opaque[memory];  
                 mmio->region_offset[idx][1][i] = region_offset;  
             }  
         }  
     }      }
   
     return 0;      return 0;
 }  }
   
 static void *subpage_init (target_phys_addr_t base, ram_addr_t *phys,  static subpage_t *subpage_init (target_phys_addr_t base, ram_addr_t *phys,
                            ram_addr_t orig_memory, ram_addr_t region_offset)                                  ram_addr_t orig_memory,
                                   ram_addr_t region_offset)
 {  {
     subpage_t *mmio;      subpage_t *mmio;
     int subpage_memory;      int subpage_memory;
Line 2894  static void *subpage_init (target_phys_a Line 3586  static void *subpage_init (target_phys_a
     mmio = qemu_mallocz(sizeof(subpage_t));      mmio = qemu_mallocz(sizeof(subpage_t));
   
     mmio->base = base;      mmio->base = base;
     subpage_memory = cpu_register_io_memory(subpage_read, subpage_write, mmio);      subpage_memory = cpu_register_io_memory(subpage_read, subpage_write, mmio,
                                               DEVICE_NATIVE_ENDIAN);
 #if defined(DEBUG_SUBPAGE)  #if defined(DEBUG_SUBPAGE)
     printf("%s: %p base " TARGET_FMT_plx " len %08x %d\n", __func__,      printf("%s: %p base " TARGET_FMT_plx " len %08x %d\n", __func__,
            mmio, base, TARGET_PAGE_SIZE, subpage_memory);             mmio, base, TARGET_PAGE_SIZE, subpage_memory);
 #endif  #endif
     *phys = subpage_memory | IO_MEM_SUBPAGE;      *phys = subpage_memory | IO_MEM_SUBPAGE;
     subpage_register(mmio, 0, TARGET_PAGE_SIZE - 1, orig_memory,      subpage_register(mmio, 0, TARGET_PAGE_SIZE-1, orig_memory, region_offset);
                          region_offset);  
   
     return mmio;      return mmio;
 }  }
Line 2915  static int get_free_io_mem_idx(void) Line 3607  static int get_free_io_mem_idx(void)
             io_mem_used[i] = 1;              io_mem_used[i] = 1;
             return i;              return i;
         }          }
       fprintf(stderr, "RAN out out io_mem_idx, max %d !\n", IO_MEM_NB_ENTRIES);
     return -1;      return -1;
 }  }
   
   /*
    * Usually, devices operate in little endian mode. There are devices out
    * there that operate in big endian too. Each device gets byte swapped
    * mmio if plugged onto a CPU that does the other endianness.
    *
    * CPU          Device           swap?
    *
    * little       little           no
    * little       big              yes
    * big          little           yes
    * big          big              no
    */
   
   typedef struct SwapEndianContainer {
       CPUReadMemoryFunc *read[3];
       CPUWriteMemoryFunc *write[3];
       void *opaque;
   } SwapEndianContainer;
   
   static uint32_t swapendian_mem_readb (void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = c->read[0](c->opaque, addr);
       return val;
   }
   
   static uint32_t swapendian_mem_readw(void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = bswap16(c->read[1](c->opaque, addr));
       return val;
   }
   
   static uint32_t swapendian_mem_readl(void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = bswap32(c->read[2](c->opaque, addr));
       return val;
   }
   
   static CPUReadMemoryFunc * const swapendian_readfn[3]={
       swapendian_mem_readb,
       swapendian_mem_readw,
       swapendian_mem_readl
   };
   
   static void swapendian_mem_writeb(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[0](c->opaque, addr, val);
   }
   
   static void swapendian_mem_writew(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[1](c->opaque, addr, bswap16(val));
   }
   
   static void swapendian_mem_writel(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[2](c->opaque, addr, bswap32(val));
   }
   
   static CPUWriteMemoryFunc * const swapendian_writefn[3]={
       swapendian_mem_writeb,
       swapendian_mem_writew,
       swapendian_mem_writel
   };
   
   static void swapendian_init(int io_index)
   {
       SwapEndianContainer *c = qemu_malloc(sizeof(SwapEndianContainer));
       int i;
   
       /* Swap mmio for big endian targets */
       c->opaque = io_mem_opaque[io_index];
       for (i = 0; i < 3; i++) {
           c->read[i] = io_mem_read[io_index][i];
           c->write[i] = io_mem_write[io_index][i];
   
           io_mem_read[io_index][i] = swapendian_readfn[i];
           io_mem_write[io_index][i] = swapendian_writefn[i];
       }
       io_mem_opaque[io_index] = c;
   }
   
   static void swapendian_del(int io_index)
   {
       if (io_mem_read[io_index][0] == swapendian_readfn[0]) {
           qemu_free(io_mem_opaque[io_index]);
       }
   }
   
 /* mem_read and mem_write are arrays of functions containing the  /* mem_read and mem_write are arrays of functions containing the
    function to access byte (index 0), word (index 1) and dword (index     function to access byte (index 0), word (index 1) and dword (index
    2). Functions can be omitted with a NULL function pointer.     2). Functions can be omitted with a NULL function pointer.
Line 2929  static int get_free_io_mem_idx(void) Line 3721  static int get_free_io_mem_idx(void)
 static int cpu_register_io_memory_fixed(int io_index,  static int cpu_register_io_memory_fixed(int io_index,
                                         CPUReadMemoryFunc * const *mem_read,                                          CPUReadMemoryFunc * const *mem_read,
                                         CPUWriteMemoryFunc * const *mem_write,                                          CPUWriteMemoryFunc * const *mem_write,
                                         void *opaque)                                          void *opaque, enum device_endian endian)
 {  {
     int i, subwidth = 0;      int i;
   
     if (io_index <= 0) {      if (io_index <= 0) {
         io_index = get_free_io_mem_idx();          io_index = get_free_io_mem_idx();
Line 2943  static int cpu_register_io_memory_fixed( Line 3735  static int cpu_register_io_memory_fixed(
             return -1;              return -1;
     }      }
   
     for(i = 0;i < 3; i++) {      for (i = 0; i < 3; ++i) {
         if (!mem_read[i] || !mem_write[i])          io_mem_read[io_index][i]
             subwidth = IO_MEM_SUBWIDTH;              = (mem_read[i] ? mem_read[i] : unassigned_mem_read[i]);
         io_mem_read[io_index][i] = mem_read[i];      }
         io_mem_write[io_index][i] = mem_write[i];      for (i = 0; i < 3; ++i) {
           io_mem_write[io_index][i]
               = (mem_write[i] ? mem_write[i] : unassigned_mem_write[i]);
     }      }
     io_mem_opaque[io_index] = opaque;      io_mem_opaque[io_index] = opaque;
     return (io_index << IO_MEM_SHIFT) | subwidth;  
       switch (endian) {
       case DEVICE_BIG_ENDIAN:
   #ifndef TARGET_WORDS_BIGENDIAN
           swapendian_init(io_index);
   #endif
           break;
       case DEVICE_LITTLE_ENDIAN:
   #ifdef TARGET_WORDS_BIGENDIAN
           swapendian_init(io_index);
   #endif
           break;
       case DEVICE_NATIVE_ENDIAN:
       default:
           break;
       }
   
       return (io_index << IO_MEM_SHIFT);
 }  }
   
 int cpu_register_io_memory(CPUReadMemoryFunc * const *mem_read,  int cpu_register_io_memory(CPUReadMemoryFunc * const *mem_read,
                            CPUWriteMemoryFunc * const *mem_write,                             CPUWriteMemoryFunc * const *mem_write,
                            void *opaque)                             void *opaque, enum device_endian endian)
 {  {
     return cpu_register_io_memory_fixed(0, mem_read, mem_write, opaque);      return cpu_register_io_memory_fixed(0, mem_read, mem_write, opaque, endian);
 }  }
   
 void cpu_unregister_io_memory(int io_table_address)  void cpu_unregister_io_memory(int io_table_address)
Line 2965  void cpu_unregister_io_memory(int io_tab Line 3776  void cpu_unregister_io_memory(int io_tab
     int i;      int i;
     int io_index = io_table_address >> IO_MEM_SHIFT;      int io_index = io_table_address >> IO_MEM_SHIFT;
   
       swapendian_del(io_index);
   
     for (i=0;i < 3; i++) {      for (i=0;i < 3; i++) {
         io_mem_read[io_index][i] = unassigned_mem_read[i];          io_mem_read[io_index][i] = unassigned_mem_read[i];
         io_mem_write[io_index][i] = unassigned_mem_write[i];          io_mem_write[io_index][i] = unassigned_mem_write[i];
Line 2977  static void io_mem_init(void) Line 3790  static void io_mem_init(void)
 {  {
     int i;      int i;
   
     cpu_register_io_memory_fixed(IO_MEM_ROM, error_mem_read, unassigned_mem_write, NULL);      cpu_register_io_memory_fixed(IO_MEM_ROM, error_mem_read,
     cpu_register_io_memory_fixed(IO_MEM_UNASSIGNED, unassigned_mem_read, unassigned_mem_write, NULL);                                   unassigned_mem_write, NULL,
     cpu_register_io_memory_fixed(IO_MEM_NOTDIRTY, error_mem_read, notdirty_mem_write, NULL);                                   DEVICE_NATIVE_ENDIAN);
       cpu_register_io_memory_fixed(IO_MEM_UNASSIGNED, unassigned_mem_read,
                                    unassigned_mem_write, NULL,
                                    DEVICE_NATIVE_ENDIAN);
       cpu_register_io_memory_fixed(IO_MEM_NOTDIRTY, error_mem_read,
                                    notdirty_mem_write, NULL,
                                    DEVICE_NATIVE_ENDIAN);
     for (i=0; i<5; i++)      for (i=0; i<5; i++)
         io_mem_used[i] = 1;          io_mem_used[i] = 1;
   
     io_mem_watch = cpu_register_io_memory(watch_mem_read,      io_mem_watch = cpu_register_io_memory(watch_mem_read,
                                           watch_mem_write, NULL);                                            watch_mem_write, NULL,
                                             DEVICE_NATIVE_ENDIAN);
 }  }
   
 #endif /* !defined(CONFIG_USER_ONLY) */  #endif /* !defined(CONFIG_USER_ONLY) */
   
 /* physical memory access (slow version, mainly for debug) */  /* physical memory access (slow version, mainly for debug) */
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
 void cpu_physical_memory_rw(target_phys_addr_t addr, uint8_t *buf,  int cpu_memory_rw_debug(CPUState *env, target_ulong addr,
                             int len, int is_write)                          uint8_t *buf, int len, int is_write)
 {  {
     int l, flags;      int l, flags;
     target_ulong page;      target_ulong page;
Line 3005  void cpu_physical_memory_rw(target_phys_ Line 3825  void cpu_physical_memory_rw(target_phys_
             l = len;              l = len;
         flags = page_get_flags(page);          flags = page_get_flags(page);
         if (!(flags & PAGE_VALID))          if (!(flags & PAGE_VALID))
             return;              return -1;
         if (is_write) {          if (is_write) {
             if (!(flags & PAGE_WRITE))              if (!(flags & PAGE_WRITE))
                 return;                  return -1;
             /* XXX: this code should not depend on lock_user */              /* XXX: this code should not depend on lock_user */
             if (!(p = lock_user(VERIFY_WRITE, addr, l, 0)))              if (!(p = lock_user(VERIFY_WRITE, addr, l, 0)))
                 /* FIXME - should this return an error rather than just fail? */                  return -1;
                 return;  
             memcpy(p, buf, l);              memcpy(p, buf, l);
             unlock_user(p, addr, l);              unlock_user(p, addr, l);
         } else {          } else {
             if (!(flags & PAGE_READ))              if (!(flags & PAGE_READ))
                 return;                  return -1;
             /* XXX: this code should not depend on lock_user */              /* XXX: this code should not depend on lock_user */
             if (!(p = lock_user(VERIFY_READ, addr, l, 1)))              if (!(p = lock_user(VERIFY_READ, addr, l, 1)))
                 /* FIXME - should this return an error rather than just fail? */                  return -1;
                 return;  
             memcpy(buf, p, l);              memcpy(buf, p, l);
             unlock_user(p, addr, 0);              unlock_user(p, addr, 0);
         }          }
Line 3029  void cpu_physical_memory_rw(target_phys_ Line 3847  void cpu_physical_memory_rw(target_phys_
         buf += l;          buf += l;
         addr += l;          addr += l;
     }      }
       return 0;
 }  }
   
 #else  #else
Line 3088  void cpu_physical_memory_rw(target_phys_ Line 3907  void cpu_physical_memory_rw(target_phys_
                     /* invalidate code */                      /* invalidate code */
                     tb_invalidate_phys_page_range(addr1, addr1 + l, 0);                      tb_invalidate_phys_page_range(addr1, addr1 + l, 0);
                     /* set dirty bit */                      /* set dirty bit */
                     phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=                      cpu_physical_memory_set_dirty_flags(
                         (0xff & ~CODE_DIRTY_FLAG);                          addr1, (0xff & ~CODE_DIRTY_FLAG));
                 }                  }
                   qemu_put_ram_ptr(ptr);
             }              }
         } else {          } else {
             if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&              if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
Line 3118  void cpu_physical_memory_rw(target_phys_ Line 3938  void cpu_physical_memory_rw(target_phys_
                 }                  }
             } else {              } else {
                 /* RAM case */                  /* RAM case */
                 ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +                  ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK);
                     (addr & ~TARGET_PAGE_MASK);                  memcpy(buf, ptr + (addr & ~TARGET_PAGE_MASK), l);
                 memcpy(buf, ptr, l);                  qemu_put_ram_ptr(ptr);
             }              }
         }          }
         len -= l;          len -= l;
Line 3161  void cpu_physical_memory_write_rom(targe Line 3981  void cpu_physical_memory_write_rom(targe
             /* ROM/RAM case */              /* ROM/RAM case */
             ptr = qemu_get_ram_ptr(addr1);              ptr = qemu_get_ram_ptr(addr1);
             memcpy(ptr, buf, l);              memcpy(ptr, buf, l);
               qemu_put_ram_ptr(ptr);
         }          }
         len -= l;          len -= l;
         buf += l;          buf += l;
Line 3226  void *cpu_physical_memory_map(target_phy Line 4047  void *cpu_physical_memory_map(target_phy
                               int is_write)                                int is_write)
 {  {
     target_phys_addr_t len = *plen;      target_phys_addr_t len = *plen;
     target_phys_addr_t done = 0;      target_phys_addr_t todo = 0;
     int l;      int l;
     uint8_t *ret = NULL;  
     uint8_t *ptr;  
     target_phys_addr_t page;      target_phys_addr_t page;
     unsigned long pd;      unsigned long pd;
     PhysPageDesc *p;      PhysPageDesc *p;
     unsigned long addr1;      ram_addr_t raddr = ULONG_MAX;
       ram_addr_t rlen;
       void *ret;
   
     while (len > 0) {      while (len > 0) {
         page = addr & TARGET_PAGE_MASK;          page = addr & TARGET_PAGE_MASK;
Line 3248  void *cpu_physical_memory_map(target_phy Line 4069  void *cpu_physical_memory_map(target_phy
         }          }
   
         if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {          if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
             if (done || bounce.buffer) {              if (todo || bounce.buffer) {
                 break;                  break;
             }              }
             bounce.buffer = qemu_memalign(TARGET_PAGE_SIZE, TARGET_PAGE_SIZE);              bounce.buffer = qemu_memalign(TARGET_PAGE_SIZE, TARGET_PAGE_SIZE);
             bounce.addr = addr;              bounce.addr = addr;
             bounce.len = l;              bounce.len = l;
             if (!is_write) {              if (!is_write) {
                 cpu_physical_memory_rw(addr, bounce.buffer, l, 0);                  cpu_physical_memory_read(addr, bounce.buffer, l);
             }              }
             ptr = bounce.buffer;  
         } else {              *plen = l;
             addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);              return bounce.buffer;
             ptr = qemu_get_ram_ptr(addr1);  
         }          }
         if (!done) {          if (!todo) {
             ret = ptr;              raddr = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         } else if (ret + done != ptr) {  
             break;  
         }          }
   
         len -= l;          len -= l;
         addr += l;          addr += l;
         done += l;          todo += l;
     }      }
     *plen = done;      rlen = todo;
       ret = qemu_ram_ptr_length(raddr, &rlen);
       *plen = rlen;
     return ret;      return ret;
 }  }
   
Line 3285  void cpu_physical_memory_unmap(void *buf Line 4105  void cpu_physical_memory_unmap(void *buf
 {  {
     if (buffer != bounce.buffer) {      if (buffer != bounce.buffer) {
         if (is_write) {          if (is_write) {
             ram_addr_t addr1 = qemu_ram_addr_from_host(buffer);              ram_addr_t addr1 = qemu_ram_addr_from_host_nofail(buffer);
             while (access_len) {              while (access_len) {
                 unsigned l;                  unsigned l;
                 l = TARGET_PAGE_SIZE;                  l = TARGET_PAGE_SIZE;
Line 3295  void cpu_physical_memory_unmap(void *buf Line 4115  void cpu_physical_memory_unmap(void *buf
                     /* invalidate code */                      /* invalidate code */
                     tb_invalidate_phys_page_range(addr1, addr1 + l, 0);                      tb_invalidate_phys_page_range(addr1, addr1 + l, 0);
                     /* set dirty bit */                      /* set dirty bit */
                     phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=                      cpu_physical_memory_set_dirty_flags(
                         (0xff & ~CODE_DIRTY_FLAG);                          addr1, (0xff & ~CODE_DIRTY_FLAG));
                 }                  }
                 addr1 += l;                  addr1 += l;
                 access_len -= l;                  access_len -= l;
             }              }
         }          }
           if (xen_enabled()) {
               xen_invalidate_map_cache_entry(buffer);
           }
         return;          return;
     }      }
     if (is_write) {      if (is_write) {
Line 3313  void cpu_physical_memory_unmap(void *buf Line 4136  void cpu_physical_memory_unmap(void *buf
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 uint32_t ldl_phys(target_phys_addr_t addr)  static inline uint32_t ldl_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3335  uint32_t ldl_phys(target_phys_addr_t add Line 4159  uint32_t ldl_phys(target_phys_addr_t add
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
         val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);          val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
     } else {      } else {
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = ldl_p(ptr);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldl_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldl_be_p(ptr);
               break;
           default:
               val = ldl_p(ptr);
               break;
           }
     }      }
     return val;      return val;
 }  }
   
   uint32_t ldl_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint32_t ldl_le_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint32_t ldl_be_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 uint64_t ldq_phys(target_phys_addr_t addr)  static inline uint64_t ldq_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3366  uint64_t ldq_phys(target_phys_addr_t add Line 4225  uint64_t ldq_phys(target_phys_addr_t add
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   
           /* XXX This is broken when device endian != cpu endian.
                  Fix and add "endian" variable check */
 #ifdef TARGET_WORDS_BIGENDIAN  #ifdef TARGET_WORDS_BIGENDIAN
         val = (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr) << 32;          val = (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr) << 32;
         val |= io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4);          val |= io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4);
Line 3377  uint64_t ldq_phys(target_phys_addr_t add Line 4239  uint64_t ldq_phys(target_phys_addr_t add
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = ldq_p(ptr);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldq_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldq_be_p(ptr);
               break;
           default:
               val = ldq_p(ptr);
               break;
           }
     }      }
     return val;      return val;
 }  }
   
   uint64_t ldq_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint64_t ldq_le_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint64_t ldq_be_phys(target_phys_addr_t addr)
   {
       return ldq_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
 /* XXX: optimize */  /* XXX: optimize */
 uint32_t ldub_phys(target_phys_addr_t addr)  uint32_t ldub_phys(target_phys_addr_t addr)
 {  {
Line 3390  uint32_t ldub_phys(target_phys_addr_t ad Line 4277  uint32_t ldub_phys(target_phys_addr_t ad
     return val;      return val;
 }  }
   
 /* XXX: optimize */  /* warning: addr must be aligned */
   static inline uint32_t lduw_phys_internal(target_phys_addr_t addr,
                                             enum device_endian endian)
   {
       int io_index;
       uint8_t *ptr;
       uint64_t val;
       unsigned long pd;
       PhysPageDesc *p;
   
       p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p) {
           pd = IO_MEM_UNASSIGNED;
       } else {
           pd = p->phys_offset;
       }
   
       if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
           !(pd & IO_MEM_ROMD)) {
           /* I/O case */
           io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
           if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
           val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr);
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
       } else {
           /* RAM case */
           ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
               (addr & ~TARGET_PAGE_MASK);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = lduw_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = lduw_be_p(ptr);
               break;
           default:
               val = lduw_p(ptr);
               break;
           }
       }
       return val;
   }
   
 uint32_t lduw_phys(target_phys_addr_t addr)  uint32_t lduw_phys(target_phys_addr_t addr)
 {  {
     uint16_t val;      return lduw_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
     cpu_physical_memory_read(addr, (uint8_t *)&val, 2);  }
     return tswap16(val);  
   uint32_t lduw_le_phys(target_phys_addr_t addr)
   {
       return lduw_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint32_t lduw_be_phys(target_phys_addr_t addr)
   {
       return lduw_phys_internal(addr, DEVICE_BIG_ENDIAN);
 }  }
   
 /* warning: addr must be aligned. The ram page is not masked as dirty  /* warning: addr must be aligned. The ram page is not masked as dirty
Line 3430  void stl_phys_notdirty(target_phys_addr_ Line 4376  void stl_phys_notdirty(target_phys_addr_
                 /* invalidate code */                  /* invalidate code */
                 tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);                  tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);
                 /* set dirty bit */                  /* set dirty bit */
                 phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=                  cpu_physical_memory_set_dirty_flags(
                     (0xff & ~CODE_DIRTY_FLAG);                      addr1, (0xff & ~CODE_DIRTY_FLAG));
             }              }
         }          }
     }      }
Line 3470  void stq_phys_notdirty(target_phys_addr_ Line 4416  void stq_phys_notdirty(target_phys_addr_
 }  }
   
 /* warning: addr must be aligned */  /* warning: addr must be aligned */
 void stl_phys(target_phys_addr_t addr, uint32_t val)  static inline void stl_phys_internal(target_phys_addr_t addr, uint32_t val,
                                        enum device_endian endian)
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 3488  void stl_phys(target_phys_addr_t addr, u Line 4435  void stl_phys(target_phys_addr_t addr, u
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         if (p)          if (p)
             addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
         io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);          io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);
     } else {      } else {
         unsigned long addr1;          unsigned long addr1;
         addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);          addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         /* RAM case */          /* RAM case */
         ptr = qemu_get_ram_ptr(addr1);          ptr = qemu_get_ram_ptr(addr1);
         stl_p(ptr, val);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stl_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stl_be_p(ptr, val);
               break;
           default:
               stl_p(ptr, val);
               break;
           }
         if (!cpu_physical_memory_is_dirty(addr1)) {          if (!cpu_physical_memory_is_dirty(addr1)) {
             /* invalidate code */              /* invalidate code */
             tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);              tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);
             /* set dirty bit */              /* set dirty bit */
             phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=              cpu_physical_memory_set_dirty_flags(addr1,
                 (0xff & ~CODE_DIRTY_FLAG);                  (0xff & ~CODE_DIRTY_FLAG));
         }          }
     }      }
 }  }
   
   void stl_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
   }
   
   void stl_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stl_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
   }
   
 /* XXX: optimize */  /* XXX: optimize */
 void stb_phys(target_phys_addr_t addr, uint32_t val)  void stb_phys(target_phys_addr_t addr, uint32_t val)
 {  {
Line 3512  void stb_phys(target_phys_addr_t addr, u Line 4493  void stb_phys(target_phys_addr_t addr, u
     cpu_physical_memory_write(addr, &v, 1);      cpu_physical_memory_write(addr, &v, 1);
 }  }
   
 /* XXX: optimize */  /* warning: addr must be aligned */
   static inline void stw_phys_internal(target_phys_addr_t addr, uint32_t val,
                                        enum device_endian endian)
   {
       int io_index;
       uint8_t *ptr;
       unsigned long pd;
       PhysPageDesc *p;
   
       p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p) {
           pd = IO_MEM_UNASSIGNED;
       } else {
           pd = p->phys_offset;
       }
   
       if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
           io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
           if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
           io_mem_write[io_index][1](io_mem_opaque[io_index], addr, val);
       } else {
           unsigned long addr1;
           addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
           /* RAM case */
           ptr = qemu_get_ram_ptr(addr1);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stw_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stw_be_p(ptr, val);
               break;
           default:
               stw_p(ptr, val);
               break;
           }
           if (!cpu_physical_memory_is_dirty(addr1)) {
               /* invalidate code */
               tb_invalidate_phys_page_range(addr1, addr1 + 2, 0);
               /* set dirty bit */
               cpu_physical_memory_set_dirty_flags(addr1,
                   (0xff & ~CODE_DIRTY_FLAG));
           }
       }
   }
   
 void stw_phys(target_phys_addr_t addr, uint32_t val)  void stw_phys(target_phys_addr_t addr, uint32_t val)
 {  {
     uint16_t v = tswap16(val);      stw_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
     cpu_physical_memory_write(addr, (const uint8_t *)&v, 2);  }
   
   void stw_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stw_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
 }  }
   
 /* XXX: optimize */  /* XXX: optimize */
 void stq_phys(target_phys_addr_t addr, uint64_t val)  void stq_phys(target_phys_addr_t addr, uint64_t val)
 {  {
     val = tswap64(val);      val = tswap64(val);
     cpu_physical_memory_write(addr, (const uint8_t *)&val, 8);      cpu_physical_memory_write(addr, &val, 8);
 }  }
   
 #endif  void stq_le_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_le64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
   void stq_be_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_be64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
 /* virtual memory access for debug (includes writing to ROM) */  /* virtual memory access for debug (includes writing to ROM) */
 int cpu_memory_rw_debug(CPUState *env, target_ulong addr,  int cpu_memory_rw_debug(CPUState *env, target_ulong addr,
Line 3546  int cpu_memory_rw_debug(CPUState *env, t Line 4601  int cpu_memory_rw_debug(CPUState *env, t
         if (l > len)          if (l > len)
             l = len;              l = len;
         phys_addr += (addr & ~TARGET_PAGE_MASK);          phys_addr += (addr & ~TARGET_PAGE_MASK);
 #if !defined(CONFIG_USER_ONLY)  
         if (is_write)          if (is_write)
             cpu_physical_memory_write_rom(phys_addr, buf, l);              cpu_physical_memory_write_rom(phys_addr, buf, l);
         else          else
 #endif  
             cpu_physical_memory_rw(phys_addr, buf, l, is_write);              cpu_physical_memory_rw(phys_addr, buf, l, is_write);
         len -= l;          len -= l;
         buf += l;          buf += l;
Line 3558  int cpu_memory_rw_debug(CPUState *env, t Line 4611  int cpu_memory_rw_debug(CPUState *env, t
     }      }
     return 0;      return 0;
 }  }
   #endif
   
 /* in deterministic execution mode, instructions doing device I/Os  /* in deterministic execution mode, instructions doing device I/Os
    must be at the end of the TB */     must be at the end of the TB */
Line 3574  void cpu_io_recompile(CPUState *env, voi Line 4628  void cpu_io_recompile(CPUState *env, voi
                   retaddr);                    retaddr);
     }      }
     n = env->icount_decr.u16.low + tb->icount;      n = env->icount_decr.u16.low + tb->icount;
     cpu_restore_state(tb, env, (unsigned long)retaddr, NULL);      cpu_restore_state(tb, env, (unsigned long)retaddr);
     /* Calculate how many instructions had been executed before the fault      /* Calculate how many instructions had been executed before the fault
        occurred.  */         occurred.  */
     n = n - env->icount_decr.u16.low;      n = n - env->icount_decr.u16.low;
Line 3618  void cpu_io_recompile(CPUState *env, voi Line 4672  void cpu_io_recompile(CPUState *env, voi
     cpu_resume_from_signal(env, NULL);      cpu_resume_from_signal(env, NULL);
 }  }
   
 void dump_exec_info(FILE *f,  #if !defined(CONFIG_USER_ONLY)
                     int (*cpu_fprintf)(FILE *f, const char *fmt, ...))  
   void dump_exec_info(FILE *f, fprintf_function cpu_fprintf)
 {  {
     int i, target_code_size, max_target_code_size;      int i, target_code_size, max_target_code_size;
     int direct_jmp_count, direct_jmp2_count, cross_page;      int direct_jmp_count, direct_jmp2_count, cross_page;
Line 3646  void dump_exec_info(FILE *f, Line 4701  void dump_exec_info(FILE *f,
     }      }
     /* XXX: avoid using doubles ? */      /* XXX: avoid using doubles ? */
     cpu_fprintf(f, "Translation buffer state:\n");      cpu_fprintf(f, "Translation buffer state:\n");
     cpu_fprintf(f, "gen code size       %ld/%ld\n",      cpu_fprintf(f, "gen code size       %td/%ld\n",
                 code_gen_ptr - code_gen_buffer, code_gen_buffer_max_size);                  code_gen_ptr - code_gen_buffer, code_gen_buffer_max_size);
     cpu_fprintf(f, "TB count            %d/%d\n",       cpu_fprintf(f, "TB count            %d/%d\n", 
                 nb_tbs, code_gen_max_blocks);                  nb_tbs, code_gen_max_blocks);
     cpu_fprintf(f, "TB avg target size  %d max=%d bytes\n",      cpu_fprintf(f, "TB avg target size  %d max=%d bytes\n",
                 nb_tbs ? target_code_size / nb_tbs : 0,                  nb_tbs ? target_code_size / nb_tbs : 0,
                 max_target_code_size);                  max_target_code_size);
     cpu_fprintf(f, "TB avg host size    %d bytes (expansion ratio: %0.1f)\n",      cpu_fprintf(f, "TB avg host size    %td bytes (expansion ratio: %0.1f)\n",
                 nb_tbs ? (code_gen_ptr - code_gen_buffer) / nb_tbs : 0,                  nb_tbs ? (code_gen_ptr - code_gen_buffer) / nb_tbs : 0,
                 target_code_size ? (double) (code_gen_ptr - code_gen_buffer) / target_code_size : 0);                  target_code_size ? (double) (code_gen_ptr - code_gen_buffer) / target_code_size : 0);
     cpu_fprintf(f, "cross page TB count %d (%d%%)\n",      cpu_fprintf(f, "cross page TB count %d (%d%%)\n",
Line 3671  void dump_exec_info(FILE *f, Line 4726  void dump_exec_info(FILE *f,
     tcg_dump_info(f, cpu_fprintf);      tcg_dump_info(f, cpu_fprintf);
 }  }
   
 #if !defined(CONFIG_USER_ONLY)  
   
 #define MMUSUFFIX _cmmu  #define MMUSUFFIX _cmmu
 #define GETPC() NULL  #define GETPC() NULL
 #define env cpu_single_env  #define env cpu_single_env

Removed from v.1.1.1.12  
changed lines
  Added in v.1.1.1.15


unix.superglobalmegacorp.com