Diff for /qemu/exec.c between versions 1.1.1.1 and 1.1.1.15

version 1.1.1.1, 2018/04/24 16:37:52 version 1.1.1.15, 2018/04/24 18:56:22
Line 1 Line 1
 /*  /*
  *  virtual page mapping and translated block handling   *  virtual page mapping and translated block handling
  *    *
  *  Copyright (c) 2003 Fabrice Bellard   *  Copyright (c) 2003 Fabrice Bellard
  *   *
  * This library is free software; you can redistribute it and/or   * This library is free software; you can redistribute it and/or
Line 14 Line 14
  * Lesser General Public License for more details.   * Lesser General Public License for more details.
  *   *
  * You should have received a copy of the GNU Lesser General Public   * You should have received a copy of the GNU Lesser General Public
  * License along with this library; if not, write to the Free Software   * License along with this library; if not, see <http://www.gnu.org/licenses/>.
  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA  
  */   */
 #include "config.h"  #include "config.h"
 #ifdef _WIN32  #ifdef _WIN32
Line 24 Line 23
 #include <sys/types.h>  #include <sys/types.h>
 #include <sys/mman.h>  #include <sys/mman.h>
 #endif  #endif
 #include <stdlib.h>  
 #include <stdio.h>  
 #include <stdarg.h>  
 #include <string.h>  
 #include <errno.h>  
 #include <unistd.h>  
 #include <inttypes.h>  
   
   #include "qemu-common.h"
 #include "cpu.h"  #include "cpu.h"
 #include "exec-all.h"  #include "tcg.h"
   #include "hw/hw.h"
   #include "hw/qdev.h"
   #include "osdep.h"
   #include "kvm.h"
   #include "hw/xen.h"
   #include "qemu-timer.h"
   #if defined(CONFIG_USER_ONLY)
   #include <qemu.h>
   #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
   #include <sys/param.h>
   #if __FreeBSD_version >= 700104
   #define HAVE_KINFO_GETVMMAP
   #define sigqueue sigqueue_freebsd  /* avoid redefinition */
   #include <sys/time.h>
   #include <sys/proc.h>
   #include <machine/profile.h>
   #define _KERNEL
   #include <sys/user.h>
   #undef _KERNEL
   #undef sigqueue
   #include <libutil.h>
   #endif
   #endif
   #else /* !CONFIG_USER_ONLY */
   #include "xen-mapcache.h"
   #include "trace.h"
   #endif
   
 //#define DEBUG_TB_INVALIDATE  //#define DEBUG_TB_INVALIDATE
 //#define DEBUG_FLUSH  //#define DEBUG_FLUSH
 //#define DEBUG_TLB  //#define DEBUG_TLB
   //#define DEBUG_UNASSIGNED
   
 /* make various TB consistency checks */  /* make various TB consistency checks */
 //#define DEBUG_TB_CHECK   //#define DEBUG_TB_CHECK
 //#define DEBUG_TLB_CHECK   //#define DEBUG_TLB_CHECK
   
 /* threshold to flush the translated code buffer */  
 #define CODE_GEN_BUFFER_MAX_SIZE (CODE_GEN_BUFFER_SIZE - CODE_GEN_MAX_SIZE)  
   
 #define SMC_BITMAP_USE_THRESHOLD 10  
   
 #define MMAP_AREA_START        0x00000000  //#define DEBUG_IOPORT
 #define MMAP_AREA_END          0xa8000000  //#define DEBUG_SUBPAGE
   
 #if defined(TARGET_SPARC64)  #if !defined(CONFIG_USER_ONLY)
 #define TARGET_PHYS_ADDR_SPACE_BITS 41  /* TB consistency checks only implemented for usermode emulation.  */
 #elif defined(TARGET_PPC64)  #undef DEBUG_TB_CHECK
 #define TARGET_PHYS_ADDR_SPACE_BITS 42  
 #else  
 /* Note: for compatibility with kqemu, we use 32 bits for x86_64 */  
 #define TARGET_PHYS_ADDR_SPACE_BITS 32  
 #endif  #endif
   
 TranslationBlock tbs[CODE_GEN_MAX_BLOCKS];  #define SMC_BITMAP_USE_THRESHOLD 10
 TranslationBlock *tb_hash[CODE_GEN_HASH_SIZE];  
   static TranslationBlock *tbs;
   static int code_gen_max_blocks;
 TranslationBlock *tb_phys_hash[CODE_GEN_PHYS_HASH_SIZE];  TranslationBlock *tb_phys_hash[CODE_GEN_PHYS_HASH_SIZE];
 int nb_tbs;  static int nb_tbs;
 /* any access to the tbs or the page table must use this lock */  /* any access to the tbs or the page table must use this lock */
 spinlock_t tb_lock = SPIN_LOCK_UNLOCKED;  spinlock_t tb_lock = SPIN_LOCK_UNLOCKED;
   
 uint8_t code_gen_buffer[CODE_GEN_BUFFER_SIZE] __attribute__((aligned (32)));  #if defined(__arm__) || defined(__sparc_v9__)
 uint8_t *code_gen_ptr;  /* The prologue must be reachable with a direct jump. ARM and Sparc64
    have limited branch ranges (possibly also PPC) so place it in a
    section close to code segment. */
   #define code_gen_section                                \
       __attribute__((__section__(".gen_code")))           \
       __attribute__((aligned (32)))
   #elif defined(_WIN32)
   /* Maximum alignment for Win32 is 16. */
   #define code_gen_section                                \
       __attribute__((aligned (16)))
   #else
   #define code_gen_section                                \
       __attribute__((aligned (32)))
   #endif
   
   uint8_t code_gen_prologue[1024] code_gen_section;
   static uint8_t *code_gen_buffer;
   static unsigned long code_gen_buffer_size;
   /* threshold to flush the translated code buffer */
   static unsigned long code_gen_buffer_max_size;
   static uint8_t *code_gen_ptr;
   
 int phys_ram_size;  #if !defined(CONFIG_USER_ONLY)
 int phys_ram_fd;  int phys_ram_fd;
 uint8_t *phys_ram_base;  static int in_migration;
 uint8_t *phys_ram_dirty;  
   RAMList ram_list = { .blocks = QLIST_HEAD_INITIALIZER(ram_list) };
   #endif
   
   CPUState *first_cpu;
   /* current CPU in the current thread. It is only valid inside
      cpu_exec() */
   CPUState *cpu_single_env;
   /* 0 = Do not count executed instructions.
      1 = Precise instruction counting.
      2 = Adaptive rate instruction counting.  */
   int use_icount = 0;
   /* Current instruction counter.  While executing translated code this may
      include some instructions that have not yet been executed.  */
   int64_t qemu_icount;
   
 typedef struct PageDesc {  typedef struct PageDesc {
     /* list of TBs intersecting this ram page */      /* list of TBs intersecting this ram page */
Line 87  typedef struct PageDesc { Line 135  typedef struct PageDesc {
 #endif  #endif
 } PageDesc;  } PageDesc;
   
 typedef struct PhysPageDesc {  /* In system mode we want L1_MAP to be based on ram offsets,
     /* offset in host memory of the page + io_index in the low 12 bits */     while in user mode we want it to be based on virtual addresses.  */
     uint32_t phys_offset;  #if !defined(CONFIG_USER_ONLY)
 } PhysPageDesc;  #if HOST_LONG_BITS < TARGET_PHYS_ADDR_SPACE_BITS
   # define L1_MAP_ADDR_SPACE_BITS  HOST_LONG_BITS
 /* Note: the VirtPage handling is absolete and will be suppressed  #else
    ASAP */  # define L1_MAP_ADDR_SPACE_BITS  TARGET_PHYS_ADDR_SPACE_BITS
 typedef struct VirtPageDesc {  #endif
     /* physical address of code page. It is valid only if 'valid_tag'  #else
        matches 'virt_valid_tag' */   # define L1_MAP_ADDR_SPACE_BITS  TARGET_VIRT_ADDR_SPACE_BITS
     target_ulong phys_addr;   
     unsigned int valid_tag;  
 #if !defined(CONFIG_SOFTMMU)  
     /* original page access rights. It is valid only if 'valid_tag'  
        matches 'virt_valid_tag' */  
     unsigned int prot;  
 #endif  #endif
 } VirtPageDesc;  
   
   /* Size of the L2 (and L3, etc) page tables.  */
 #define L2_BITS 10  #define L2_BITS 10
 #define L1_BITS (32 - L2_BITS - TARGET_PAGE_BITS)  
   
 #define L1_SIZE (1 << L1_BITS)  
 #define L2_SIZE (1 << L2_BITS)  #define L2_SIZE (1 << L2_BITS)
   
 static void io_mem_init(void);  /* The bits remaining after N lower levels of page tables.  */
   #define P_L1_BITS_REM \
       ((TARGET_PHYS_ADDR_SPACE_BITS - TARGET_PAGE_BITS) % L2_BITS)
   #define V_L1_BITS_REM \
       ((L1_MAP_ADDR_SPACE_BITS - TARGET_PAGE_BITS) % L2_BITS)
   
   /* Size of the L1 page table.  Avoid silly small sizes.  */
   #if P_L1_BITS_REM < 4
   #define P_L1_BITS  (P_L1_BITS_REM + L2_BITS)
   #else
   #define P_L1_BITS  P_L1_BITS_REM
   #endif
   
   #if V_L1_BITS_REM < 4
   #define V_L1_BITS  (V_L1_BITS_REM + L2_BITS)
   #else
   #define V_L1_BITS  V_L1_BITS_REM
   #endif
   
   #define P_L1_SIZE  ((target_phys_addr_t)1 << P_L1_BITS)
   #define V_L1_SIZE  ((target_ulong)1 << V_L1_BITS)
   
   #define P_L1_SHIFT (TARGET_PHYS_ADDR_SPACE_BITS - TARGET_PAGE_BITS - P_L1_BITS)
   #define V_L1_SHIFT (L1_MAP_ADDR_SPACE_BITS - TARGET_PAGE_BITS - V_L1_BITS)
   
 unsigned long qemu_real_host_page_size;  unsigned long qemu_real_host_page_size;
 unsigned long qemu_host_page_bits;  unsigned long qemu_host_page_bits;
 unsigned long qemu_host_page_size;  unsigned long qemu_host_page_size;
 unsigned long qemu_host_page_mask;  unsigned long qemu_host_page_mask;
   
 /* XXX: for system emulation, it could just be an array */  /* This is a multi-level map on the virtual address space.
 static PageDesc *l1_map[L1_SIZE];     The bottom level has pointers to PageDesc.  */
 PhysPageDesc **l1_phys_map;  static void *l1_map[V_L1_SIZE];
   
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
 #if TARGET_LONG_BITS > 32  typedef struct PhysPageDesc {
 #define VIRT_L_BITS 9      /* offset in host memory of the page + io_index in the low bits */
 #define VIRT_L_SIZE (1 << VIRT_L_BITS)      ram_addr_t phys_offset;
 static void *l1_virt_map[VIRT_L_SIZE];      ram_addr_t region_offset;
 #else  } PhysPageDesc;
 static VirtPageDesc *l1_virt_map[L1_SIZE];  
 #endif  /* This is a multi-level map on the physical address space.
 static unsigned int virt_valid_tag;     The bottom level has pointers to PhysPageDesc.  */
 #endif  static void *l1_phys_map[P_L1_SIZE];
   
   static void io_mem_init(void);
   
 /* io memory support */  /* io memory support */
 CPUWriteMemoryFunc *io_mem_write[IO_MEM_NB_ENTRIES][4];  CPUWriteMemoryFunc *io_mem_write[IO_MEM_NB_ENTRIES][4];
 CPUReadMemoryFunc *io_mem_read[IO_MEM_NB_ENTRIES][4];  CPUReadMemoryFunc *io_mem_read[IO_MEM_NB_ENTRIES][4];
 void *io_mem_opaque[IO_MEM_NB_ENTRIES];  void *io_mem_opaque[IO_MEM_NB_ENTRIES];
 static int io_mem_nb;  static char io_mem_used[IO_MEM_NB_ENTRIES];
   static int io_mem_watch;
   #endif
   
 /* log support */  /* log support */
 char *logfilename = "/tmp/qemu.log";  #ifdef WIN32
   static const char *logfilename = "qemu.log";
   #else
   static const char *logfilename = "/tmp/qemu.log";
   #endif
 FILE *logfile;  FILE *logfile;
 int loglevel;  int loglevel;
   static int log_append = 0;
   
 /* statistics */  /* statistics */
   #if !defined(CONFIG_USER_ONLY)
 static int tlb_flush_count;  static int tlb_flush_count;
   #endif
 static int tb_flush_count;  static int tb_flush_count;
 static int tb_phys_invalidate_count;  static int tb_phys_invalidate_count;
   
   #ifdef _WIN32
   static void map_exec(void *addr, long size)
   {
       DWORD old_protect;
       VirtualProtect(addr, size,
                      PAGE_EXECUTE_READWRITE, &old_protect);
       
   }
   #else
   static void map_exec(void *addr, long size)
   {
       unsigned long start, end, page_size;
       
       page_size = getpagesize();
       start = (unsigned long)addr;
       start &= ~(page_size - 1);
       
       end = (unsigned long)addr + size;
       end += page_size - 1;
       end &= ~(page_size - 1);
       
       mprotect((void *)start, end - start,
                PROT_READ | PROT_WRITE | PROT_EXEC);
   }
   #endif
   
 static void page_init(void)  static void page_init(void)
 {  {
     /* NOTE: we can always suppose that qemu_host_page_size >=      /* NOTE: we can always suppose that qemu_host_page_size >=
Line 157  static void page_init(void) Line 256  static void page_init(void)
 #ifdef _WIN32  #ifdef _WIN32
     {      {
         SYSTEM_INFO system_info;          SYSTEM_INFO system_info;
         DWORD old_protect;  
           
         GetSystemInfo(&system_info);          GetSystemInfo(&system_info);
         qemu_real_host_page_size = system_info.dwPageSize;          qemu_real_host_page_size = system_info.dwPageSize;
           
         VirtualProtect(code_gen_buffer, sizeof(code_gen_buffer),  
                        PAGE_EXECUTE_READWRITE, &old_protect);  
     }      }
 #else  #else
     qemu_real_host_page_size = getpagesize();      qemu_real_host_page_size = getpagesize();
     {  
         unsigned long start, end;  
   
         start = (unsigned long)code_gen_buffer;  
         start &= ~(qemu_real_host_page_size - 1);  
           
         end = (unsigned long)code_gen_buffer + sizeof(code_gen_buffer);  
         end += qemu_real_host_page_size - 1;  
         end &= ~(qemu_real_host_page_size - 1);  
           
         mprotect((void *)start, end - start,   
                  PROT_READ | PROT_WRITE | PROT_EXEC);  
     }  
 #endif  #endif
   
     if (qemu_host_page_size == 0)      if (qemu_host_page_size == 0)
         qemu_host_page_size = qemu_real_host_page_size;          qemu_host_page_size = qemu_real_host_page_size;
     if (qemu_host_page_size < TARGET_PAGE_SIZE)      if (qemu_host_page_size < TARGET_PAGE_SIZE)
Line 190  static void page_init(void) Line 271  static void page_init(void)
     while ((1 << qemu_host_page_bits) < qemu_host_page_size)      while ((1 << qemu_host_page_bits) < qemu_host_page_size)
         qemu_host_page_bits++;          qemu_host_page_bits++;
     qemu_host_page_mask = ~(qemu_host_page_size - 1);      qemu_host_page_mask = ~(qemu_host_page_size - 1);
 #if !defined(CONFIG_USER_ONLY)  
     virt_valid_tag = 1;  #if defined(CONFIG_BSD) && defined(CONFIG_USER_ONLY)
       {
   #ifdef HAVE_KINFO_GETVMMAP
           struct kinfo_vmentry *freep;
           int i, cnt;
   
           freep = kinfo_getvmmap(getpid(), &cnt);
           if (freep) {
               mmap_lock();
               for (i = 0; i < cnt; i++) {
                   unsigned long startaddr, endaddr;
   
                   startaddr = freep[i].kve_start;
                   endaddr = freep[i].kve_end;
                   if (h2g_valid(startaddr)) {
                       startaddr = h2g(startaddr) & TARGET_PAGE_MASK;
   
                       if (h2g_valid(endaddr)) {
                           endaddr = h2g(endaddr);
                           page_set_flags(startaddr, endaddr, PAGE_RESERVED);
                       } else {
   #if TARGET_ABI_BITS <= L1_MAP_ADDR_SPACE_BITS
                           endaddr = ~0ul;
                           page_set_flags(startaddr, endaddr, PAGE_RESERVED);
   #endif
                       }
                   }
               }
               free(freep);
               mmap_unlock();
           }
   #else
           FILE *f;
   
           last_brk = (unsigned long)sbrk(0);
   
           f = fopen("/compat/linux/proc/self/maps", "r");
           if (f) {
               mmap_lock();
   
               do {
                   unsigned long startaddr, endaddr;
                   int n;
   
                   n = fscanf (f, "%lx-%lx %*[^\n]\n", &startaddr, &endaddr);
   
                   if (n == 2 && h2g_valid(startaddr)) {
                       startaddr = h2g(startaddr) & TARGET_PAGE_MASK;
   
                       if (h2g_valid(endaddr)) {
                           endaddr = h2g(endaddr);
                       } else {
                           endaddr = ~0ul;
                       }
                       page_set_flags(startaddr, endaddr, PAGE_RESERVED);
                   }
               } while (!feof(f));
   
               fclose(f);
               mmap_unlock();
           }
   #endif
       }
 #endif  #endif
     l1_phys_map = qemu_vmalloc(L1_SIZE * sizeof(void *));  
     memset(l1_phys_map, 0, L1_SIZE * sizeof(void *));  
 }  }
   
 static inline PageDesc *page_find_alloc(unsigned int index)  static PageDesc *page_find_alloc(tb_page_addr_t index, int alloc)
 {  {
     PageDesc **lp, *p;      PageDesc *pd;
       void **lp;
       int i;
   
     lp = &l1_map[index >> L2_BITS];  #if defined(CONFIG_USER_ONLY)
     p = *lp;      /* We can't use qemu_malloc because it may recurse into a locked mutex. */
     if (!p) {  # define ALLOC(P, SIZE)                                 \
         /* allocate if not found */      do {                                                \
         p = qemu_malloc(sizeof(PageDesc) * L2_SIZE);          P = mmap(NULL, SIZE, PROT_READ | PROT_WRITE,    \
         memset(p, 0, sizeof(PageDesc) * L2_SIZE);                   MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);   \
         *lp = p;      } while (0)
   #else
   # define ALLOC(P, SIZE) \
       do { P = qemu_mallocz(SIZE); } while (0)
   #endif
   
       /* Level 1.  Always allocated.  */
       lp = l1_map + ((index >> V_L1_SHIFT) & (V_L1_SIZE - 1));
   
       /* Level 2..N-1.  */
       for (i = V_L1_SHIFT / L2_BITS - 1; i > 0; i--) {
           void **p = *lp;
   
           if (p == NULL) {
               if (!alloc) {
                   return NULL;
               }
               ALLOC(p, sizeof(void *) * L2_SIZE);
               *lp = p;
           }
   
           lp = p + ((index >> (i * L2_BITS)) & (L2_SIZE - 1));
       }
   
       pd = *lp;
       if (pd == NULL) {
           if (!alloc) {
               return NULL;
           }
           ALLOC(pd, sizeof(PageDesc) * L2_SIZE);
           *lp = pd;
     }      }
     return p + (index & (L2_SIZE - 1));  
   #undef ALLOC
   
       return pd + (index & (L2_SIZE - 1));
 }  }
   
 static inline PageDesc *page_find(unsigned int index)  static inline PageDesc *page_find(tb_page_addr_t index)
 {  {
     PageDesc *p;      return page_find_alloc(index, 0);
   
     p = l1_map[index >> L2_BITS];  
     if (!p)  
         return 0;  
     return p + (index & (L2_SIZE - 1));  
 }  }
   
   #if !defined(CONFIG_USER_ONLY)
 static PhysPageDesc *phys_page_find_alloc(target_phys_addr_t index, int alloc)  static PhysPageDesc *phys_page_find_alloc(target_phys_addr_t index, int alloc)
 {  {
     void **lp, **p;      PhysPageDesc *pd;
       void **lp;
       int i;
   
     p = (void **)l1_phys_map;      /* Level 1.  Always allocated.  */
 #if TARGET_PHYS_ADDR_SPACE_BITS > 32      lp = l1_phys_map + ((index >> P_L1_SHIFT) & (P_L1_SIZE - 1));
   
 #if TARGET_PHYS_ADDR_SPACE_BITS > (32 + L1_BITS)      /* Level 2..N-1.  */
 #error unsupported TARGET_PHYS_ADDR_SPACE_BITS      for (i = P_L1_SHIFT / L2_BITS - 1; i > 0; i--) {
 #endif          void **p = *lp;
     lp = p + ((index >> (L1_BITS + L2_BITS)) & (L1_SIZE - 1));          if (p == NULL) {
     p = *lp;              if (!alloc) {
     if (!p) {                  return NULL;
         /* allocate if not found */              }
         if (!alloc)              *lp = p = qemu_mallocz(sizeof(void *) * L2_SIZE);
             return NULL;          }
         p = qemu_vmalloc(sizeof(void *) * L1_SIZE);          lp = p + ((index >> (i * L2_BITS)) & (L2_SIZE - 1));
         memset(p, 0, sizeof(void *) * L1_SIZE);  
         *lp = p;  
     }      }
 #endif  
     lp = p + ((index >> L2_BITS) & (L1_SIZE - 1));      pd = *lp;
     p = *lp;      if (pd == NULL) {
     if (!p) {          int i;
         /* allocate if not found */  
         if (!alloc)          if (!alloc) {
             return NULL;              return NULL;
         p = qemu_vmalloc(sizeof(PhysPageDesc) * L2_SIZE);          }
         memset(p, 0, sizeof(PhysPageDesc) * L2_SIZE);  
         *lp = p;          *lp = pd = qemu_malloc(sizeof(PhysPageDesc) * L2_SIZE);
   
           for (i = 0; i < L2_SIZE; i++) {
               pd[i].phys_offset = IO_MEM_UNASSIGNED;
               pd[i].region_offset = (index + i) << TARGET_PAGE_BITS;
           }
     }      }
     return ((PhysPageDesc *)p) + (index & (L2_SIZE - 1));  
       return pd + (index & (L2_SIZE - 1));
 }  }
   
 static inline PhysPageDesc *phys_page_find(target_phys_addr_t index)  static inline PhysPageDesc *phys_page_find(target_phys_addr_t index)
Line 261  static inline PhysPageDesc *phys_page_fi Line 439  static inline PhysPageDesc *phys_page_fi
     return phys_page_find_alloc(index, 0);      return phys_page_find_alloc(index, 0);
 }  }
   
 #if !defined(CONFIG_USER_ONLY)  static void tlb_protect_code(ram_addr_t ram_addr);
 static void tlb_protect_code(CPUState *env, ram_addr_t ram_addr,   static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,
                              target_ulong vaddr);  
 static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,   
                                     target_ulong vaddr);                                      target_ulong vaddr);
   #define mmap_lock() do { } while(0)
   #define mmap_unlock() do { } while(0)
   #endif
   
 static VirtPageDesc *virt_page_find_alloc(target_ulong index, int alloc)  #define DEFAULT_CODE_GEN_BUFFER_SIZE (32 * 1024 * 1024)
 {  
 #if TARGET_LONG_BITS > 32  
     void **p, **lp;  
   
     p = l1_virt_map;  #if defined(CONFIG_USER_ONLY)
     lp = p + ((index >> (5 * VIRT_L_BITS)) & (VIRT_L_SIZE - 1));  /* Currently it is not recommended to allocate big chunks of data in
     p = *lp;     user mode. It will change when a dedicated libc will be used */
     if (!p) {  #define USE_STATIC_CODE_GEN_BUFFER
         if (!alloc)  #endif
             return NULL;  
         p = qemu_mallocz(sizeof(void *) * VIRT_L_SIZE);  #ifdef USE_STATIC_CODE_GEN_BUFFER
         *lp = p;  static uint8_t static_code_gen_buffer[DEFAULT_CODE_GEN_BUFFER_SIZE]
     }                 __attribute__((aligned (CODE_GEN_ALIGN)));
     lp = p + ((index >> (4 * VIRT_L_BITS)) & (VIRT_L_SIZE - 1));  #endif
     p = *lp;  
     if (!p) {  static void code_gen_alloc(unsigned long tb_size)
         if (!alloc)  {
             return NULL;  #ifdef USE_STATIC_CODE_GEN_BUFFER
         p = qemu_mallocz(sizeof(void *) * VIRT_L_SIZE);      code_gen_buffer = static_code_gen_buffer;
         *lp = p;      code_gen_buffer_size = DEFAULT_CODE_GEN_BUFFER_SIZE;
     }      map_exec(code_gen_buffer, code_gen_buffer_size);
     lp = p + ((index >> (3 * VIRT_L_BITS)) & (VIRT_L_SIZE - 1));  #else
     p = *lp;      code_gen_buffer_size = tb_size;
     if (!p) {      if (code_gen_buffer_size == 0) {
         if (!alloc)  #if defined(CONFIG_USER_ONLY)
             return NULL;          /* in user mode, phys_ram_size is not meaningful */
         p = qemu_mallocz(sizeof(void *) * VIRT_L_SIZE);          code_gen_buffer_size = DEFAULT_CODE_GEN_BUFFER_SIZE;
         *lp = p;  #else
           /* XXX: needs adjustments */
           code_gen_buffer_size = (unsigned long)(ram_size / 4);
   #endif
     }      }
     lp = p + ((index >> (2 * VIRT_L_BITS)) & (VIRT_L_SIZE - 1));      if (code_gen_buffer_size < MIN_CODE_GEN_BUFFER_SIZE)
     p = *lp;          code_gen_buffer_size = MIN_CODE_GEN_BUFFER_SIZE;
     if (!p) {      /* The code gen buffer location may have constraints depending on
         if (!alloc)         the host cpu and OS */
             return NULL;  #if defined(__linux__) 
         p = qemu_mallocz(sizeof(void *) * VIRT_L_SIZE);      {
         *lp = p;          int flags;
           void *start = NULL;
   
           flags = MAP_PRIVATE | MAP_ANONYMOUS;
   #if defined(__x86_64__)
           flags |= MAP_32BIT;
           /* Cannot map more than that */
           if (code_gen_buffer_size > (800 * 1024 * 1024))
               code_gen_buffer_size = (800 * 1024 * 1024);
   #elif defined(__sparc_v9__)
           // Map the buffer below 2G, so we can use direct calls and branches
           flags |= MAP_FIXED;
           start = (void *) 0x60000000UL;
           if (code_gen_buffer_size > (512 * 1024 * 1024))
               code_gen_buffer_size = (512 * 1024 * 1024);
   #elif defined(__arm__)
           /* Map the buffer below 32M, so we can use direct calls and branches */
           flags |= MAP_FIXED;
           start = (void *) 0x01000000UL;
           if (code_gen_buffer_size > 16 * 1024 * 1024)
               code_gen_buffer_size = 16 * 1024 * 1024;
   #elif defined(__s390x__)
           /* Map the buffer so that we can use direct calls and branches.  */
           /* We have a +- 4GB range on the branches; leave some slop.  */
           if (code_gen_buffer_size > (3ul * 1024 * 1024 * 1024)) {
               code_gen_buffer_size = 3ul * 1024 * 1024 * 1024;
           }
           start = (void *)0x90000000UL;
   #endif
           code_gen_buffer = mmap(start, code_gen_buffer_size,
                                  PROT_WRITE | PROT_READ | PROT_EXEC,
                                  flags, -1, 0);
           if (code_gen_buffer == MAP_FAILED) {
               fprintf(stderr, "Could not allocate dynamic translator buffer\n");
               exit(1);
           }
     }      }
     lp = p + ((index >> (1 * VIRT_L_BITS)) & (VIRT_L_SIZE - 1));  #elif defined(__FreeBSD__) || defined(__FreeBSD_kernel__) \
     p = *lp;      || defined(__DragonFly__) || defined(__OpenBSD__)
     if (!p) {      {
         if (!alloc)          int flags;
             return NULL;          void *addr = NULL;
         p = qemu_mallocz(sizeof(VirtPageDesc) * VIRT_L_SIZE);          flags = MAP_PRIVATE | MAP_ANONYMOUS;
         *lp = p;  #if defined(__x86_64__)
           /* FreeBSD doesn't have MAP_32BIT, use MAP_FIXED and assume
            * 0x40000000 is free */
           flags |= MAP_FIXED;
           addr = (void *)0x40000000;
           /* Cannot map more than that */
           if (code_gen_buffer_size > (800 * 1024 * 1024))
               code_gen_buffer_size = (800 * 1024 * 1024);
   #elif defined(__sparc_v9__)
           // Map the buffer below 2G, so we can use direct calls and branches
           flags |= MAP_FIXED;
           addr = (void *) 0x60000000UL;
           if (code_gen_buffer_size > (512 * 1024 * 1024)) {
               code_gen_buffer_size = (512 * 1024 * 1024);
           }
   #endif
           code_gen_buffer = mmap(addr, code_gen_buffer_size,
                                  PROT_WRITE | PROT_READ | PROT_EXEC, 
                                  flags, -1, 0);
           if (code_gen_buffer == MAP_FAILED) {
               fprintf(stderr, "Could not allocate dynamic translator buffer\n");
               exit(1);
           }
     }      }
     return ((VirtPageDesc *)p) + (index & (VIRT_L_SIZE - 1));  
 #else  #else
     VirtPageDesc *p, **lp;      code_gen_buffer = qemu_malloc(code_gen_buffer_size);
       map_exec(code_gen_buffer, code_gen_buffer_size);
     lp = &l1_virt_map[index >> L2_BITS];  #endif
     p = *lp;  #endif /* !USE_STATIC_CODE_GEN_BUFFER */
     if (!p) {      map_exec(code_gen_prologue, sizeof(code_gen_prologue));
         /* allocate if not found */      code_gen_buffer_max_size = code_gen_buffer_size -
         if (!alloc)          (TCG_MAX_OP_SIZE * OPC_BUF_SIZE);
             return NULL;      code_gen_max_blocks = code_gen_buffer_size / CODE_GEN_AVG_BLOCK_SIZE;
         p = qemu_mallocz(sizeof(VirtPageDesc) * L2_SIZE);      tbs = qemu_malloc(code_gen_max_blocks * sizeof(TranslationBlock));
         *lp = p;  }
     }  
     return p + (index & (L2_SIZE - 1));  /* Must be called before using the QEMU cpus. 'tb_size' is the size
      (in bytes) allocated to the translation buffer. Zero means default
      size. */
   void cpu_exec_init_all(unsigned long tb_size)
   {
       cpu_gen_init();
       code_gen_alloc(tb_size);
       code_gen_ptr = code_gen_buffer;
       page_init();
   #if !defined(CONFIG_USER_ONLY)
       io_mem_init();
   #endif
   #if !defined(CONFIG_USER_ONLY) || !defined(CONFIG_USE_GUEST_BASE)
       /* There's no guest base to take into account, so go ahead and
          initialize the prologue now.  */
       tcg_prologue_init(&tcg_ctx);
 #endif  #endif
 }  }
   
 static inline VirtPageDesc *virt_page_find(target_ulong index)  #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)
   
   static int cpu_common_post_load(void *opaque, int version_id)
 {  {
     return virt_page_find_alloc(index, 0);      CPUState *env = opaque;
   
       /* 0x01 was CPU_INTERRUPT_EXIT. This line can be removed when the
          version_id is increased. */
       env->interrupt_request &= ~0x01;
       tlb_flush(env, 1);
   
       return 0;
 }  }
   
 #if TARGET_LONG_BITS > 32  static const VMStateDescription vmstate_cpu_common = {
 static void virt_page_flush_internal(void **p, int level)      .name = "cpu_common",
       .version_id = 1,
       .minimum_version_id = 1,
       .minimum_version_id_old = 1,
       .post_load = cpu_common_post_load,
       .fields      = (VMStateField []) {
           VMSTATE_UINT32(halted, CPUState),
           VMSTATE_UINT32(interrupt_request, CPUState),
           VMSTATE_END_OF_LIST()
       }
   };
   #endif
   
   CPUState *qemu_get_cpu(int cpu)
 {  {
     int i;       CPUState *env = first_cpu;
     if (level == 0) {  
         VirtPageDesc *q = (VirtPageDesc *)p;      while (env) {
         for(i = 0; i < VIRT_L_SIZE; i++)          if (env->cpu_index == cpu)
             q[i].valid_tag = 0;              break;
     } else {          env = env->next_cpu;
         level--;  
         for(i = 0; i < VIRT_L_SIZE; i++) {  
             if (p[i])  
                 virt_page_flush_internal(p[i], level);  
         }  
     }      }
   
       return env;
 }  }
 #endif  
   
 static void virt_page_flush(void)  void cpu_exec_init(CPUState *env)
 {  {
     virt_valid_tag++;      CPUState **penv;
       int cpu_index;
   
     if (virt_valid_tag == 0) {  #if defined(CONFIG_USER_ONLY)
         virt_valid_tag = 1;      cpu_list_lock();
 #if TARGET_LONG_BITS > 32  #endif
         virt_page_flush_internal(l1_virt_map, 5);      env->next_cpu = NULL;
 #else      penv = &first_cpu;
         {      cpu_index = 0;
             int i, j;      while (*penv != NULL) {
             VirtPageDesc *p;          penv = &(*penv)->next_cpu;
             for(i = 0; i < L1_SIZE; i++) {          cpu_index++;
                 p = l1_virt_map[i];      }
                 if (p) {      env->cpu_index = cpu_index;
                     for(j = 0; j < L2_SIZE; j++)      env->numa_node = 0;
                         p[j].valid_tag = 0;      QTAILQ_INIT(&env->breakpoints);
                 }      QTAILQ_INIT(&env->watchpoints);
             }  #ifndef CONFIG_USER_ONLY
         }      env->thread_id = qemu_get_thread_id();
   #endif
       *penv = env;
   #if defined(CONFIG_USER_ONLY)
       cpu_list_unlock();
   #endif
   #if defined(CPU_SAVE_VERSION) && !defined(CONFIG_USER_ONLY)
       vmstate_register(NULL, cpu_index, &vmstate_cpu_common, env);
       register_savevm(NULL, "cpu", cpu_index, CPU_SAVE_VERSION,
                       cpu_save, cpu_load, env);
 #endif  #endif
     }  
 }  }
 #else  
 static void virt_page_flush(void)  /* Allocate a new translation block. Flush the translation buffer if
      too many translation blocks or too much generated code. */
   static TranslationBlock *tb_alloc(target_ulong pc)
 {  {
       TranslationBlock *tb;
   
       if (nb_tbs >= code_gen_max_blocks ||
           (code_gen_ptr - code_gen_buffer) >= code_gen_buffer_max_size)
           return NULL;
       tb = &tbs[nb_tbs++];
       tb->pc = pc;
       tb->cflags = 0;
       return tb;
 }  }
 #endif  
   
 void cpu_exec_init(void)  void tb_free(TranslationBlock *tb)
 {  {
     if (!code_gen_ptr) {      /* In practice this is mostly used for single use temporary TB
         code_gen_ptr = code_gen_buffer;         Ignore the hard cases and just back up if this TB happens to
         page_init();         be the last one generated.  */
         io_mem_init();      if (nb_tbs > 0 && tb == &tbs[nb_tbs - 1]) {
           code_gen_ptr = tb->tc_ptr;
           nb_tbs--;
     }      }
 }  }
   
Line 400  static inline void invalidate_page_bitma Line 689  static inline void invalidate_page_bitma
     p->code_write_count = 0;      p->code_write_count = 0;
 }  }
   
 /* set to NULL all the 'first_tb' fields in all PageDescs */  /* Set to NULL all the 'first_tb' fields in all PageDescs. */
 static void page_flush_tb(void)  
   static void page_flush_tb_1 (int level, void **lp)
 {  {
     int i, j;      int i;
     PageDesc *p;  
   
     for(i = 0; i < L1_SIZE; i++) {      if (*lp == NULL) {
         p = l1_map[i];          return;
         if (p) {      }
             for(j = 0; j < L2_SIZE; j++) {      if (level == 0) {
                 p->first_tb = NULL;          PageDesc *pd = *lp;
                 invalidate_page_bitmap(p);          for (i = 0; i < L2_SIZE; ++i) {
                 p++;              pd[i].first_tb = NULL;
             }              invalidate_page_bitmap(pd + i);
           }
       } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               page_flush_tb_1 (level - 1, pp + i);
         }          }
     }      }
 }  }
   
   static void page_flush_tb(void)
   {
       int i;
       for (i = 0; i < V_L1_SIZE; i++) {
           page_flush_tb_1(V_L1_SHIFT / L2_BITS - 1, l1_map + i);
       }
   }
   
 /* flush all the translation blocks */  /* flush all the translation blocks */
 /* XXX: tb_flush is currently not thread safe */  /* XXX: tb_flush is currently not thread safe */
 void tb_flush(CPUState *env)  void tb_flush(CPUState *env1)
 {  {
       CPUState *env;
 #if defined(DEBUG_FLUSH)  #if defined(DEBUG_FLUSH)
     printf("qemu: flush code_size=%d nb_tbs=%d avg_tb_size=%d\n",       printf("qemu: flush code_size=%ld nb_tbs=%d avg_tb_size=%ld\n",
            code_gen_ptr - code_gen_buffer,              (unsigned long)(code_gen_ptr - code_gen_buffer),
            nb_tbs,              nb_tbs, nb_tbs > 0 ?
            nb_tbs > 0 ? (code_gen_ptr - code_gen_buffer) / nb_tbs : 0);             ((unsigned long)(code_gen_ptr - code_gen_buffer)) / nb_tbs : 0);
 #endif  #endif
       if ((unsigned long)(code_gen_ptr - code_gen_buffer) > code_gen_buffer_size)
           cpu_abort(env1, "Internal error: code buffer overflow\n");
   
     nb_tbs = 0;      nb_tbs = 0;
     memset (tb_hash, 0, CODE_GEN_HASH_SIZE * sizeof (void *));  
     virt_page_flush();      for(env = first_cpu; env != NULL; env = env->next_cpu) {
           memset (env->tb_jmp_cache, 0, TB_JMP_CACHE_SIZE * sizeof (void *));
       }
   
     memset (tb_phys_hash, 0, CODE_GEN_PHYS_HASH_SIZE * sizeof (void *));      memset (tb_phys_hash, 0, CODE_GEN_PHYS_HASH_SIZE * sizeof (void *));
     page_flush_tb();      page_flush_tb();
Line 443  void tb_flush(CPUState *env) Line 751  void tb_flush(CPUState *env)
   
 #ifdef DEBUG_TB_CHECK  #ifdef DEBUG_TB_CHECK
   
 static void tb_invalidate_check(unsigned long address)  static void tb_invalidate_check(target_ulong address)
 {  {
     TranslationBlock *tb;      TranslationBlock *tb;
     int i;      int i;
     address &= TARGET_PAGE_MASK;      address &= TARGET_PAGE_MASK;
     for(i = 0;i < CODE_GEN_HASH_SIZE; i++) {      for(i = 0;i < CODE_GEN_PHYS_HASH_SIZE; i++) {
         for(tb = tb_hash[i]; tb != NULL; tb = tb->hash_next) {          for(tb = tb_phys_hash[i]; tb != NULL; tb = tb->phys_hash_next) {
             if (!(address + TARGET_PAGE_SIZE <= tb->pc ||              if (!(address + TARGET_PAGE_SIZE <= tb->pc ||
                   address >= tb->pc + tb->size)) {                    address >= tb->pc + tb->size)) {
                 printf("ERROR invalidate: address=%08lx PC=%08lx size=%04x\n",                  printf("ERROR invalidate: address=" TARGET_FMT_lx
                        address, tb->pc, tb->size);                         " PC=%08lx size=%04x\n",
                          address, (long)tb->pc, tb->size);
             }              }
         }          }
     }      }
Line 464  static void tb_page_check(void) Line 773  static void tb_page_check(void)
 {  {
     TranslationBlock *tb;      TranslationBlock *tb;
     int i, flags1, flags2;      int i, flags1, flags2;
       
     for(i = 0;i < CODE_GEN_HASH_SIZE; i++) {      for(i = 0;i < CODE_GEN_PHYS_HASH_SIZE; i++) {
         for(tb = tb_hash[i]; tb != NULL; tb = tb->hash_next) {          for(tb = tb_phys_hash[i]; tb != NULL; tb = tb->phys_hash_next) {
             flags1 = page_get_flags(tb->pc);              flags1 = page_get_flags(tb->pc);
             flags2 = page_get_flags(tb->pc + tb->size - 1);              flags2 = page_get_flags(tb->pc + tb->size - 1);
             if ((flags1 & PAGE_WRITE) || (flags2 & PAGE_WRITE)) {              if ((flags1 & PAGE_WRITE) || (flags2 & PAGE_WRITE)) {
                 printf("ERROR page flags: PC=%08lx size=%04x f1=%x f2=%x\n",                  printf("ERROR page flags: PC=%08lx size=%04x f1=%x f2=%x\n",
                        tb->pc, tb->size, flags1, flags2);                         (long)tb->pc, tb->size, flags1, flags2);
             }              }
         }          }
     }      }
 }  }
   
 void tb_jmp_check(TranslationBlock *tb)  
 {  
     TranslationBlock *tb1;  
     unsigned int n1;  
   
     /* suppress any remaining jumps to this TB */  
     tb1 = tb->jmp_first;  
     for(;;) {  
         n1 = (long)tb1 & 3;  
         tb1 = (TranslationBlock *)((long)tb1 & ~3);  
         if (n1 == 2)  
             break;  
         tb1 = tb1->jmp_next[n1];  
     }  
     /* check end of list */  
     if (tb1 != tb) {  
         printf("ERROR: jmp_list from 0x%08lx\n", (long)tb);  
     }  
 }  
   
 #endif  #endif
   
 /* invalidate one TB */  /* invalidate one TB */
Line 566  static inline void tb_reset_jump(Transla Line 855  static inline void tb_reset_jump(Transla
     tb_set_jmp_target(tb, n, (unsigned long)(tb->tc_ptr + tb->tb_next_offset[n]));      tb_set_jmp_target(tb, n, (unsigned long)(tb->tc_ptr + tb->tb_next_offset[n]));
 }  }
   
 static inline void tb_invalidate(TranslationBlock *tb)  void tb_phys_invalidate(TranslationBlock *tb, tb_page_addr_t page_addr)
 {  {
       CPUState *env;
       PageDesc *p;
     unsigned int h, n1;      unsigned int h, n1;
     TranslationBlock *tb1, *tb2, **ptb;      tb_page_addr_t phys_pc;
           TranslationBlock *tb1, *tb2;
     tb_invalidated_flag = 1;  
   
     /* remove the TB from the hash list */      /* remove the TB from the hash list */
     h = tb_hash_func(tb->pc);      phys_pc = tb->page_addr[0] + (tb->pc & ~TARGET_PAGE_MASK);
     ptb = &tb_hash[h];      h = tb_phys_hash_func(phys_pc);
     for(;;) {      tb_remove(&tb_phys_hash[h], tb,
         tb1 = *ptb;                offsetof(TranslationBlock, phys_hash_next));
         /* NOTE: the TB is not necessarily linked in the hash. It  
            indicates that it is not currently used */  
         if (tb1 == NULL)  
             return;  
         if (tb1 == tb) {  
             *ptb = tb1->hash_next;  
             break;  
         }  
         ptb = &tb1->hash_next;  
     }  
   
     /* suppress this TB from the two jump lists */      /* remove the TB from the page list */
     tb_jmp_remove(tb, 0);      if (tb->page_addr[0] != page_addr) {
           p = page_find(tb->page_addr[0] >> TARGET_PAGE_BITS);
           tb_page_remove(&p->first_tb, tb);
           invalidate_page_bitmap(p);
       }
       if (tb->page_addr[1] != -1 && tb->page_addr[1] != page_addr) {
           p = page_find(tb->page_addr[1] >> TARGET_PAGE_BITS);
           tb_page_remove(&p->first_tb, tb);
           invalidate_page_bitmap(p);
       }
   
       tb_invalidated_flag = 1;
   
       /* remove the TB from the hash list */
       h = tb_jmp_cache_hash_func(tb->pc);
       for(env = first_cpu; env != NULL; env = env->next_cpu) {
           if (env->tb_jmp_cache[h] == tb)
               env->tb_jmp_cache[h] = NULL;
       }
   
       /* suppress this TB from the two jump lists */
       tb_jmp_remove(tb, 0);
     tb_jmp_remove(tb, 1);      tb_jmp_remove(tb, 1);
   
     /* suppress any remaining jumps to this TB */      /* suppress any remaining jumps to this TB */
Line 606  static inline void tb_invalidate(Transla Line 907  static inline void tb_invalidate(Transla
         tb1 = tb2;          tb1 = tb2;
     }      }
     tb->jmp_first = (TranslationBlock *)((long)tb | 2); /* fail safe */      tb->jmp_first = (TranslationBlock *)((long)tb | 2); /* fail safe */
 }  
   
 static inline void tb_phys_invalidate(TranslationBlock *tb, unsigned int page_addr)  
 {  
     PageDesc *p;  
     unsigned int h;  
     target_ulong phys_pc;  
       
     /* remove the TB from the hash list */  
     phys_pc = tb->page_addr[0] + (tb->pc & ~TARGET_PAGE_MASK);  
     h = tb_phys_hash_func(phys_pc);  
     tb_remove(&tb_phys_hash[h], tb,   
               offsetof(TranslationBlock, phys_hash_next));  
   
     /* remove the TB from the page list */  
     if (tb->page_addr[0] != page_addr) {  
         p = page_find(tb->page_addr[0] >> TARGET_PAGE_BITS);  
         tb_page_remove(&p->first_tb, tb);  
         invalidate_page_bitmap(p);  
     }  
     if (tb->page_addr[1] != -1 && tb->page_addr[1] != page_addr) {  
         p = page_find(tb->page_addr[1] >> TARGET_PAGE_BITS);  
         tb_page_remove(&p->first_tb, tb);  
         invalidate_page_bitmap(p);  
     }  
   
     tb_invalidate(tb);  
     tb_phys_invalidate_count++;      tb_phys_invalidate_count++;
 }  }
   
Line 667  static void build_page_bitmap(PageDesc * Line 942  static void build_page_bitmap(PageDesc *
 {  {
     int n, tb_start, tb_end;      int n, tb_start, tb_end;
     TranslationBlock *tb;      TranslationBlock *tb;
       
     p->code_bitmap = qemu_malloc(TARGET_PAGE_SIZE / 8);      p->code_bitmap = qemu_mallocz(TARGET_PAGE_SIZE / 8);
     if (!p->code_bitmap)  
         return;  
     memset(p->code_bitmap, 0, TARGET_PAGE_SIZE / 8);  
   
     tb = p->first_tb;      tb = p->first_tb;
     while (tb != NULL) {      while (tb != NULL) {
Line 694  static void build_page_bitmap(PageDesc * Line 966  static void build_page_bitmap(PageDesc *
     }      }
 }  }
   
 #ifdef TARGET_HAS_PRECISE_SMC  TranslationBlock *tb_gen_code(CPUState *env,
                                 target_ulong pc, target_ulong cs_base,
 static void tb_gen_code(CPUState *env,                                 int flags, int cflags)
                         target_ulong pc, target_ulong cs_base, int flags,  
                         int cflags)  
 {  {
     TranslationBlock *tb;      TranslationBlock *tb;
     uint8_t *tc_ptr;      uint8_t *tc_ptr;
     target_ulong phys_pc, phys_page2, virt_page2;      tb_page_addr_t phys_pc, phys_page2;
       target_ulong virt_page2;
     int code_gen_size;      int code_gen_size;
   
     phys_pc = get_phys_addr_code(env, pc);      phys_pc = get_page_addr_code(env, pc);
     tb = tb_alloc(pc);      tb = tb_alloc(pc);
     if (!tb) {      if (!tb) {
         /* flush must be done */          /* flush must be done */
         tb_flush(env);          tb_flush(env);
         /* cannot fail at this point */          /* cannot fail at this point */
         tb = tb_alloc(pc);          tb = tb_alloc(pc);
           /* Don't forget to invalidate previous TB info.  */
           tb_invalidated_flag = 1;
     }      }
     tc_ptr = code_gen_ptr;      tc_ptr = code_gen_ptr;
     tb->tc_ptr = tc_ptr;      tb->tc_ptr = tc_ptr;
     tb->cs_base = cs_base;      tb->cs_base = cs_base;
     tb->flags = flags;      tb->flags = flags;
     tb->cflags = cflags;      tb->cflags = cflags;
     cpu_gen_code(env, tb, CODE_GEN_MAX_SIZE, &code_gen_size);      cpu_gen_code(env, tb, &code_gen_size);
     code_gen_ptr = (void *)(((unsigned long)code_gen_ptr + code_gen_size + CODE_GEN_ALIGN - 1) & ~(CODE_GEN_ALIGN - 1));      code_gen_ptr = (void *)(((unsigned long)code_gen_ptr + code_gen_size + CODE_GEN_ALIGN - 1) & ~(CODE_GEN_ALIGN - 1));
       
     /* check next page if needed */      /* check next page if needed */
     virt_page2 = (pc + tb->size - 1) & TARGET_PAGE_MASK;      virt_page2 = (pc + tb->size - 1) & TARGET_PAGE_MASK;
     phys_page2 = -1;      phys_page2 = -1;
     if ((pc & TARGET_PAGE_MASK) != virt_page2) {      if ((pc & TARGET_PAGE_MASK) != virt_page2) {
         phys_page2 = get_phys_addr_code(env, virt_page2);          phys_page2 = get_page_addr_code(env, virt_page2);
     }      }
     tb_link_phys(tb, phys_pc, phys_page2);      tb_link_page(tb, phys_pc, phys_page2);
       return tb;
 }  }
 #endif  
       
 /* invalidate all TBs which intersect with the target physical page  /* invalidate all TBs which intersect with the target physical page
    starting in range [start;end[. NOTE: start and end must refer to     starting in range [start;end[. NOTE: start and end must refer to
    the same physical page. 'is_cpu_write_access' should be true if called     the same physical page. 'is_cpu_write_access' should be true if called
    from a real cpu write access: the virtual CPU will exit the current     from a real cpu write access: the virtual CPU will exit the current
    TB if code is modified inside this TB. */     TB if code is modified inside this TB. */
 void tb_invalidate_phys_page_range(target_ulong start, target_ulong end,   void tb_invalidate_phys_page_range(tb_page_addr_t start, tb_page_addr_t end,
                                    int is_cpu_write_access)                                     int is_cpu_write_access)
 {  {
     int n, current_tb_modified, current_tb_not_found, current_flags;      TranslationBlock *tb, *tb_next, *saved_tb;
     CPUState *env = cpu_single_env;      CPUState *env = cpu_single_env;
       tb_page_addr_t tb_start, tb_end;
     PageDesc *p;      PageDesc *p;
     TranslationBlock *tb, *tb_next, *current_tb, *saved_tb;      int n;
     target_ulong tb_start, tb_end;  #ifdef TARGET_HAS_PRECISE_SMC
     target_ulong current_pc, current_cs_base;      int current_tb_not_found = is_cpu_write_access;
       TranslationBlock *current_tb = NULL;
       int current_tb_modified = 0;
       target_ulong current_pc = 0;
       target_ulong current_cs_base = 0;
       int current_flags = 0;
   #endif /* TARGET_HAS_PRECISE_SMC */
   
     p = page_find(start >> TARGET_PAGE_BITS);      p = page_find(start >> TARGET_PAGE_BITS);
     if (!p)       if (!p)
         return;          return;
     if (!p->code_bitmap &&       if (!p->code_bitmap &&
         ++p->code_write_count >= SMC_BITMAP_USE_THRESHOLD &&          ++p->code_write_count >= SMC_BITMAP_USE_THRESHOLD &&
         is_cpu_write_access) {          is_cpu_write_access) {
         /* build code bitmap */          /* build code bitmap */
Line 758  void tb_invalidate_phys_page_range(targe Line 1038  void tb_invalidate_phys_page_range(targe
   
     /* we remove all the TBs in the range [start, end[ */      /* we remove all the TBs in the range [start, end[ */
     /* XXX: see if in some cases it could be faster to invalidate all the code */      /* XXX: see if in some cases it could be faster to invalidate all the code */
     current_tb_not_found = is_cpu_write_access;  
     current_tb_modified = 0;  
     current_tb = NULL; /* avoid warning */  
     current_pc = 0; /* avoid warning */  
     current_cs_base = 0; /* avoid warning */  
     current_flags = 0; /* avoid warning */  
     tb = p->first_tb;      tb = p->first_tb;
     while (tb != NULL) {      while (tb != NULL) {
         n = (long)tb & 3;          n = (long)tb & 3;
Line 784  void tb_invalidate_phys_page_range(targe Line 1058  void tb_invalidate_phys_page_range(targe
             if (current_tb_not_found) {              if (current_tb_not_found) {
                 current_tb_not_found = 0;                  current_tb_not_found = 0;
                 current_tb = NULL;                  current_tb = NULL;
                 if (env->mem_write_pc) {                  if (env->mem_io_pc) {
                     /* now we have a real cpu fault */                      /* now we have a real cpu fault */
                     current_tb = tb_find_pc(env->mem_write_pc);                      current_tb = tb_find_pc(env->mem_io_pc);
                 }                  }
             }              }
             if (current_tb == tb &&              if (current_tb == tb &&
                 !(current_tb->cflags & CF_SINGLE_INSN)) {                  (current_tb->cflags & CF_COUNT_MASK) != 1) {
                 /* If we are modifying the current TB, we must stop                  /* If we are modifying the current TB, we must stop
                 its execution. We could be more precise by checking                  its execution. We could be more precise by checking
                 that the modification is after the current PC, but it                  that the modification is after the current PC, but it
                 would require a specialized function to partially                  would require a specialized function to partially
                 restore the CPU state */                  restore the CPU state */
                   
                 current_tb_modified = 1;                  current_tb_modified = 1;
                 cpu_restore_state(current_tb, env,                   cpu_restore_state(current_tb, env, env->mem_io_pc);
                                   env->mem_write_pc, NULL);                  cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
 #if defined(TARGET_I386)                                       &current_flags);
                 current_flags = env->hflags;  
                 current_flags |= (env->eflags & (IOPL_MASK | TF_MASK | VM_MASK));  
                 current_cs_base = (target_ulong)env->segs[R_CS].base;  
                 current_pc = current_cs_base + env->eip;  
 #else  
 #error unsupported CPU  
 #endif  
             }              }
 #endif /* TARGET_HAS_PRECISE_SMC */  #endif /* TARGET_HAS_PRECISE_SMC */
             saved_tb = env->current_tb;              /* we need to do that to handle the case where a signal
             env->current_tb = NULL;                 occurs while doing tb_phys_invalidate() */
               saved_tb = NULL;
               if (env) {
                   saved_tb = env->current_tb;
                   env->current_tb = NULL;
               }
             tb_phys_invalidate(tb, -1);              tb_phys_invalidate(tb, -1);
             env->current_tb = saved_tb;              if (env) {
             if (env->interrupt_request && env->current_tb)                  env->current_tb = saved_tb;
                 cpu_interrupt(env, env->interrupt_request);                  if (env->interrupt_request && env->current_tb)
                       cpu_interrupt(env, env->interrupt_request);
               }
         }          }
         tb = tb_next;          tb = tb_next;
     }      }
Line 824  void tb_invalidate_phys_page_range(targe Line 1098  void tb_invalidate_phys_page_range(targe
     if (!p->first_tb) {      if (!p->first_tb) {
         invalidate_page_bitmap(p);          invalidate_page_bitmap(p);
         if (is_cpu_write_access) {          if (is_cpu_write_access) {
             tlb_unprotect_code_phys(env, start, env->mem_write_vaddr);              tlb_unprotect_code_phys(env, start, env->mem_io_vaddr);
         }          }
     }      }
 #endif  #endif
Line 834  void tb_invalidate_phys_page_range(targe Line 1108  void tb_invalidate_phys_page_range(targe
            modifying the memory. It will ensure that it cannot modify             modifying the memory. It will ensure that it cannot modify
            itself */             itself */
         env->current_tb = NULL;          env->current_tb = NULL;
         tb_gen_code(env, current_pc, current_cs_base, current_flags,           tb_gen_code(env, current_pc, current_cs_base, current_flags, 1);
                     CF_SINGLE_INSN);  
         cpu_resume_from_signal(env, NULL);          cpu_resume_from_signal(env, NULL);
     }      }
 #endif  #endif
 }  }
   
 /* len must be <= 8 and start must be a multiple of len */  /* len must be <= 8 and start must be a multiple of len */
 static inline void tb_invalidate_phys_page_fast(target_ulong start, int len)  static inline void tb_invalidate_phys_page_fast(tb_page_addr_t start, int len)
 {  {
     PageDesc *p;      PageDesc *p;
     int offset, b;      int offset, b;
 #if 0  #if 0
     if (1) {      if (1) {
         if (loglevel) {          qemu_log("modifying code at 0x%x size=%d EIP=%x PC=%08x\n",
             fprintf(logfile, "modifying code at 0x%x size=%d EIP=%x PC=%08x\n",                     cpu_single_env->mem_io_vaddr, len,
                    cpu_single_env->mem_write_vaddr, len,                     cpu_single_env->eip,
                    cpu_single_env->eip,                     cpu_single_env->eip + (long)cpu_single_env->segs[R_CS].base);
                    cpu_single_env->eip + (long)cpu_single_env->segs[R_CS].base);  
         }  
     }      }
 #endif  #endif
     p = page_find(start >> TARGET_PAGE_BITS);      p = page_find(start >> TARGET_PAGE_BITS);
     if (!p)       if (!p)
         return;          return;
     if (p->code_bitmap) {      if (p->code_bitmap) {
         offset = start & ~TARGET_PAGE_MASK;          offset = start & ~TARGET_PAGE_MASK;
Line 871  static inline void tb_invalidate_phys_pa Line 1142  static inline void tb_invalidate_phys_pa
 }  }
   
 #if !defined(CONFIG_SOFTMMU)  #if !defined(CONFIG_SOFTMMU)
 static void tb_invalidate_phys_page(target_ulong addr,   static void tb_invalidate_phys_page(tb_page_addr_t addr,
                                     unsigned long pc, void *puc)                                      unsigned long pc, void *puc)
 {  {
     int n, current_flags, current_tb_modified;      TranslationBlock *tb;
     target_ulong current_pc, current_cs_base;  
     PageDesc *p;      PageDesc *p;
     TranslationBlock *tb, *current_tb;      int n;
 #ifdef TARGET_HAS_PRECISE_SMC  #ifdef TARGET_HAS_PRECISE_SMC
       TranslationBlock *current_tb = NULL;
     CPUState *env = cpu_single_env;      CPUState *env = cpu_single_env;
       int current_tb_modified = 0;
       target_ulong current_pc = 0;
       target_ulong current_cs_base = 0;
       int current_flags = 0;
 #endif  #endif
   
     addr &= TARGET_PAGE_MASK;      addr &= TARGET_PAGE_MASK;
     p = page_find(addr >> TARGET_PAGE_BITS);      p = page_find(addr >> TARGET_PAGE_BITS);
     if (!p)       if (!p)
         return;          return;
     tb = p->first_tb;      tb = p->first_tb;
     current_tb_modified = 0;  
     current_tb = NULL;  
     current_pc = 0; /* avoid warning */  
     current_cs_base = 0; /* avoid warning */  
     current_flags = 0; /* avoid warning */  
 #ifdef TARGET_HAS_PRECISE_SMC  #ifdef TARGET_HAS_PRECISE_SMC
     if (tb && pc != 0) {      if (tb && pc != 0) {
         current_tb = tb_find_pc(pc);          current_tb = tb_find_pc(pc);
Line 902  static void tb_invalidate_phys_page(targ Line 1172  static void tb_invalidate_phys_page(targ
         tb = (TranslationBlock *)((long)tb & ~3);          tb = (TranslationBlock *)((long)tb & ~3);
 #ifdef TARGET_HAS_PRECISE_SMC  #ifdef TARGET_HAS_PRECISE_SMC
         if (current_tb == tb &&          if (current_tb == tb &&
             !(current_tb->cflags & CF_SINGLE_INSN)) {              (current_tb->cflags & CF_COUNT_MASK) != 1) {
                 /* If we are modifying the current TB, we must stop                  /* If we are modifying the current TB, we must stop
                    its execution. We could be more precise by checking                     its execution. We could be more precise by checking
                    that the modification is after the current PC, but it                     that the modification is after the current PC, but it
                    would require a specialized function to partially                     would require a specialized function to partially
                    restore the CPU state */                     restore the CPU state */
               
             current_tb_modified = 1;              current_tb_modified = 1;
             cpu_restore_state(current_tb, env, pc, puc);              cpu_restore_state(current_tb, env, pc);
 #if defined(TARGET_I386)              cpu_get_tb_cpu_state(env, &current_pc, &current_cs_base,
             current_flags = env->hflags;                                   &current_flags);
             current_flags |= (env->eflags & (IOPL_MASK | TF_MASK | VM_MASK));  
             current_cs_base = (target_ulong)env->segs[R_CS].base;  
             current_pc = current_cs_base + env->eip;  
 #else  
 #error unsupported CPU  
 #endif  
         }          }
 #endif /* TARGET_HAS_PRECISE_SMC */  #endif /* TARGET_HAS_PRECISE_SMC */
         tb_phys_invalidate(tb, addr);          tb_phys_invalidate(tb, addr);
Line 931  static void tb_invalidate_phys_page(targ Line 1195  static void tb_invalidate_phys_page(targ
            modifying the memory. It will ensure that it cannot modify             modifying the memory. It will ensure that it cannot modify
            itself */             itself */
         env->current_tb = NULL;          env->current_tb = NULL;
         tb_gen_code(env, current_pc, current_cs_base, current_flags,           tb_gen_code(env, current_pc, current_cs_base, current_flags, 1);
                     CF_SINGLE_INSN);  
         cpu_resume_from_signal(env, puc);          cpu_resume_from_signal(env, puc);
     }      }
 #endif  #endif
Line 940  static void tb_invalidate_phys_page(targ Line 1203  static void tb_invalidate_phys_page(targ
 #endif  #endif
   
 /* add the tb in the target page and protect it if necessary */  /* add the tb in the target page and protect it if necessary */
 static inline void tb_alloc_page(TranslationBlock *tb,   static inline void tb_alloc_page(TranslationBlock *tb,
                                  unsigned int n, unsigned int page_addr)                                   unsigned int n, tb_page_addr_t page_addr)
 {  {
     PageDesc *p;      PageDesc *p;
     TranslationBlock *last_first_tb;  #ifndef CONFIG_USER_ONLY
       bool page_already_protected;
   #endif
   
     tb->page_addr[n] = page_addr;      tb->page_addr[n] = page_addr;
     p = page_find_alloc(page_addr >> TARGET_PAGE_BITS);      p = page_find_alloc(page_addr >> TARGET_PAGE_BITS, 1);
     tb->page_next[n] = p->first_tb;      tb->page_next[n] = p->first_tb;
     last_first_tb = p->first_tb;  #ifndef CONFIG_USER_ONLY
       page_already_protected = p->first_tb != NULL;
   #endif
     p->first_tb = (TranslationBlock *)((long)tb | n);      p->first_tb = (TranslationBlock *)((long)tb | n);
     invalidate_page_bitmap(p);      invalidate_page_bitmap(p);
   
Line 957  static inline void tb_alloc_page(Transla Line 1224  static inline void tb_alloc_page(Transla
   
 #if defined(CONFIG_USER_ONLY)  #if defined(CONFIG_USER_ONLY)
     if (p->flags & PAGE_WRITE) {      if (p->flags & PAGE_WRITE) {
         unsigned long host_start, host_end, addr;          target_ulong addr;
           PageDesc *p2;
         int prot;          int prot;
   
         /* force the host page as non writable (writes will have a          /* force the host page as non writable (writes will have a
            page fault + mprotect overhead) */             page fault + mprotect overhead) */
         host_start = page_addr & qemu_host_page_mask;          page_addr &= qemu_host_page_mask;
         host_end = host_start + qemu_host_page_size;  
         prot = 0;          prot = 0;
         for(addr = host_start; addr < host_end; addr += TARGET_PAGE_SIZE)          for(addr = page_addr; addr < page_addr + qemu_host_page_size;
             prot |= page_get_flags(addr);              addr += TARGET_PAGE_SIZE) {
         mprotect((void *)host_start, qemu_host_page_size,   
               p2 = page_find (addr >> TARGET_PAGE_BITS);
               if (!p2)
                   continue;
               prot |= p2->flags;
               p2->flags &= ~PAGE_WRITE;
             }
           mprotect(g2h(page_addr), qemu_host_page_size,
                  (prot & PAGE_BITS) & ~PAGE_WRITE);                   (prot & PAGE_BITS) & ~PAGE_WRITE);
 #ifdef DEBUG_TB_INVALIDATE  #ifdef DEBUG_TB_INVALIDATE
         printf("protecting code page: 0x%08lx\n",           printf("protecting code page: 0x" TARGET_FMT_lx "\n",
                host_start);                 page_addr);
 #endif  #endif
         p->flags &= ~PAGE_WRITE;  
     }      }
 #else  #else
     /* if some code is already present, then the pages are already      /* if some code is already present, then the pages are already
        protected. So we handle the case where only the first TB is         protected. So we handle the case where only the first TB is
        allocated in a physical page */         allocated in a physical page */
     if (!last_first_tb) {      if (!page_already_protected) {
         target_ulong virt_addr;          tlb_protect_code(page_addr);
   
         virt_addr = (tb->pc & TARGET_PAGE_MASK) + (n << TARGET_PAGE_BITS);  
         tlb_protect_code(cpu_single_env, page_addr, virt_addr);  
     }      }
 #endif  #endif
   
 #endif /* TARGET_HAS_SMC */  #endif /* TARGET_HAS_SMC */
 }  }
   
 /* Allocate a new translation block. Flush the translation buffer if  
    too many translation blocks or too much generated code. */  
 TranslationBlock *tb_alloc(target_ulong pc)  
 {  
     TranslationBlock *tb;  
   
     if (nb_tbs >= CODE_GEN_MAX_BLOCKS ||   
         (code_gen_ptr - code_gen_buffer) >= CODE_GEN_BUFFER_MAX_SIZE)  
         return NULL;  
     tb = &tbs[nb_tbs++];  
     tb->pc = pc;  
     tb->cflags = 0;  
     return tb;  
 }  
   
 /* add a new TB and link it to the physical page tables. phys_page2 is  /* add a new TB and link it to the physical page tables. phys_page2 is
    (-1) to indicate that only one page contains the TB. */     (-1) to indicate that only one page contains the TB. */
 void tb_link_phys(TranslationBlock *tb,   void tb_link_page(TranslationBlock *tb,
                   target_ulong phys_pc, target_ulong phys_page2)                    tb_page_addr_t phys_pc, tb_page_addr_t phys_page2)
 {  {
     unsigned int h;      unsigned int h;
     TranslationBlock **ptb;      TranslationBlock **ptb;
   
       /* Grab the mmap lock to stop another thread invalidating this TB
          before we are done.  */
       mmap_lock();
     /* add in the physical hash table */      /* add in the physical hash table */
     h = tb_phys_hash_func(phys_pc);      h = tb_phys_hash_func(phys_pc);
     ptb = &tb_phys_hash[h];      ptb = &tb_phys_hash[h];
Line 1025  void tb_link_phys(TranslationBlock *tb,  Line 1283  void tb_link_phys(TranslationBlock *tb, 
         tb_alloc_page(tb, 1, phys_page2);          tb_alloc_page(tb, 1, phys_page2);
     else      else
         tb->page_addr[1] = -1;          tb->page_addr[1] = -1;
 #ifdef DEBUG_TB_CHECK  
     tb_page_check();  
 #endif  
 }  
   
 /* link the tb with the other TBs */  
 void tb_link(TranslationBlock *tb)  
 {  
 #if !defined(CONFIG_USER_ONLY)  
     {  
         VirtPageDesc *vp;  
         target_ulong addr;  
           
         /* save the code memory mappings (needed to invalidate the code) */  
         addr = tb->pc & TARGET_PAGE_MASK;  
         vp = virt_page_find_alloc(addr >> TARGET_PAGE_BITS, 1);  
 #ifdef DEBUG_TLB_CHECK   
         if (vp->valid_tag == virt_valid_tag &&  
             vp->phys_addr != tb->page_addr[0]) {  
             printf("Error tb addr=0x%x phys=0x%x vp->phys_addr=0x%x\n",  
                    addr, tb->page_addr[0], vp->phys_addr);  
         }  
 #endif  
         vp->phys_addr = tb->page_addr[0];  
         if (vp->valid_tag != virt_valid_tag) {  
             vp->valid_tag = virt_valid_tag;  
 #if !defined(CONFIG_SOFTMMU)  
             vp->prot = 0;  
 #endif  
         }  
           
         if (tb->page_addr[1] != -1) {  
             addr += TARGET_PAGE_SIZE;  
             vp = virt_page_find_alloc(addr >> TARGET_PAGE_BITS, 1);  
 #ifdef DEBUG_TLB_CHECK   
             if (vp->valid_tag == virt_valid_tag &&  
                 vp->phys_addr != tb->page_addr[1]) {   
                 printf("Error tb addr=0x%x phys=0x%x vp->phys_addr=0x%x\n",  
                        addr, tb->page_addr[1], vp->phys_addr);  
             }  
 #endif  
             vp->phys_addr = tb->page_addr[1];  
             if (vp->valid_tag != virt_valid_tag) {  
                 vp->valid_tag = virt_valid_tag;  
 #if !defined(CONFIG_SOFTMMU)  
                 vp->prot = 0;  
 #endif  
             }  
         }  
     }  
 #endif  
   
     tb->jmp_first = (TranslationBlock *)((long)tb | 2);      tb->jmp_first = (TranslationBlock *)((long)tb | 2);
     tb->jmp_next[0] = NULL;      tb->jmp_next[0] = NULL;
     tb->jmp_next[1] = NULL;      tb->jmp_next[1] = NULL;
 #ifdef USE_CODE_COPY  
     tb->cflags &= ~CF_FP_USED;  
     if (tb->cflags & CF_TB_FP_USED)  
         tb->cflags |= CF_FP_USED;  
 #endif  
   
     /* init original jump addresses */      /* init original jump addresses */
     if (tb->tb_next_offset[0] != 0xffff)      if (tb->tb_next_offset[0] != 0xffff)
         tb_reset_jump(tb, 0);          tb_reset_jump(tb, 0);
     if (tb->tb_next_offset[1] != 0xffff)      if (tb->tb_next_offset[1] != 0xffff)
         tb_reset_jump(tb, 1);          tb_reset_jump(tb, 1);
   
   #ifdef DEBUG_TB_CHECK
       tb_page_check();
   #endif
       mmap_unlock();
 }  }
   
 /* find the TB 'tb' such that tb[0].tc_ptr <= tc_ptr <  /* find the TB 'tb' such that tb[0].tc_ptr <= tc_ptr <
Line 1120  TranslationBlock *tb_find_pc(unsigned lo Line 1327  TranslationBlock *tb_find_pc(unsigned lo
         } else {          } else {
             m_min = m + 1;              m_min = m + 1;
         }          }
     }       }
     return &tbs[m_max];      return &tbs[m_max];
 }  }
   
Line 1156  static inline void tb_reset_jump_recursi Line 1363  static inline void tb_reset_jump_recursi
         }          }
         *ptb = tb->jmp_next[n];          *ptb = tb->jmp_next[n];
         tb->jmp_next[n] = NULL;          tb->jmp_next[n] = NULL;
           
         /* suppress the jump to next tb in generated code */          /* suppress the jump to next tb in generated code */
         tb_reset_jump(tb, n);          tb_reset_jump(tb, n);
   
Line 1172  static void tb_reset_jump_recursive(Tran Line 1379  static void tb_reset_jump_recursive(Tran
 }  }
   
 #if defined(TARGET_HAS_ICE)  #if defined(TARGET_HAS_ICE)
   #if defined(CONFIG_USER_ONLY)
   static void breakpoint_invalidate(CPUState *env, target_ulong pc)
   {
       tb_invalidate_phys_page_range(pc, pc + 1, 0);
   }
   #else
 static void breakpoint_invalidate(CPUState *env, target_ulong pc)  static void breakpoint_invalidate(CPUState *env, target_ulong pc)
 {  {
     target_ulong phys_addr;      target_phys_addr_t addr;
       target_ulong pd;
       ram_addr_t ram_addr;
       PhysPageDesc *p;
   
     phys_addr = cpu_get_phys_page_debug(env, pc);      addr = cpu_get_phys_page_debug(env, pc);
     tb_invalidate_phys_page_range(phys_addr, phys_addr + 1, 0);      p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p) {
           pd = IO_MEM_UNASSIGNED;
       } else {
           pd = p->phys_offset;
       }
       ram_addr = (pd & TARGET_PAGE_MASK) | (pc & ~TARGET_PAGE_MASK);
       tb_invalidate_phys_page_range(ram_addr, ram_addr + 1, 0);
 }  }
 #endif  #endif
   #endif /* TARGET_HAS_ICE */
   
   #if defined(CONFIG_USER_ONLY)
   void cpu_watchpoint_remove_all(CPUState *env, int mask)
   
 /* add a breakpoint. EXCP_DEBUG is returned by the CPU loop if a  
    breakpoint is reached */  
 int cpu_breakpoint_insert(CPUState *env, target_ulong pc)  
 {  {
 #if defined(TARGET_HAS_ICE)  }
     int i;  
       int cpu_watchpoint_insert(CPUState *env, target_ulong addr, target_ulong len,
     for(i = 0; i < env->nb_breakpoints; i++) {                            int flags, CPUWatchpoint **watchpoint)
         if (env->breakpoints[i] == pc)  {
       return -ENOSYS;
   }
   #else
   /* Add a watchpoint.  */
   int cpu_watchpoint_insert(CPUState *env, target_ulong addr, target_ulong len,
                             int flags, CPUWatchpoint **watchpoint)
   {
       target_ulong len_mask = ~(len - 1);
       CPUWatchpoint *wp;
   
       /* sanity checks: allow power-of-2 lengths, deny unaligned watchpoints */
       if ((len != 1 && len != 2 && len != 4 && len != 8) || (addr & ~len_mask)) {
           fprintf(stderr, "qemu: tried to set invalid watchpoint at "
                   TARGET_FMT_lx ", len=" TARGET_FMT_lu "\n", addr, len);
           return -EINVAL;
       }
       wp = qemu_malloc(sizeof(*wp));
   
       wp->vaddr = addr;
       wp->len_mask = len_mask;
       wp->flags = flags;
   
       /* keep all GDB-injected watchpoints in front */
       if (flags & BP_GDB)
           QTAILQ_INSERT_HEAD(&env->watchpoints, wp, entry);
       else
           QTAILQ_INSERT_TAIL(&env->watchpoints, wp, entry);
   
       tlb_flush_page(env, addr);
   
       if (watchpoint)
           *watchpoint = wp;
       return 0;
   }
   
   /* Remove a specific watchpoint.  */
   int cpu_watchpoint_remove(CPUState *env, target_ulong addr, target_ulong len,
                             int flags)
   {
       target_ulong len_mask = ~(len - 1);
       CPUWatchpoint *wp;
   
       QTAILQ_FOREACH(wp, &env->watchpoints, entry) {
           if (addr == wp->vaddr && len_mask == wp->len_mask
                   && flags == (wp->flags & ~BP_WATCHPOINT_HIT)) {
               cpu_watchpoint_remove_by_ref(env, wp);
             return 0;              return 0;
           }
     }      }
       return -ENOENT;
   }
   
   /* Remove a specific watchpoint by reference.  */
   void cpu_watchpoint_remove_by_ref(CPUState *env, CPUWatchpoint *watchpoint)
   {
       QTAILQ_REMOVE(&env->watchpoints, watchpoint, entry);
   
       tlb_flush_page(env, watchpoint->vaddr);
   
       qemu_free(watchpoint);
   }
   
   /* Remove all matching watchpoints.  */
   void cpu_watchpoint_remove_all(CPUState *env, int mask)
   {
       CPUWatchpoint *wp, *next;
   
       QTAILQ_FOREACH_SAFE(wp, &env->watchpoints, entry, next) {
           if (wp->flags & mask)
               cpu_watchpoint_remove_by_ref(env, wp);
       }
   }
   #endif
   
   /* Add a breakpoint.  */
   int cpu_breakpoint_insert(CPUState *env, target_ulong pc, int flags,
                             CPUBreakpoint **breakpoint)
   {
   #if defined(TARGET_HAS_ICE)
       CPUBreakpoint *bp;
   
       bp = qemu_malloc(sizeof(*bp));
   
       bp->pc = pc;
       bp->flags = flags;
   
       /* keep all GDB-injected breakpoints in front */
       if (flags & BP_GDB)
           QTAILQ_INSERT_HEAD(&env->breakpoints, bp, entry);
       else
           QTAILQ_INSERT_TAIL(&env->breakpoints, bp, entry);
   
     if (env->nb_breakpoints >= MAX_BREAKPOINTS)  
         return -1;  
     env->breakpoints[env->nb_breakpoints++] = pc;  
       
     breakpoint_invalidate(env, pc);      breakpoint_invalidate(env, pc);
   
       if (breakpoint)
           *breakpoint = bp;
     return 0;      return 0;
 #else  #else
     return -1;      return -ENOSYS;
 #endif  #endif
 }  }
   
 /* remove a breakpoint */  /* Remove a specific breakpoint.  */
 int cpu_breakpoint_remove(CPUState *env, target_ulong pc)  int cpu_breakpoint_remove(CPUState *env, target_ulong pc, int flags)
 {  {
 #if defined(TARGET_HAS_ICE)  #if defined(TARGET_HAS_ICE)
     int i;      CPUBreakpoint *bp;
     for(i = 0; i < env->nb_breakpoints; i++) {  
         if (env->breakpoints[i] == pc)  
             goto found;  
     }  
     return -1;  
  found:  
     env->nb_breakpoints--;  
     if (i < env->nb_breakpoints)  
       env->breakpoints[i] = env->breakpoints[env->nb_breakpoints];  
   
     breakpoint_invalidate(env, pc);      QTAILQ_FOREACH(bp, &env->breakpoints, entry) {
     return 0;          if (bp->pc == pc && bp->flags == flags) {
               cpu_breakpoint_remove_by_ref(env, bp);
               return 0;
           }
       }
       return -ENOENT;
 #else  #else
     return -1;      return -ENOSYS;
   #endif
   }
   
   /* Remove a specific breakpoint by reference.  */
   void cpu_breakpoint_remove_by_ref(CPUState *env, CPUBreakpoint *breakpoint)
   {
   #if defined(TARGET_HAS_ICE)
       QTAILQ_REMOVE(&env->breakpoints, breakpoint, entry);
   
       breakpoint_invalidate(env, breakpoint->pc);
   
       qemu_free(breakpoint);
   #endif
   }
   
   /* Remove all matching breakpoints. */
   void cpu_breakpoint_remove_all(CPUState *env, int mask)
   {
   #if defined(TARGET_HAS_ICE)
       CPUBreakpoint *bp, *next;
   
       QTAILQ_FOREACH_SAFE(bp, &env->breakpoints, entry, next) {
           if (bp->flags & mask)
               cpu_breakpoint_remove_by_ref(env, bp);
       }
 #endif  #endif
 }  }
   
Line 1233  void cpu_single_step(CPUState *env, int  Line 1566  void cpu_single_step(CPUState *env, int 
 #if defined(TARGET_HAS_ICE)  #if defined(TARGET_HAS_ICE)
     if (env->singlestep_enabled != enabled) {      if (env->singlestep_enabled != enabled) {
         env->singlestep_enabled = enabled;          env->singlestep_enabled = enabled;
         /* must flush all the translated code to avoid inconsistancies */          if (kvm_enabled())
         /* XXX: only flush what is necessary */              kvm_update_guest_debug(env, 0);
         tb_flush(env);          else {
               /* must flush all the translated code to avoid inconsistencies */
               /* XXX: only flush what is necessary */
               tb_flush(env);
           }
     }      }
 #endif  #endif
 }  }
Line 1245  void cpu_set_log(int log_flags) Line 1582  void cpu_set_log(int log_flags)
 {  {
     loglevel = log_flags;      loglevel = log_flags;
     if (loglevel && !logfile) {      if (loglevel && !logfile) {
         logfile = fopen(logfilename, "w");          logfile = fopen(logfilename, log_append ? "a" : "w");
         if (!logfile) {          if (!logfile) {
             perror(logfilename);              perror(logfilename);
             _exit(1);              _exit(1);
Line 1253  void cpu_set_log(int log_flags) Line 1590  void cpu_set_log(int log_flags)
 #if !defined(CONFIG_SOFTMMU)  #if !defined(CONFIG_SOFTMMU)
         /* must avoid mmap() usage of glibc by setting a buffer "by hand" */          /* must avoid mmap() usage of glibc by setting a buffer "by hand" */
         {          {
             static uint8_t logfile_buf[4096];              static char logfile_buf[4096];
             setvbuf(logfile, logfile_buf, _IOLBF, sizeof(logfile_buf));              setvbuf(logfile, logfile_buf, _IOLBF, sizeof(logfile_buf));
         }          }
 #else  #elif !defined(_WIN32)
           /* Win32 doesn't support line-buffering and requires size >= 2 */
         setvbuf(logfile, NULL, _IOLBF, 0);          setvbuf(logfile, NULL, _IOLBF, 0);
 #endif  #endif
           log_append = 1;
       }
       if (!loglevel && logfile) {
           fclose(logfile);
           logfile = NULL;
     }      }
 }  }
   
 void cpu_set_log_filename(const char *filename)  void cpu_set_log_filename(const char *filename)
 {  {
     logfilename = strdup(filename);      logfilename = strdup(filename);
       if (logfile) {
           fclose(logfile);
           logfile = NULL;
       }
       cpu_set_log(loglevel);
 }  }
   
 /* mask must never be zero, except for A20 change call */  static void cpu_unlink_tb(CPUState *env)
 void cpu_interrupt(CPUState *env, int mask)  
 {  {
       /* FIXME: TB unchaining isn't SMP safe.  For now just ignore the
          problem and hope the cpu will stop of its own accord.  For userspace
          emulation this often isn't actually as bad as it sounds.  Often
          signals are used primarily to interrupt blocking syscalls.  */
     TranslationBlock *tb;      TranslationBlock *tb;
     static int interrupt_lock;      static spinlock_t interrupt_lock = SPIN_LOCK_UNLOCKED;
   
     env->interrupt_request |= mask;      spin_lock(&interrupt_lock);
       tb = env->current_tb;
     /* if the cpu is currently executing code, we must unlink it and      /* if the cpu is currently executing code, we must unlink it and
        all the potentially executing TB */         all the potentially executing TB */
     tb = env->current_tb;      if (tb) {
     if (tb && !testandset(&interrupt_lock)) {  
         env->current_tb = NULL;          env->current_tb = NULL;
         tb_reset_jump_recursive(tb);          tb_reset_jump_recursive(tb);
         interrupt_lock = 0;  
     }      }
       spin_unlock(&interrupt_lock);
   }
   
   #ifndef CONFIG_USER_ONLY
   /* mask must never be zero, except for A20 change call */
   static void tcg_handle_interrupt(CPUState *env, int mask)
   {
       int old_mask;
   
       old_mask = env->interrupt_request;
       env->interrupt_request |= mask;
   
       /*
        * If called from iothread context, wake the target cpu in
        * case its halted.
        */
       if (!qemu_cpu_is_self(env)) {
           qemu_cpu_kick(env);
           return;
       }
   
       if (use_icount) {
           env->icount_decr.u16.high = 0xffff;
           if (!can_do_io(env)
               && (mask & ~old_mask) != 0) {
               cpu_abort(env, "Raised interrupt while not in I/O function");
           }
       } else {
           cpu_unlink_tb(env);
       }
   }
   
   CPUInterruptHandler cpu_interrupt_handler = tcg_handle_interrupt;
   
   #else /* CONFIG_USER_ONLY */
   
   void cpu_interrupt(CPUState *env, int mask)
   {
       env->interrupt_request |= mask;
       cpu_unlink_tb(env);
 }  }
   #endif /* CONFIG_USER_ONLY */
   
 void cpu_reset_interrupt(CPUState *env, int mask)  void cpu_reset_interrupt(CPUState *env, int mask)
 {  {
     env->interrupt_request &= ~mask;      env->interrupt_request &= ~mask;
 }  }
   
 CPULogItem cpu_log_items[] = {  void cpu_exit(CPUState *env)
     { CPU_LOG_TB_OUT_ASM, "out_asm",   {
       env->exit_request = 1;
       cpu_unlink_tb(env);
   }
   
   const CPULogItem cpu_log_items[] = {
       { CPU_LOG_TB_OUT_ASM, "out_asm",
       "show generated host assembly code for each compiled TB" },        "show generated host assembly code for each compiled TB" },
     { CPU_LOG_TB_IN_ASM, "in_asm",      { CPU_LOG_TB_IN_ASM, "in_asm",
       "show target assembly code for each compiled TB" },        "show target assembly code for each compiled TB" },
     { CPU_LOG_TB_OP, "op",       { CPU_LOG_TB_OP, "op",
       "show micro ops for each compiled TB (only usable if 'in_asm' used)" },        "show micro ops for each compiled TB" },
 #ifdef TARGET_I386  
     { CPU_LOG_TB_OP_OPT, "op_opt",      { CPU_LOG_TB_OP_OPT, "op_opt",
       "show micro ops after optimization for each compiled TB" },        "show micro ops "
   #ifdef TARGET_I386
         "before eflags optimization and "
 #endif  #endif
         "after liveness analysis" },
     { CPU_LOG_INT, "int",      { CPU_LOG_INT, "int",
       "show interrupts/exceptions in short format" },        "show interrupts/exceptions in short format" },
     { CPU_LOG_EXEC, "exec",      { CPU_LOG_EXEC, "exec",
       "show trace before each executed TB (lots of logs)" },        "show trace before each executed TB (lots of logs)" },
     { CPU_LOG_TB_CPU, "cpu",      { CPU_LOG_TB_CPU, "cpu",
       "show CPU state before bloc translation" },        "show CPU state before block translation" },
 #ifdef TARGET_I386  #ifdef TARGET_I386
     { CPU_LOG_PCALL, "pcall",      { CPU_LOG_PCALL, "pcall",
       "show protected mode far calls/returns/exceptions" },        "show protected mode far calls/returns/exceptions" },
       { CPU_LOG_RESET, "cpu_reset",
         "show CPU state before CPU resets" },
 #endif  #endif
 #ifdef DEBUG_IOPORT  #ifdef DEBUG_IOPORT
     { CPU_LOG_IOPORT, "ioport",      { CPU_LOG_IOPORT, "ioport",
Line 1317  CPULogItem cpu_log_items[] = { Line 1718  CPULogItem cpu_log_items[] = {
     { 0, NULL, NULL },      { 0, NULL, NULL },
 };  };
   
 static int cmp1(const char *s1, int n, const char *s2)  #ifndef CONFIG_USER_ONLY
   static QLIST_HEAD(memory_client_list, CPUPhysMemoryClient) memory_client_list
       = QLIST_HEAD_INITIALIZER(memory_client_list);
   
   static void cpu_notify_set_memory(target_phys_addr_t start_addr,
                                     ram_addr_t size,
                                     ram_addr_t phys_offset,
                                     bool log_dirty)
 {  {
     if (strlen(s2) != n)      CPUPhysMemoryClient *client;
         return 0;      QLIST_FOREACH(client, &memory_client_list, list) {
     return memcmp(s1, s2, n) == 0;          client->set_memory(client, start_addr, size, phys_offset, log_dirty);
       }
 }  }
         
 /* takes a comma separated list of log masks. Return 0 if error. */  
 int cpu_str_to_log_mask(const char *str)  
 {  
     CPULogItem *item;  
     int mask;  
     const char *p, *p1;  
   
     p = str;  static int cpu_notify_sync_dirty_bitmap(target_phys_addr_t start,
     mask = 0;                                          target_phys_addr_t end)
     for(;;) {  {
         p1 = strchr(p, ',');      CPUPhysMemoryClient *client;
         if (!p1)      QLIST_FOREACH(client, &memory_client_list, list) {
             p1 = p + strlen(p);          int r = client->sync_dirty_bitmap(client, start, end);
         if(cmp1(p,p1-p,"all")) {          if (r < 0)
                 for(item = cpu_log_items; item->mask != 0; item++) {              return r;
                         mask |= item->mask;  
                 }  
         } else {  
         for(item = cpu_log_items; item->mask != 0; item++) {  
             if (cmp1(p, p1 - p, item->name))  
                 goto found;  
         }  
         return 0;  
         }  
     found:  
         mask |= item->mask;  
         if (*p1 != ',')  
             break;  
         p = p1 + 1;  
     }      }
     return mask;      return 0;
 }  }
   
 void cpu_abort(CPUState *env, const char *fmt, ...)  static int cpu_notify_migration_log(int enable)
 {  {
     va_list ap;      CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           int r = client->migration_log(client, enable);
           if (r < 0)
               return r;
       }
       return 0;
   }
   
     va_start(ap, fmt);  struct last_map {
       target_phys_addr_t start_addr;
       ram_addr_t size;
       ram_addr_t phys_offset;
   };
   
   /* The l1_phys_map provides the upper P_L1_BITs of the guest physical
    * address.  Each intermediate table provides the next L2_BITs of guest
    * physical address space.  The number of levels vary based on host and
    * guest configuration, making it efficient to build the final guest
    * physical address by seeding the L1 offset and shifting and adding in
    * each L2 offset as we recurse through them. */
   static void phys_page_for_each_1(CPUPhysMemoryClient *client, int level,
                                    void **lp, target_phys_addr_t addr,
                                    struct last_map *map)
   {
       int i;
   
       if (*lp == NULL) {
           return;
       }
       if (level == 0) {
           PhysPageDesc *pd = *lp;
           addr <<= L2_BITS + TARGET_PAGE_BITS;
           for (i = 0; i < L2_SIZE; ++i) {
               if (pd[i].phys_offset != IO_MEM_UNASSIGNED) {
                   target_phys_addr_t start_addr = addr | i << TARGET_PAGE_BITS;
   
                   if (map->size &&
                       start_addr == map->start_addr + map->size &&
                       pd[i].phys_offset == map->phys_offset + map->size) {
   
                       map->size += TARGET_PAGE_SIZE;
                       continue;
                   } else if (map->size) {
                       client->set_memory(client, map->start_addr,
                                          map->size, map->phys_offset, false);
                   }
   
                   map->start_addr = start_addr;
                   map->size = TARGET_PAGE_SIZE;
                   map->phys_offset = pd[i].phys_offset;
               }
           }
       } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               phys_page_for_each_1(client, level - 1, pp + i,
                                    (addr << L2_BITS) | i, map);
           }
       }
   }
   
   static void phys_page_for_each(CPUPhysMemoryClient *client)
   {
       int i;
       struct last_map map = { };
   
       for (i = 0; i < P_L1_SIZE; ++i) {
           phys_page_for_each_1(client, P_L1_SHIFT / L2_BITS - 1,
                                l1_phys_map + i, i, &map);
       }
       if (map.size) {
           client->set_memory(client, map.start_addr, map.size, map.phys_offset,
                              false);
       }
   }
   
   void cpu_register_phys_memory_client(CPUPhysMemoryClient *client)
   {
       QLIST_INSERT_HEAD(&memory_client_list, client, list);
       phys_page_for_each(client);
   }
   
   void cpu_unregister_phys_memory_client(CPUPhysMemoryClient *client)
   {
       QLIST_REMOVE(client, list);
   }
   #endif
   
   static int cmp1(const char *s1, int n, const char *s2)
   {
       if (strlen(s2) != n)
           return 0;
       return memcmp(s1, s2, n) == 0;
   }
   
   /* takes a comma separated list of log masks. Return 0 if error. */
   int cpu_str_to_log_mask(const char *str)
   {
       const CPULogItem *item;
       int mask;
       const char *p, *p1;
   
       p = str;
       mask = 0;
       for(;;) {
           p1 = strchr(p, ',');
           if (!p1)
               p1 = p + strlen(p);
           if(cmp1(p,p1-p,"all")) {
               for(item = cpu_log_items; item->mask != 0; item++) {
                   mask |= item->mask;
               }
           } else {
               for(item = cpu_log_items; item->mask != 0; item++) {
                   if (cmp1(p, p1 - p, item->name))
                       goto found;
               }
               return 0;
           }
       found:
           mask |= item->mask;
           if (*p1 != ',')
               break;
           p = p1 + 1;
       }
       return mask;
   }
   
   void cpu_abort(CPUState *env, const char *fmt, ...)
   {
       va_list ap;
       va_list ap2;
   
       va_start(ap, fmt);
       va_copy(ap2, ap);
     fprintf(stderr, "qemu: fatal: ");      fprintf(stderr, "qemu: fatal: ");
     vfprintf(stderr, fmt, ap);      vfprintf(stderr, fmt, ap);
     fprintf(stderr, "\n");      fprintf(stderr, "\n");
Line 1370  void cpu_abort(CPUState *env, const char Line 1891  void cpu_abort(CPUState *env, const char
 #else  #else
     cpu_dump_state(env, stderr, fprintf, 0);      cpu_dump_state(env, stderr, fprintf, 0);
 #endif  #endif
       if (qemu_log_enabled()) {
           qemu_log("qemu: fatal: ");
           qemu_log_vprintf(fmt, ap2);
           qemu_log("\n");
   #ifdef TARGET_I386
           log_cpu_state(env, X86_DUMP_FPU | X86_DUMP_CCOP);
   #else
           log_cpu_state(env, 0);
   #endif
           qemu_log_flush();
           qemu_log_close();
       }
       va_end(ap2);
     va_end(ap);      va_end(ap);
   #if defined(CONFIG_USER_ONLY)
       {
           struct sigaction act;
           sigfillset(&act.sa_mask);
           act.sa_handler = SIG_DFL;
           sigaction(SIGABRT, &act, NULL);
       }
   #endif
     abort();      abort();
 }  }
   
   CPUState *cpu_copy(CPUState *env)
   {
       CPUState *new_env = cpu_init(env->cpu_model_str);
       CPUState *next_cpu = new_env->next_cpu;
       int cpu_index = new_env->cpu_index;
   #if defined(TARGET_HAS_ICE)
       CPUBreakpoint *bp;
       CPUWatchpoint *wp;
   #endif
   
       memcpy(new_env, env, sizeof(CPUState));
   
       /* Preserve chaining and index. */
       new_env->next_cpu = next_cpu;
       new_env->cpu_index = cpu_index;
   
       /* Clone all break/watchpoints.
          Note: Once we support ptrace with hw-debug register access, make sure
          BP_CPU break/watchpoints are handled correctly on clone. */
       QTAILQ_INIT(&env->breakpoints);
       QTAILQ_INIT(&env->watchpoints);
   #if defined(TARGET_HAS_ICE)
       QTAILQ_FOREACH(bp, &env->breakpoints, entry) {
           cpu_breakpoint_insert(new_env, bp->pc, bp->flags, NULL);
       }
       QTAILQ_FOREACH(wp, &env->watchpoints, entry) {
           cpu_watchpoint_insert(new_env, wp->vaddr, (~wp->len_mask) + 1,
                                 wp->flags, NULL);
       }
   #endif
   
       return new_env;
   }
   
 #if !defined(CONFIG_USER_ONLY)  #if !defined(CONFIG_USER_ONLY)
   
   static inline void tlb_flush_jmp_cache(CPUState *env, target_ulong addr)
   {
       unsigned int i;
   
       /* Discard jump cache entries for any tb which might potentially
          overlap the flushed page.  */
       i = tb_jmp_cache_hash_page(addr - TARGET_PAGE_SIZE);
       memset (&env->tb_jmp_cache[i], 0, 
               TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));
   
       i = tb_jmp_cache_hash_page(addr);
       memset (&env->tb_jmp_cache[i], 0, 
               TB_JMP_PAGE_SIZE * sizeof(TranslationBlock *));
   }
   
   static CPUTLBEntry s_cputlb_empty_entry = {
       .addr_read  = -1,
       .addr_write = -1,
       .addr_code  = -1,
       .addend     = -1,
   };
   
 /* NOTE: if flush_global is true, also flush global entries (not  /* NOTE: if flush_global is true, also flush global entries (not
    implemented yet) */     implemented yet) */
 void tlb_flush(CPUState *env, int flush_global)  void tlb_flush(CPUState *env, int flush_global)
Line 1390  void tlb_flush(CPUState *env, int flush_ Line 1988  void tlb_flush(CPUState *env, int flush_
     env->current_tb = NULL;      env->current_tb = NULL;
   
     for(i = 0; i < CPU_TLB_SIZE; i++) {      for(i = 0; i < CPU_TLB_SIZE; i++) {
         env->tlb_read[0][i].address = -1;          int mmu_idx;
         env->tlb_write[0][i].address = -1;          for (mmu_idx = 0; mmu_idx < NB_MMU_MODES; mmu_idx++) {
         env->tlb_read[1][i].address = -1;              env->tlb_table[mmu_idx][i] = s_cputlb_empty_entry;
         env->tlb_write[1][i].address = -1;          }
     }      }
   
     virt_page_flush();      memset (env->tb_jmp_cache, 0, TB_JMP_CACHE_SIZE * sizeof (void *));
     memset (tb_hash, 0, CODE_GEN_HASH_SIZE * sizeof (void *));  
   
 #if !defined(CONFIG_SOFTMMU)      env->tlb_flush_addr = -1;
     munmap((void *)MMAP_AREA_START, MMAP_AREA_END - MMAP_AREA_START);      env->tlb_flush_mask = 0;
 #endif  
 #ifdef USE_KQEMU  
     if (env->kqemu_enabled) {  
         kqemu_flush(env, flush_global);  
     }  
 #endif  
     tlb_flush_count++;      tlb_flush_count++;
 }  }
   
 static inline void tlb_flush_entry(CPUTLBEntry *tlb_entry, target_ulong addr)  static inline void tlb_flush_entry(CPUTLBEntry *tlb_entry, target_ulong addr)
 {  {
     if (addr == (tlb_entry->address &       if (addr == (tlb_entry->addr_read &
                  (TARGET_PAGE_MASK | TLB_INVALID_MASK)))                   (TARGET_PAGE_MASK | TLB_INVALID_MASK)) ||
         tlb_entry->address = -1;          addr == (tlb_entry->addr_write &
                    (TARGET_PAGE_MASK | TLB_INVALID_MASK)) ||
           addr == (tlb_entry->addr_code &
                    (TARGET_PAGE_MASK | TLB_INVALID_MASK))) {
           *tlb_entry = s_cputlb_empty_entry;
       }
 }  }
   
 void tlb_flush_page(CPUState *env, target_ulong addr)  void tlb_flush_page(CPUState *env, target_ulong addr)
 {  {
     int i, n;      int i;
     VirtPageDesc *vp;      int mmu_idx;
     PageDesc *p;  
     TranslationBlock *tb;  
   
 #if defined(DEBUG_TLB)  #if defined(DEBUG_TLB)
     printf("tlb_flush_page: " TARGET_FMT_lx "\n", addr);      printf("tlb_flush_page: " TARGET_FMT_lx "\n", addr);
 #endif  #endif
       /* Check if we need to flush due to large pages.  */
       if ((addr & env->tlb_flush_mask) == env->tlb_flush_addr) {
   #if defined(DEBUG_TLB)
           printf("tlb_flush_page: forced full flush ("
                  TARGET_FMT_lx "/" TARGET_FMT_lx ")\n",
                  env->tlb_flush_addr, env->tlb_flush_mask);
   #endif
           tlb_flush(env, 1);
           return;
       }
     /* must reset current TB so that interrupts cannot modify the      /* must reset current TB so that interrupts cannot modify the
        links while we are modifying them */         links while we are modifying them */
     env->current_tb = NULL;      env->current_tb = NULL;
   
     addr &= TARGET_PAGE_MASK;      addr &= TARGET_PAGE_MASK;
     i = (addr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);      i = (addr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);
     tlb_flush_entry(&env->tlb_read[0][i], addr);      for (mmu_idx = 0; mmu_idx < NB_MMU_MODES; mmu_idx++)
     tlb_flush_entry(&env->tlb_write[0][i], addr);          tlb_flush_entry(&env->tlb_table[mmu_idx][i], addr);
     tlb_flush_entry(&env->tlb_read[1][i], addr);  
     tlb_flush_entry(&env->tlb_write[1][i], addr);  
   
     /* remove from the virtual pc hash table all the TB at this  
        virtual address */  
       
     vp = virt_page_find(addr >> TARGET_PAGE_BITS);  
     if (vp && vp->valid_tag == virt_valid_tag) {  
         p = page_find(vp->phys_addr >> TARGET_PAGE_BITS);  
         if (p) {  
             /* we remove all the links to the TBs in this virtual page */  
             tb = p->first_tb;  
             while (tb != NULL) {  
                 n = (long)tb & 3;  
                 tb = (TranslationBlock *)((long)tb & ~3);  
                 if ((tb->pc & TARGET_PAGE_MASK) == addr ||  
                     ((tb->pc + tb->size - 1) & TARGET_PAGE_MASK) == addr) {  
                     tb_invalidate(tb);  
                 }  
                 tb = tb->page_next[n];  
             }  
         }  
         vp->valid_tag = 0;  
     }  
   
 #if !defined(CONFIG_SOFTMMU)  
     if (addr < MMAP_AREA_END)  
         munmap((void *)addr, TARGET_PAGE_SIZE);  
 #endif  
 #ifdef USE_KQEMU  
     if (env->kqemu_enabled) {  
         kqemu_flush_page(env, addr);  
     }  
 #endif  
 }  
   
 static inline void tlb_protect_code1(CPUTLBEntry *tlb_entry, target_ulong addr)      tlb_flush_jmp_cache(env, addr);
 {  
     if (addr == (tlb_entry->address &   
                  (TARGET_PAGE_MASK | TLB_INVALID_MASK)) &&  
         (tlb_entry->address & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {  
         tlb_entry->address = (tlb_entry->address & TARGET_PAGE_MASK) | IO_MEM_NOTDIRTY;  
     }  
 }  }
   
 /* update the TLBs so that writes to code in the virtual page 'addr'  /* update the TLBs so that writes to code in the virtual page 'addr'
    can be detected */     can be detected */
 static void tlb_protect_code(CPUState *env, ram_addr_t ram_addr,   static void tlb_protect_code(ram_addr_t ram_addr)
                              target_ulong vaddr)  
 {  {
     int i;      cpu_physical_memory_reset_dirty(ram_addr,
                                       ram_addr + TARGET_PAGE_SIZE,
     vaddr &= TARGET_PAGE_MASK;                                      CODE_DIRTY_FLAG);
     i = (vaddr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);  
     tlb_protect_code1(&env->tlb_write[0][i], vaddr);  
     tlb_protect_code1(&env->tlb_write[1][i], vaddr);  
   
 #ifdef USE_KQEMU  
     if (env->kqemu_enabled) {  
         kqemu_set_notdirty(env, ram_addr);  
     }  
 #endif  
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] &= ~CODE_DIRTY_FLAG;  
       
 #if !defined(CONFIG_SOFTMMU)  
     /* NOTE: as we generated the code for this page, it is already at  
        least readable */  
     if (vaddr < MMAP_AREA_END)  
         mprotect((void *)vaddr, TARGET_PAGE_SIZE, PROT_READ);  
 #endif  
 }  }
   
 /* update the TLB so that writes in physical page 'phys_addr' are no longer  /* update the TLB so that writes in physical page 'phys_addr' are no longer
    tested for self modifying code */     tested for self modifying code */
 static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,   static void tlb_unprotect_code_phys(CPUState *env, ram_addr_t ram_addr,
                                     target_ulong vaddr)                                      target_ulong vaddr)
 {  {
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] |= CODE_DIRTY_FLAG;      cpu_physical_memory_set_dirty_flags(ram_addr, CODE_DIRTY_FLAG);
 }  }
   
 static inline void tlb_reset_dirty_range(CPUTLBEntry *tlb_entry,   static inline void tlb_reset_dirty_range(CPUTLBEntry *tlb_entry,
                                          unsigned long start, unsigned long length)                                           unsigned long start, unsigned long length)
 {  {
     unsigned long addr;      unsigned long addr;
     if ((tlb_entry->address & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {      if ((tlb_entry->addr_write & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {
         addr = (tlb_entry->address & TARGET_PAGE_MASK) + tlb_entry->addend;          addr = (tlb_entry->addr_write & TARGET_PAGE_MASK) + tlb_entry->addend;
         if ((addr - start) < length) {          if ((addr - start) < length) {
             tlb_entry->address = (tlb_entry->address & TARGET_PAGE_MASK) | IO_MEM_NOTDIRTY;              tlb_entry->addr_write = (tlb_entry->addr_write & TARGET_PAGE_MASK) | TLB_NOTDIRTY;
         }          }
     }      }
 }  }
   
   /* Note: start and end must be within the same ram block.  */
 void cpu_physical_memory_reset_dirty(ram_addr_t start, ram_addr_t end,  void cpu_physical_memory_reset_dirty(ram_addr_t start, ram_addr_t end,
                                      int dirty_flags)                                       int dirty_flags)
 {  {
     CPUState *env;      CPUState *env;
     unsigned long length, start1;      unsigned long length, start1;
     int i, mask, len;      int i;
     uint8_t *p;  
   
     start &= TARGET_PAGE_MASK;      start &= TARGET_PAGE_MASK;
     end = TARGET_PAGE_ALIGN(end);      end = TARGET_PAGE_ALIGN(end);
Line 1541  void cpu_physical_memory_reset_dirty(ram Line 2086  void cpu_physical_memory_reset_dirty(ram
     length = end - start;      length = end - start;
     if (length == 0)      if (length == 0)
         return;          return;
     len = length >> TARGET_PAGE_BITS;      cpu_physical_memory_mask_dirty_range(start, length, dirty_flags);
     env = cpu_single_env;  
 #ifdef USE_KQEMU  
     if (env->kqemu_enabled) {  
         ram_addr_t addr;  
         addr = start;  
         for(i = 0; i < len; i++) {  
             kqemu_set_notdirty(env, addr);  
             addr += TARGET_PAGE_SIZE;  
         }  
     }  
 #endif  
     mask = ~dirty_flags;  
     p = phys_ram_dirty + (start >> TARGET_PAGE_BITS);  
     for(i = 0; i < len; i++)  
         p[i] &= mask;  
   
     /* we modify the TLB cache so that the dirty bit will be set again      /* we modify the TLB cache so that the dirty bit will be set again
        when accessing the range */         when accessing the range */
     start1 = start + (unsigned long)phys_ram_base;      start1 = (unsigned long)qemu_safe_ram_ptr(start);
     for(i = 0; i < CPU_TLB_SIZE; i++)      /* Check that we don't span multiple blocks - this breaks the
         tlb_reset_dirty_range(&env->tlb_write[0][i], start1, length);         address comparisons below.  */
     for(i = 0; i < CPU_TLB_SIZE; i++)      if ((unsigned long)qemu_safe_ram_ptr(end - 1) - start1
         tlb_reset_dirty_range(&env->tlb_write[1][i], start1, length);              != (end - 1) - start) {
           abort();
       }
   
 #if !defined(CONFIG_SOFTMMU)      for(env = first_cpu; env != NULL; env = env->next_cpu) {
     /* XXX: this is expensive */          int mmu_idx;
     {          for (mmu_idx = 0; mmu_idx < NB_MMU_MODES; mmu_idx++) {
         VirtPageDesc *p;              for(i = 0; i < CPU_TLB_SIZE; i++)
         int j;                  tlb_reset_dirty_range(&env->tlb_table[mmu_idx][i],
         target_ulong addr;                                        start1, length);
           }
       }
   }
   
         for(i = 0; i < L1_SIZE; i++) {  int cpu_physical_memory_set_dirty_tracking(int enable)
             p = l1_virt_map[i];  {
             if (p) {      int ret = 0;
                 addr = i << (TARGET_PAGE_BITS + L2_BITS);      in_migration = enable;
                 for(j = 0; j < L2_SIZE; j++) {      ret = cpu_notify_migration_log(!!enable);
                     if (p->valid_tag == virt_valid_tag &&      return ret;
                         p->phys_addr >= start && p->phys_addr < end &&  }
                         (p->prot & PROT_WRITE)) {  
                         if (addr < MMAP_AREA_END) {  int cpu_physical_memory_get_dirty_tracking(void)
                             mprotect((void *)addr, TARGET_PAGE_SIZE,   {
                                      p->prot & ~PROT_WRITE);      return in_migration;
                         }  }
                     }  
                     addr += TARGET_PAGE_SIZE;  int cpu_physical_sync_dirty_bitmap(target_phys_addr_t start_addr,
                     p++;                                     target_phys_addr_t end_addr)
                 }  {
       int ret;
   
       ret = cpu_notify_sync_dirty_bitmap(start_addr, end_addr);
       return ret;
   }
   
   int cpu_physical_log_start(target_phys_addr_t start_addr,
                              ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_start) {
               int r = client->log_start(client, start_addr, size);
               if (r < 0) {
                   return r;
             }              }
         }          }
     }      }
 #endif      return 0;
   }
   
   int cpu_physical_log_stop(target_phys_addr_t start_addr,
                             ram_addr_t size)
   {
       CPUPhysMemoryClient *client;
       QLIST_FOREACH(client, &memory_client_list, list) {
           if (client->log_stop) {
               int r = client->log_stop(client, start_addr, size);
               if (r < 0) {
                   return r;
               }
           }
       }
       return 0;
 }  }
   
 static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)  static inline void tlb_update_dirty(CPUTLBEntry *tlb_entry)
 {  {
     ram_addr_t ram_addr;      ram_addr_t ram_addr;
       void *p;
   
     if ((tlb_entry->address & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {      if ((tlb_entry->addr_write & ~TARGET_PAGE_MASK) == IO_MEM_RAM) {
         ram_addr = (tlb_entry->address & TARGET_PAGE_MASK) +           p = (void *)(unsigned long)((tlb_entry->addr_write & TARGET_PAGE_MASK)
             tlb_entry->addend - (unsigned long)phys_ram_base;              + tlb_entry->addend);
           ram_addr = qemu_ram_addr_from_host_nofail(p);
         if (!cpu_physical_memory_is_dirty(ram_addr)) {          if (!cpu_physical_memory_is_dirty(ram_addr)) {
             tlb_entry->address |= IO_MEM_NOTDIRTY;              tlb_entry->addr_write |= TLB_NOTDIRTY;
         }          }
     }      }
 }  }
Line 1612  static inline void tlb_update_dirty(CPUT Line 2179  static inline void tlb_update_dirty(CPUT
 void cpu_tlb_update_dirty(CPUState *env)  void cpu_tlb_update_dirty(CPUState *env)
 {  {
     int i;      int i;
     for(i = 0; i < CPU_TLB_SIZE; i++)      int mmu_idx;
         tlb_update_dirty(&env->tlb_write[0][i]);      for (mmu_idx = 0; mmu_idx < NB_MMU_MODES; mmu_idx++) {
     for(i = 0; i < CPU_TLB_SIZE; i++)          for(i = 0; i < CPU_TLB_SIZE; i++)
         tlb_update_dirty(&env->tlb_write[1][i]);              tlb_update_dirty(&env->tlb_table[mmu_idx][i]);
       }
 }  }
   
 static inline void tlb_set_dirty1(CPUTLBEntry *tlb_entry,   static inline void tlb_set_dirty1(CPUTLBEntry *tlb_entry, target_ulong vaddr)
                                   unsigned long start)  
 {  {
     unsigned long addr;      if (tlb_entry->addr_write == (vaddr | TLB_NOTDIRTY))
     if ((tlb_entry->address & ~TARGET_PAGE_MASK) == IO_MEM_NOTDIRTY) {          tlb_entry->addr_write = vaddr;
         addr = (tlb_entry->address & TARGET_PAGE_MASK) + tlb_entry->addend;  
         if (addr == start) {  
             tlb_entry->address = (tlb_entry->address & TARGET_PAGE_MASK) | IO_MEM_RAM;  
         }  
     }  
 }  }
   
 /* update the TLB corresponding to virtual page vaddr and phys addr  /* update the TLB corresponding to virtual page vaddr
    addr so that it is no longer dirty */     so that it is no longer dirty */
 static inline void tlb_set_dirty(unsigned long addr, target_ulong vaddr)  static inline void tlb_set_dirty(CPUState *env, target_ulong vaddr)
 {  {
     CPUState *env = cpu_single_env;  
     int i;      int i;
       int mmu_idx;
   
     addr &= TARGET_PAGE_MASK;      vaddr &= TARGET_PAGE_MASK;
     i = (vaddr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);      i = (vaddr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);
     tlb_set_dirty1(&env->tlb_write[0][i], addr);      for (mmu_idx = 0; mmu_idx < NB_MMU_MODES; mmu_idx++)
     tlb_set_dirty1(&env->tlb_write[1][i], addr);          tlb_set_dirty1(&env->tlb_table[mmu_idx][i], vaddr);
 }  }
   
 /* add a new TLB entry. At most one entry for a given virtual address  /* Our TLB does not support large pages, so remember the area covered by
    is permitted. Return 0 if OK or 2 if the page could not be mapped     large pages and trigger a full TLB flush if these are invalidated.  */
    (can only happen in non SOFTMMU mode for I/O pages or pages  static void tlb_add_large_page(CPUState *env, target_ulong vaddr,
    conflicting with the host address space). */                                 target_ulong size)
 int tlb_set_page(CPUState *env, target_ulong vaddr,   {
                  target_phys_addr_t paddr, int prot,       target_ulong mask = ~(size - 1);
                  int is_user, int is_softmmu)  
       if (env->tlb_flush_addr == (target_ulong)-1) {
           env->tlb_flush_addr = vaddr & mask;
           env->tlb_flush_mask = mask;
           return;
       }
       /* Extend the existing region to include the new page.
          This is a compromise between unnecessary flushes and the cost
          of maintaining a full variable size TLB.  */
       mask &= env->tlb_flush_mask;
       while (((env->tlb_flush_addr ^ vaddr) & mask) != 0) {
           mask <<= 1;
       }
       env->tlb_flush_addr &= mask;
       env->tlb_flush_mask = mask;
   }
   
   /* Add a new TLB entry. At most one entry for a given virtual address
      is permitted. Only a single TARGET_PAGE_SIZE region is mapped, the
      supplied size is only used by tlb_flush_page.  */
   void tlb_set_page(CPUState *env, target_ulong vaddr,
                     target_phys_addr_t paddr, int prot,
                     int mmu_idx, target_ulong size)
 {  {
     PhysPageDesc *p;      PhysPageDesc *p;
     unsigned long pd;      unsigned long pd;
     unsigned int index;      unsigned int index;
     target_ulong address;      target_ulong address;
     target_phys_addr_t addend;      target_ulong code_address;
     int ret;      unsigned long addend;
       CPUTLBEntry *te;
       CPUWatchpoint *wp;
       target_phys_addr_t iotlb;
   
       assert(size >= TARGET_PAGE_SIZE);
       if (size != TARGET_PAGE_SIZE) {
           tlb_add_large_page(env, vaddr, size);
       }
     p = phys_page_find(paddr >> TARGET_PAGE_BITS);      p = phys_page_find(paddr >> TARGET_PAGE_BITS);
     if (!p) {      if (!p) {
         pd = IO_MEM_UNASSIGNED;          pd = IO_MEM_UNASSIGNED;
Line 1665  int tlb_set_page(CPUState *env, target_u Line 2256  int tlb_set_page(CPUState *env, target_u
         pd = p->phys_offset;          pd = p->phys_offset;
     }      }
 #if defined(DEBUG_TLB)  #if defined(DEBUG_TLB)
     printf("tlb_set_page: vaddr=" TARGET_FMT_lx " paddr=0x%08x prot=%x u=%d smmu=%d pd=0x%08lx\n",      printf("tlb_set_page: vaddr=" TARGET_FMT_lx " paddr=0x" TARGET_FMT_plx
            vaddr, paddr, prot, is_user, is_softmmu, pd);             " prot=%x idx=%d pd=0x%08lx\n",
 #endif             vaddr, paddr, prot, mmu_idx, pd);
   #endif
     ret = 0;  
 #if !defined(CONFIG_SOFTMMU)      address = vaddr;
     if (is_softmmu)       if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM && !(pd & IO_MEM_ROMD)) {
 #endif          /* IO memory case (romd handled later) */
     {          address |= TLB_MMIO;
         if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM) {      }
             /* IO memory case */      addend = (unsigned long)qemu_get_ram_ptr(pd & TARGET_PAGE_MASK);
             address = vaddr | pd;      if ((pd & ~TARGET_PAGE_MASK) <= IO_MEM_ROM) {
             addend = paddr;          /* Normal RAM.  */
         } else {          iotlb = pd & TARGET_PAGE_MASK;
             /* standard memory */          if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_RAM)
             address = vaddr;              iotlb |= IO_MEM_NOTDIRTY;
             addend = (unsigned long)phys_ram_base + (pd & TARGET_PAGE_MASK);          else
         }              iotlb |= IO_MEM_ROM;
               } else {
         index = (vaddr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);          /* IO handlers are currently passed a physical address.
         addend -= vaddr;             It would be nice to pass an offset from the base address
         if (prot & PAGE_READ) {             of that region.  This would avoid having to special case RAM,
             env->tlb_read[is_user][index].address = address;             and avoid full address decoding in every device.
             env->tlb_read[is_user][index].addend = addend;             We can't use the high bits of pd for this because
         } else {             IO_MEM_ROMD uses these as a ram address.  */
             env->tlb_read[is_user][index].address = -1;          iotlb = (pd & ~TARGET_PAGE_MASK);
             env->tlb_read[is_user][index].addend = -1;          if (p) {
         }              iotlb += p->region_offset;
         if (prot & PAGE_WRITE) {  
             if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_ROM) {  
                 /* ROM: access is ignored (same as unassigned) */  
                 env->tlb_write[is_user][index].address = vaddr | IO_MEM_ROM;  
                 env->tlb_write[is_user][index].addend = addend;  
             } else if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_RAM &&   
                        !cpu_physical_memory_is_dirty(pd)) {  
                 env->tlb_write[is_user][index].address = vaddr | IO_MEM_NOTDIRTY;  
                 env->tlb_write[is_user][index].addend = addend;  
             } else {  
                 env->tlb_write[is_user][index].address = address;  
                 env->tlb_write[is_user][index].addend = addend;  
             }  
         } else {          } else {
             env->tlb_write[is_user][index].address = -1;              iotlb += paddr;
             env->tlb_write[is_user][index].addend = -1;  
         }          }
     }      }
 #if !defined(CONFIG_SOFTMMU)  
     else {  
         if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM) {  
             /* IO access: no mapping is done as it will be handled by the  
                soft MMU */  
             if (!(env->hflags & HF_SOFTMMU_MASK))  
                 ret = 2;  
         } else {  
             void *map_addr;  
   
             if (vaddr >= MMAP_AREA_END) {      code_address = address;
                 ret = 2;      /* Make accesses to pages with watchpoints go via the
             } else {         watchpoint trap routines.  */
                 if (prot & PROT_WRITE) {      QTAILQ_FOREACH(wp, &env->watchpoints, entry) {
                     if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_ROM ||           if (vaddr == (wp->vaddr & TARGET_PAGE_MASK)) {
 #if defined(TARGET_HAS_SMC) || 1              /* Avoid trapping reads of pages with a write breakpoint. */
                         first_tb ||              if ((prot & PAGE_WRITE) || (wp->flags & BP_MEM_READ)) {
 #endif                  iotlb = io_mem_watch + paddr;
                         ((pd & ~TARGET_PAGE_MASK) == IO_MEM_RAM &&                   address |= TLB_MMIO;
                          !cpu_physical_memory_is_dirty(pd))) {                  break;
                         /* ROM: we do as if code was inside */  
                         /* if code is present, we only map as read only and save the  
                            original mapping */  
                         VirtPageDesc *vp;  
                           
                         vp = virt_page_find_alloc(vaddr >> TARGET_PAGE_BITS, 1);  
                         vp->phys_addr = pd;  
                         vp->prot = prot;  
                         vp->valid_tag = virt_valid_tag;  
                         prot &= ~PAGE_WRITE;  
                     }  
                 }  
                 map_addr = mmap((void *)vaddr, TARGET_PAGE_SIZE, prot,   
                                 MAP_SHARED | MAP_FIXED, phys_ram_fd, (pd & TARGET_PAGE_MASK));  
                 if (map_addr == MAP_FAILED) {  
                     cpu_abort(env, "mmap failed when mapped physical address 0x%08x to virtual address 0x%08x\n",  
                               paddr, vaddr);  
                 }  
             }              }
         }          }
     }      }
 #endif  
     return ret;  
 }  
   
 /* called from signal handler: invalidate the code and unprotect the  
    page. Return TRUE if the fault was succesfully handled. */  
 int page_unprotect(unsigned long addr, unsigned long pc, void *puc)  
 {  
 #if !defined(CONFIG_SOFTMMU)  
     VirtPageDesc *vp;  
   
 #if defined(DEBUG_TLB)      index = (vaddr >> TARGET_PAGE_BITS) & (CPU_TLB_SIZE - 1);
     printf("page_unprotect: addr=0x%08x\n", addr);      env->iotlb[mmu_idx][index] = iotlb - vaddr;
 #endif      te = &env->tlb_table[mmu_idx][index];
     addr &= TARGET_PAGE_MASK;      te->addend = addend - vaddr;
       if (prot & PAGE_READ) {
           te->addr_read = address;
       } else {
           te->addr_read = -1;
       }
   
     /* if it is not mapped, no need to worry here */      if (prot & PAGE_EXEC) {
     if (addr >= MMAP_AREA_END)          te->addr_code = code_address;
         return 0;      } else {
     vp = virt_page_find(addr >> TARGET_PAGE_BITS);          te->addr_code = -1;
     if (!vp)      }
         return 0;      if (prot & PAGE_WRITE) {
     /* NOTE: in this case, validate_tag is _not_ tested as it          if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_ROM ||
        validates only the code TLB */              (pd & IO_MEM_ROMD)) {
     if (vp->valid_tag != virt_valid_tag)              /* Write access calls the I/O callback.  */
         return 0;              te->addr_write = address | TLB_MMIO;
     if (!(vp->prot & PAGE_WRITE))          } else if ((pd & ~TARGET_PAGE_MASK) == IO_MEM_RAM &&
         return 0;                     !cpu_physical_memory_is_dirty(pd)) {
 #if defined(DEBUG_TLB)              te->addr_write = address | TLB_NOTDIRTY;
     printf("page_unprotect: addr=0x%08x phys_addr=0x%08x prot=%x\n",           } else {
            addr, vp->phys_addr, vp->prot);              te->addr_write = address;
 #endif          }
     if (mprotect((void *)addr, TARGET_PAGE_SIZE, vp->prot) < 0)      } else {
         cpu_abort(cpu_single_env, "error mprotect addr=0x%lx prot=%d\n",          te->addr_write = -1;
                   (unsigned long)addr, vp->prot);      }
     /* set the dirty bit */  
     phys_ram_dirty[vp->phys_addr >> TARGET_PAGE_BITS] = 0xff;  
     /* flush the code inside */  
     tb_invalidate_phys_page(vp->phys_addr, pc, puc);  
     return 1;  
 #else  
     return 0;  
 #endif  
 }  }
   
 #else  #else
Line 1807  void tlb_flush_page(CPUState *env, targe Line 2344  void tlb_flush_page(CPUState *env, targe
 {  {
 }  }
   
 int tlb_set_page(CPUState *env, target_ulong vaddr,   /*
                  target_phys_addr_t paddr, int prot,    * Walks guest process memory "regions" one by one
                  int is_user, int is_softmmu)   * and calls callback function 'fn' for each region.
    */
   
   struct walk_memory_regions_data
   {
       walk_memory_regions_fn fn;
       void *priv;
       unsigned long start;
       int prot;
   };
   
   static int walk_memory_regions_end(struct walk_memory_regions_data *data,
                                      abi_ulong end, int new_prot)
 {  {
       if (data->start != -1ul) {
           int rc = data->fn(data->priv, data->start, end, data->prot);
           if (rc != 0) {
               return rc;
           }
       }
   
       data->start = (new_prot ? end : -1ul);
       data->prot = new_prot;
   
     return 0;      return 0;
 }  }
   
 /* dump memory mappings */  static int walk_memory_regions_1(struct walk_memory_regions_data *data,
 void page_dump(FILE *f)                                   abi_ulong base, int level, void **lp)
 {  {
     unsigned long start, end;      abi_ulong pa;
     int i, j, prot, prot1;      int i, rc;
     PageDesc *p;  
   
     fprintf(f, "%-8s %-8s %-8s %s\n",      if (*lp == NULL) {
             "start", "end", "size", "prot");          return walk_memory_regions_end(data, base, 0);
     start = -1;      }
     end = -1;  
     prot = 0;      if (level == 0) {
     for(i = 0; i <= L1_SIZE; i++) {          PageDesc *pd = *lp;
         if (i < L1_SIZE)          for (i = 0; i < L2_SIZE; ++i) {
             p = l1_map[i];              int prot = pd[i].flags;
         else  
             p = NULL;              pa = base | (i << TARGET_PAGE_BITS);
         for(j = 0;j < L2_SIZE; j++) {              if (prot != data->prot) {
             if (!p)                  rc = walk_memory_regions_end(data, pa, prot);
                 prot1 = 0;                  if (rc != 0) {
             else                      return rc;
                 prot1 = p[j].flags;  
             if (prot1 != prot) {  
                 end = (i << (32 - L1_BITS)) | (j << TARGET_PAGE_BITS);  
                 if (start != -1) {  
                     fprintf(f, "%08lx-%08lx %08lx %c%c%c\n",  
                             start, end, end - start,   
                             prot & PAGE_READ ? 'r' : '-',  
                             prot & PAGE_WRITE ? 'w' : '-',  
                             prot & PAGE_EXEC ? 'x' : '-');  
                 }                  }
                 if (prot1 != 0)  
                     start = end;  
                 else  
                     start = -1;  
                 prot = prot1;  
             }              }
             if (!p)          }
                 break;      } else {
           void **pp = *lp;
           for (i = 0; i < L2_SIZE; ++i) {
               pa = base | ((abi_ulong)i <<
                   (TARGET_PAGE_BITS + L2_BITS * level));
               rc = walk_memory_regions_1(data, pa, level - 1, pp + i);
               if (rc != 0) {
                   return rc;
               }
         }          }
     }      }
   
       return 0;
 }  }
   
 int page_get_flags(unsigned long address)  int walk_memory_regions(void *priv, walk_memory_regions_fn fn)
 {  {
     PageDesc *p;      struct walk_memory_regions_data data;
       unsigned long i;
   
       data.fn = fn;
       data.priv = priv;
       data.start = -1ul;
       data.prot = 0;
   
       for (i = 0; i < V_L1_SIZE; i++) {
           int rc = walk_memory_regions_1(&data, (abi_ulong)i << V_L1_SHIFT,
                                          V_L1_SHIFT / L2_BITS - 1, l1_map + i);
           if (rc != 0) {
               return rc;
           }
       }
   
       return walk_memory_regions_end(&data, 0, 0);
   }
   
   static int dump_region(void *priv, abi_ulong start,
       abi_ulong end, unsigned long prot)
   {
       FILE *f = (FILE *)priv;
   
       (void) fprintf(f, TARGET_ABI_FMT_lx"-"TARGET_ABI_FMT_lx
           " "TARGET_ABI_FMT_lx" %c%c%c\n",
           start, end, end - start,
           ((prot & PAGE_READ) ? 'r' : '-'),
           ((prot & PAGE_WRITE) ? 'w' : '-'),
           ((prot & PAGE_EXEC) ? 'x' : '-'));
   
       return (0);
   }
   
   /* dump memory mappings */
   void page_dump(FILE *f)
   {
       (void) fprintf(f, "%-8s %-8s %-8s %s\n",
               "start", "end", "size", "prot");
       walk_memory_regions(f, dump_region);
   }
   
   int page_get_flags(target_ulong address)
   {
       PageDesc *p;
   
     p = page_find(address >> TARGET_PAGE_BITS);      p = page_find(address >> TARGET_PAGE_BITS);
     if (!p)      if (!p)
Line 1867  int page_get_flags(unsigned long address Line 2465  int page_get_flags(unsigned long address
     return p->flags;      return p->flags;
 }  }
   
 /* modify the flags of a page and invalidate the code if  /* Modify the flags of a page and invalidate the code if necessary.
    necessary. The flag PAGE_WRITE_ORG is positionned automatically     The flag PAGE_WRITE_ORG is positioned automatically depending
    depending on PAGE_WRITE */     on PAGE_WRITE.  The mmap_lock should already be held.  */
 void page_set_flags(unsigned long start, unsigned long end, int flags)  void page_set_flags(target_ulong start, target_ulong end, int flags)
 {  {
     PageDesc *p;      target_ulong addr, len;
     unsigned long addr;  
       /* This function should never be called with addresses outside the
          guest address space.  If this assert fires, it probably indicates
          a missing call to h2g_valid.  */
   #if TARGET_ABI_BITS > L1_MAP_ADDR_SPACE_BITS
       assert(end < ((abi_ulong)1 << L1_MAP_ADDR_SPACE_BITS));
   #endif
       assert(start < end);
   
     start = start & TARGET_PAGE_MASK;      start = start & TARGET_PAGE_MASK;
     end = TARGET_PAGE_ALIGN(end);      end = TARGET_PAGE_ALIGN(end);
     if (flags & PAGE_WRITE)  
       if (flags & PAGE_WRITE) {
         flags |= PAGE_WRITE_ORG;          flags |= PAGE_WRITE_ORG;
     spin_lock(&tb_lock);      }
     for(addr = start; addr < end; addr += TARGET_PAGE_SIZE) {  
         p = page_find_alloc(addr >> TARGET_PAGE_BITS);      for (addr = start, len = end - start;
         /* if the write protection is set, then we invalidate the code           len != 0;
            inside */           len -= TARGET_PAGE_SIZE, addr += TARGET_PAGE_SIZE) {
         if (!(p->flags & PAGE_WRITE) &&           PageDesc *p = page_find_alloc(addr >> TARGET_PAGE_BITS, 1);
   
           /* If the write protection bit is set, then we invalidate
              the code inside.  */
           if (!(p->flags & PAGE_WRITE) &&
             (flags & PAGE_WRITE) &&              (flags & PAGE_WRITE) &&
             p->first_tb) {              p->first_tb) {
             tb_invalidate_phys_page(addr, 0, NULL);              tb_invalidate_phys_page(addr, 0, NULL);
         }          }
         p->flags = flags;          p->flags = flags;
     }      }
     spin_unlock(&tb_lock);  }
   
   int page_check_range(target_ulong start, target_ulong len, int flags)
   {
       PageDesc *p;
       target_ulong end;
       target_ulong addr;
   
       /* This function should never be called with addresses outside the
          guest address space.  If this assert fires, it probably indicates
          a missing call to h2g_valid.  */
   #if TARGET_ABI_BITS > L1_MAP_ADDR_SPACE_BITS
       assert(start < ((abi_ulong)1 << L1_MAP_ADDR_SPACE_BITS));
   #endif
   
       if (len == 0) {
           return 0;
       }
       if (start + len - 1 < start) {
           /* We've wrapped around.  */
           return -1;
       }
   
       end = TARGET_PAGE_ALIGN(start+len); /* must do before we loose bits in the next step */
       start = start & TARGET_PAGE_MASK;
   
       for (addr = start, len = end - start;
            len != 0;
            len -= TARGET_PAGE_SIZE, addr += TARGET_PAGE_SIZE) {
           p = page_find(addr >> TARGET_PAGE_BITS);
           if( !p )
               return -1;
           if( !(p->flags & PAGE_VALID) )
               return -1;
   
           if ((flags & PAGE_READ) && !(p->flags & PAGE_READ))
               return -1;
           if (flags & PAGE_WRITE) {
               if (!(p->flags & PAGE_WRITE_ORG))
                   return -1;
               /* unprotect the page if it was put read-only because it
                  contains translated code */
               if (!(p->flags & PAGE_WRITE)) {
                   if (!page_unprotect(addr, 0, NULL))
                       return -1;
               }
               return 0;
           }
       }
       return 0;
 }  }
   
 /* called from signal handler: invalidate the code and unprotect the  /* called from signal handler: invalidate the code and unprotect the
    page. Return TRUE if the fault was succesfully handled. */     page. Return TRUE if the fault was successfully handled. */
 int page_unprotect(unsigned long address, unsigned long pc, void *puc)  int page_unprotect(target_ulong address, unsigned long pc, void *puc)
 {  {
     unsigned int page_index, prot, pindex;      unsigned int prot;
     PageDesc *p, *p1;      PageDesc *p;
     unsigned long host_start, host_end, addr;      target_ulong host_start, host_end, addr;
   
     host_start = address & qemu_host_page_mask;      /* Technically this isn't safe inside a signal handler.  However we
     page_index = host_start >> TARGET_PAGE_BITS;         know this only ever happens in a synchronous SEGV handler, so in
     p1 = page_find(page_index);         practice it seems to be ok.  */
     if (!p1)      mmap_lock();
   
       p = page_find(address >> TARGET_PAGE_BITS);
       if (!p) {
           mmap_unlock();
         return 0;          return 0;
     host_end = host_start + qemu_host_page_size;  
     p = p1;  
     prot = 0;  
     for(addr = host_start;addr < host_end; addr += TARGET_PAGE_SIZE) {  
         prot |= p->flags;  
         p++;  
     }      }
   
     /* if the page was really writable, then we change its      /* if the page was really writable, then we change its
        protection back to writable */         protection back to writable */
     if (prot & PAGE_WRITE_ORG) {      if ((p->flags & PAGE_WRITE_ORG) && !(p->flags & PAGE_WRITE)) {
         pindex = (address - host_start) >> TARGET_PAGE_BITS;          host_start = address & qemu_host_page_mask;
         if (!(p1[pindex].flags & PAGE_WRITE)) {          host_end = host_start + qemu_host_page_size;
             mprotect((void *)host_start, qemu_host_page_size,   
                      (prot & PAGE_BITS) | PAGE_WRITE);          prot = 0;
             p1[pindex].flags |= PAGE_WRITE;          for (addr = host_start ; addr < host_end ; addr += TARGET_PAGE_SIZE) {
               p = page_find(addr >> TARGET_PAGE_BITS);
               p->flags |= PAGE_WRITE;
               prot |= p->flags;
   
             /* and since the content will be modified, we must invalidate              /* and since the content will be modified, we must invalidate
                the corresponding translated code. */                 the corresponding translated code. */
             tb_invalidate_phys_page(address, pc, puc);              tb_invalidate_phys_page(addr, pc, puc);
 #ifdef DEBUG_TB_CHECK  #ifdef DEBUG_TB_CHECK
             tb_invalidate_check(address);              tb_invalidate_check(addr);
 #endif  #endif
             return 1;  
         }          }
           mprotect((void *)g2h(host_start), qemu_host_page_size,
                    prot & PAGE_BITS);
   
           mmap_unlock();
           return 1;
     }      }
       mmap_unlock();
     return 0;      return 0;
 }  }
   
 /* call this function when system calls directly modify a memory area */  static inline void tlb_set_dirty(CPUState *env,
 void page_unprotect_range(uint8_t *data, unsigned long data_size)                                   unsigned long addr, target_ulong vaddr)
   {
   }
   #endif /* defined(CONFIG_USER_ONLY) */
   
   #if !defined(CONFIG_USER_ONLY)
   
   #define SUBPAGE_IDX(addr) ((addr) & ~TARGET_PAGE_MASK)
   typedef struct subpage_t {
       target_phys_addr_t base;
       ram_addr_t sub_io_index[TARGET_PAGE_SIZE];
       ram_addr_t region_offset[TARGET_PAGE_SIZE];
   } subpage_t;
   
   static int subpage_register (subpage_t *mmio, uint32_t start, uint32_t end,
                                ram_addr_t memory, ram_addr_t region_offset);
   static subpage_t *subpage_init (target_phys_addr_t base, ram_addr_t *phys,
                                   ram_addr_t orig_memory,
                                   ram_addr_t region_offset);
   #define CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2, \
                         need_subpage)                                     \
       do {                                                                \
           if (addr > start_addr)                                          \
               start_addr2 = 0;                                            \
           else {                                                          \
               start_addr2 = start_addr & ~TARGET_PAGE_MASK;               \
               if (start_addr2 > 0)                                        \
                   need_subpage = 1;                                       \
           }                                                               \
                                                                           \
           if ((start_addr + orig_size) - addr >= TARGET_PAGE_SIZE)        \
               end_addr2 = TARGET_PAGE_SIZE - 1;                           \
           else {                                                          \
               end_addr2 = (start_addr + orig_size - 1) & ~TARGET_PAGE_MASK; \
               if (end_addr2 < TARGET_PAGE_SIZE - 1)                       \
                   need_subpage = 1;                                       \
           }                                                               \
       } while (0)
   
   /* register physical memory.
      For RAM, 'size' must be a multiple of the target page size.
      If (phys_offset & ~TARGET_PAGE_MASK) != 0, then it is an
      io memory page.  The address used when calling the IO function is
      the offset from the start of the region, plus region_offset.  Both
      start_addr and region_offset are rounded down to a page boundary
      before calculating this offset.  This should not be a problem unless
      the low bits of start_addr and region_offset differ.  */
   void cpu_register_physical_memory_log(target_phys_addr_t start_addr,
                                            ram_addr_t size,
                                            ram_addr_t phys_offset,
                                            ram_addr_t region_offset,
                                            bool log_dirty)
 {  {
     unsigned long start, end, addr;      target_phys_addr_t addr, end_addr;
       PhysPageDesc *p;
       CPUState *env;
       ram_addr_t orig_size = size;
       subpage_t *subpage;
   
     start = (unsigned long)data;      assert(size);
     end = start + data_size;      cpu_notify_set_memory(start_addr, size, phys_offset, log_dirty);
     start &= TARGET_PAGE_MASK;  
     end = TARGET_PAGE_ALIGN(end);      if (phys_offset == IO_MEM_UNASSIGNED) {
     for(addr = start; addr < end; addr += TARGET_PAGE_SIZE) {          region_offset = start_addr;
         page_unprotect(addr, 0, NULL);      }
       region_offset &= TARGET_PAGE_MASK;
       size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;
       end_addr = start_addr + (target_phys_addr_t)size;
   
       addr = start_addr;
       do {
           p = phys_page_find(addr >> TARGET_PAGE_BITS);
           if (p && p->phys_offset != IO_MEM_UNASSIGNED) {
               ram_addr_t orig_memory = p->phys_offset;
               target_phys_addr_t start_addr2, end_addr2;
               int need_subpage = 0;
   
               CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr, end_addr2,
                             need_subpage);
               if (need_subpage) {
                   if (!(orig_memory & IO_MEM_SUBPAGE)) {
                       subpage = subpage_init((addr & TARGET_PAGE_MASK),
                                              &p->phys_offset, orig_memory,
                                              p->region_offset);
                   } else {
                       subpage = io_mem_opaque[(orig_memory & ~TARGET_PAGE_MASK)
                                               >> IO_MEM_SHIFT];
                   }
                   subpage_register(subpage, start_addr2, end_addr2, phys_offset,
                                    region_offset);
                   p->region_offset = 0;
               } else {
                   p->phys_offset = phys_offset;
                   if ((phys_offset & ~TARGET_PAGE_MASK) <= IO_MEM_ROM ||
                       (phys_offset & IO_MEM_ROMD))
                       phys_offset += TARGET_PAGE_SIZE;
               }
           } else {
               p = phys_page_find_alloc(addr >> TARGET_PAGE_BITS, 1);
               p->phys_offset = phys_offset;
               p->region_offset = region_offset;
               if ((phys_offset & ~TARGET_PAGE_MASK) <= IO_MEM_ROM ||
                   (phys_offset & IO_MEM_ROMD)) {
                   phys_offset += TARGET_PAGE_SIZE;
               } else {
                   target_phys_addr_t start_addr2, end_addr2;
                   int need_subpage = 0;
   
                   CHECK_SUBPAGE(addr, start_addr, start_addr2, end_addr,
                                 end_addr2, need_subpage);
   
                   if (need_subpage) {
                       subpage = subpage_init((addr & TARGET_PAGE_MASK),
                                              &p->phys_offset, IO_MEM_UNASSIGNED,
                                              addr & TARGET_PAGE_MASK);
                       subpage_register(subpage, start_addr2, end_addr2,
                                        phys_offset, region_offset);
                       p->region_offset = 0;
                   }
               }
           }
           region_offset += TARGET_PAGE_SIZE;
           addr += TARGET_PAGE_SIZE;
       } while (addr != end_addr);
   
       /* since each CPU stores ram addresses in its TLB cache, we must
          reset the modified entries */
       /* XXX: slow ! */
       for(env = first_cpu; env != NULL; env = env->next_cpu) {
           tlb_flush(env, 1);
     }      }
 }  }
   
 static inline void tlb_set_dirty(unsigned long addr, target_ulong vaddr)  /* XXX: temporary until new memory mapping API */
   ram_addr_t cpu_get_physical_page_desc(target_phys_addr_t addr)
 {  {
       PhysPageDesc *p;
   
       p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p)
           return IO_MEM_UNASSIGNED;
       return p->phys_offset;
 }  }
 #endif /* defined(CONFIG_USER_ONLY) */  
   
 /* register physical memory. 'size' must be a multiple of the target  void qemu_register_coalesced_mmio(target_phys_addr_t addr, ram_addr_t size)
    page size. If (phys_offset & ~TARGET_PAGE_MASK) != 0, then it is an  
    io memory page */  
 void cpu_register_physical_memory(target_phys_addr_t start_addr,   
                                   unsigned long size,  
                                   unsigned long phys_offset)  
 {  {
     target_phys_addr_t addr, end_addr;      if (kvm_enabled())
     PhysPageDesc *p;          kvm_coalesce_mmio_region(addr, size);
   }
   
     size = (size + TARGET_PAGE_SIZE - 1) & TARGET_PAGE_MASK;  void qemu_unregister_coalesced_mmio(target_phys_addr_t addr, ram_addr_t size)
     end_addr = start_addr + size;  {
     for(addr = start_addr; addr != end_addr; addr += TARGET_PAGE_SIZE) {      if (kvm_enabled())
         p = phys_page_find_alloc(addr >> TARGET_PAGE_BITS, 1);          kvm_uncoalesce_mmio_region(addr, size);
         p->phys_offset = phys_offset;  }
         if ((phys_offset & ~TARGET_PAGE_MASK) <= IO_MEM_ROM)  
             phys_offset += TARGET_PAGE_SIZE;  void qemu_flush_coalesced_mmio_buffer(void)
   {
       if (kvm_enabled())
           kvm_flush_coalesced_mmio_buffer();
   }
   
   #if defined(__linux__) && !defined(TARGET_S390X)
   
   #include <sys/vfs.h>
   
   #define HUGETLBFS_MAGIC       0x958458f6
   
   static long gethugepagesize(const char *path)
   {
       struct statfs fs;
       int ret;
   
       do {
           ret = statfs(path, &fs);
       } while (ret != 0 && errno == EINTR);
   
       if (ret != 0) {
           perror(path);
           return 0;
     }      }
   
       if (fs.f_type != HUGETLBFS_MAGIC)
           fprintf(stderr, "Warning: path not on HugeTLBFS: %s\n", path);
   
       return fs.f_bsize;
 }  }
   
 static uint32_t unassigned_mem_readb(void *opaque, target_phys_addr_t addr)  static void *file_ram_alloc(RAMBlock *block,
                               ram_addr_t memory,
                               const char *path)
 {  {
     return 0;      char *filename;
       void *area;
       int fd;
   #ifdef MAP_POPULATE
       int flags;
   #endif
       unsigned long hpagesize;
   
       hpagesize = gethugepagesize(path);
       if (!hpagesize) {
           return NULL;
       }
   
       if (memory < hpagesize) {
           return NULL;
       }
   
       if (kvm_enabled() && !kvm_has_sync_mmu()) {
           fprintf(stderr, "host lacks kvm mmu notifiers, -mem-path unsupported\n");
           return NULL;
       }
   
       if (asprintf(&filename, "%s/qemu_back_mem.XXXXXX", path) == -1) {
           return NULL;
       }
   
       fd = mkstemp(filename);
       if (fd < 0) {
           perror("unable to create backing store for hugepages");
           free(filename);
           return NULL;
       }
       unlink(filename);
       free(filename);
   
       memory = (memory+hpagesize-1) & ~(hpagesize-1);
   
       /*
        * ftruncate is not supported by hugetlbfs in older
        * hosts, so don't bother bailing out on errors.
        * If anything goes wrong with it under other filesystems,
        * mmap will fail.
        */
       if (ftruncate(fd, memory))
           perror("ftruncate");
   
   #ifdef MAP_POPULATE
       /* NB: MAP_POPULATE won't exhaustively alloc all phys pages in the case
        * MAP_PRIVATE is requested.  For mem_prealloc we mmap as MAP_SHARED
        * to sidestep this quirk.
        */
       flags = mem_prealloc ? MAP_POPULATE | MAP_SHARED : MAP_PRIVATE;
       area = mmap(0, memory, PROT_READ | PROT_WRITE, flags, fd, 0);
   #else
       area = mmap(0, memory, PROT_READ | PROT_WRITE, MAP_PRIVATE, fd, 0);
   #endif
       if (area == MAP_FAILED) {
           perror("file_ram_alloc: can't mmap RAM pages");
           close(fd);
           return (NULL);
       }
       block->fd = fd;
       return area;
 }  }
   #endif
   
 static void unassigned_mem_writeb(void *opaque, target_phys_addr_t addr, uint32_t val)  static ram_addr_t find_ram_offset(ram_addr_t size)
 {  {
       RAMBlock *block, *next_block;
       ram_addr_t offset = 0, mingap = ULONG_MAX;
   
       if (QLIST_EMPTY(&ram_list.blocks))
           return 0;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           ram_addr_t end, next = ULONG_MAX;
   
           end = block->offset + block->length;
   
           QLIST_FOREACH(next_block, &ram_list.blocks, next) {
               if (next_block->offset >= end) {
                   next = MIN(next, next_block->offset);
               }
           }
           if (next - end >= size && next - end < mingap) {
               offset =  end;
               mingap = next - end;
           }
       }
       return offset;
 }  }
   
 static CPUReadMemoryFunc *unassigned_mem_read[3] = {  static ram_addr_t last_ram_offset(void)
     unassigned_mem_readb,  {
     unassigned_mem_readb,      RAMBlock *block;
     unassigned_mem_readb,      ram_addr_t last = 0;
 };  
   
 static CPUWriteMemoryFunc *unassigned_mem_write[3] = {      QLIST_FOREACH(block, &ram_list.blocks, next)
     unassigned_mem_writeb,          last = MAX(last, block->offset + block->length);
     unassigned_mem_writeb,  
     unassigned_mem_writeb,      return last;
 };  }
   
 static void notdirty_mem_writeb(void *opaque, target_phys_addr_t addr, uint32_t val)  ram_addr_t qemu_ram_alloc_from_ptr(DeviceState *dev, const char *name,
                                      ram_addr_t size, void *host)
 {  {
     unsigned long ram_addr;      RAMBlock *new_block, *block;
     int dirty_flags;  
     ram_addr = addr - (unsigned long)phys_ram_base;      size = TARGET_PAGE_ALIGN(size);
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      new_block = qemu_mallocz(sizeof(*new_block));
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {  
 #if !defined(CONFIG_USER_ONLY)      if (dev && dev->parent_bus && dev->parent_bus->info->get_dev_path) {
         tb_invalidate_phys_page_fast(ram_addr, 1);          char *id = dev->parent_bus->info->get_dev_path(dev);
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];          if (id) {
               snprintf(new_block->idstr, sizeof(new_block->idstr), "%s/", id);
               qemu_free(id);
           }
       }
       pstrcat(new_block->idstr, sizeof(new_block->idstr), name);
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (!strcmp(block->idstr, new_block->idstr)) {
               fprintf(stderr, "RAMBlock \"%s\" already registered, abort!\n",
                       new_block->idstr);
               abort();
           }
       }
   
       new_block->offset = find_ram_offset(size);
       if (host) {
           new_block->host = host;
           new_block->flags |= RAM_PREALLOC_MASK;
       } else {
           if (mem_path) {
   #if defined (__linux__) && !defined(TARGET_S390X)
               new_block->host = file_ram_alloc(new_block, size, mem_path);
               if (!new_block->host) {
                   new_block->host = qemu_vmalloc(size);
                   qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);
               }
   #else
               fprintf(stderr, "-mem-path option unsupported\n");
               exit(1);
   #endif
           } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
               /* S390 KVM requires the topmost vma of the RAM to be smaller than
                  an system defined value, which is at least 256GB. Larger systems
                  have larger values. We put the guest between the end of data
                  segment (system break) and this value. We use 32GB as a base to
                  have enough room for the system break to grow. */
               new_block->host = mmap((void*)0x800000000, size,
                                      PROT_EXEC|PROT_READ|PROT_WRITE,
                                      MAP_SHARED | MAP_ANONYMOUS | MAP_FIXED, -1, 0);
               if (new_block->host == MAP_FAILED) {
                   fprintf(stderr, "Allocating RAM failed\n");
                   abort();
               }
   #else
               if (xen_enabled()) {
                   xen_ram_alloc(new_block->offset, size);
               } else {
                   new_block->host = qemu_vmalloc(size);
               }
 #endif  #endif
               qemu_madvise(new_block->host, size, QEMU_MADV_MERGEABLE);
           }
     }      }
     stb_p((uint8_t *)(long)addr, val);      new_block->length = size;
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);  
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;      QLIST_INSERT_HEAD(&ram_list.blocks, new_block, next);
     /* we remove the notdirty callback only if the code has been  
        flushed */      ram_list.phys_dirty = qemu_realloc(ram_list.phys_dirty,
     if (dirty_flags == 0xff)                                         last_ram_offset() >> TARGET_PAGE_BITS);
         tlb_set_dirty(addr, cpu_single_env->mem_write_vaddr);      memset(ram_list.phys_dirty + (new_block->offset >> TARGET_PAGE_BITS),
              0xff, size >> TARGET_PAGE_BITS);
   
       if (kvm_enabled())
           kvm_setup_guest_memory(new_block->host, size);
   
       return new_block->offset;
 }  }
   
 static void notdirty_mem_writew(void *opaque, target_phys_addr_t addr, uint32_t val)  ram_addr_t qemu_ram_alloc(DeviceState *dev, const char *name, ram_addr_t size)
 {  {
     unsigned long ram_addr;      return qemu_ram_alloc_from_ptr(dev, name, size, NULL);
     int dirty_flags;  }
     ram_addr = addr - (unsigned long)phys_ram_base;  
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];  void qemu_ram_free_from_ptr(ram_addr_t addr)
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {  {
 #if !defined(CONFIG_USER_ONLY)      RAMBlock *block;
         tb_invalidate_phys_page_fast(ram_addr, 2);  
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr == block->offset) {
               QLIST_REMOVE(block, next);
               qemu_free(block);
               return;
           }
       }
   }
   
   void qemu_ram_free(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr == block->offset) {
               QLIST_REMOVE(block, next);
               if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else if (mem_path) {
   #if defined (__linux__) && !defined(TARGET_S390X)
                   if (block->fd) {
                       munmap(block->host, block->length);
                       close(block->fd);
                   } else {
                       qemu_vfree(block->host);
                   }
   #else
                   abort();
   #endif
               } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                   munmap(block->host, block->length);
   #else
                   if (xen_enabled()) {
                       xen_invalidate_map_cache_entry(block->host);
                   } else {
                       qemu_vfree(block->host);
                   }
 #endif  #endif
               }
               qemu_free(block);
               return;
           }
     }      }
     stw_p((uint8_t *)(long)addr, val);  
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);  
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;  
     /* we remove the notdirty callback only if the code has been  
        flushed */  
     if (dirty_flags == 0xff)  
         tlb_set_dirty(addr, cpu_single_env->mem_write_vaddr);  
 }  }
   
 static void notdirty_mem_writel(void *opaque, target_phys_addr_t addr, uint32_t val)  #ifndef _WIN32
   void qemu_ram_remap(ram_addr_t addr, ram_addr_t length)
 {  {
     unsigned long ram_addr;      RAMBlock *block;
     int dirty_flags;      ram_addr_t offset;
     ram_addr = addr - (unsigned long)phys_ram_base;      int flags;
     dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];      void *area, *vaddr;
     if (!(dirty_flags & CODE_DIRTY_FLAG)) {  
 #if !defined(CONFIG_USER_ONLY)      QLIST_FOREACH(block, &ram_list.blocks, next) {
         tb_invalidate_phys_page_fast(ram_addr, 4);          offset = addr - block->offset;
         dirty_flags = phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS];          if (offset < block->length) {
               vaddr = block->host + offset;
               if (block->flags & RAM_PREALLOC_MASK) {
                   ;
               } else {
                   flags = MAP_FIXED;
                   munmap(vaddr, length);
                   if (mem_path) {
   #if defined(__linux__) && !defined(TARGET_S390X)
                       if (block->fd) {
   #ifdef MAP_POPULATE
                           flags |= mem_prealloc ? MAP_POPULATE | MAP_SHARED :
                               MAP_PRIVATE;
   #else
                           flags |= MAP_PRIVATE;
   #endif
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, block->fd, offset);
                       } else {
                           flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                           area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                       flags, -1, 0);
                       }
   #else
                       abort();
   #endif
                   } else {
   #if defined(TARGET_S390X) && defined(CONFIG_KVM)
                       flags |= MAP_SHARED | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_EXEC|PROT_READ|PROT_WRITE,
                                   flags, -1, 0);
   #else
                       flags |= MAP_PRIVATE | MAP_ANONYMOUS;
                       area = mmap(vaddr, length, PROT_READ | PROT_WRITE,
                                   flags, -1, 0);
 #endif  #endif
                   }
                   if (area != vaddr) {
                       fprintf(stderr, "Could not remap addr: %lx@%lx\n",
                               length, addr);
                       exit(1);
                   }
                   qemu_madvise(vaddr, length, QEMU_MADV_MERGEABLE);
               }
               return;
           }
       }
   }
   #endif /* !_WIN32 */
   
   /* Return a host pointer to ram allocated with qemu_ram_alloc.
      With the exception of the softmmu code in this file, this should
      only be used for local memory (e.g. video ram) that the device owns,
      and knows it isn't going to access beyond the end of the block.
   
      It should not be used for general purpose DMA.
      Use cpu_physical_memory_map/cpu_physical_memory_rw instead.
    */
   void *qemu_get_ram_ptr(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr - block->offset < block->length) {
               /* Move this entry to to start of the list.  */
               if (block != QLIST_FIRST(&ram_list.blocks)) {
                   QLIST_REMOVE(block, next);
                   QLIST_INSERT_HEAD(&ram_list.blocks, block, next);
               }
               if (xen_enabled()) {
                   /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
               return block->host + (addr - block->offset);
           }
       }
   
       fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
       abort();
   
       return NULL;
   }
   
   /* Return a host pointer to ram allocated with qemu_ram_alloc.
    * Same as qemu_get_ram_ptr but avoid reordering ramblocks.
    */
   void *qemu_safe_ram_ptr(ram_addr_t addr)
   {
       RAMBlock *block;
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           if (addr - block->offset < block->length) {
               if (xen_enabled()) {
                   /* We need to check if the requested address is in the RAM
                    * because we don't want to map the entire memory in QEMU.
                    * In that case just map until the end of the page.
                    */
                   if (block->offset == 0) {
                       return xen_map_cache(addr, 0, 0);
                   } else if (block->host == NULL) {
                       block->host =
                           xen_map_cache(block->offset, block->length, 1);
                   }
               }
               return block->host + (addr - block->offset);
           }
       }
   
       fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
       abort();
   
       return NULL;
   }
   
   /* Return a host pointer to guest's ram. Similar to qemu_get_ram_ptr
    * but takes a size argument */
   void *qemu_ram_ptr_length(ram_addr_t addr, ram_addr_t *size)
   {
       if (*size == 0) {
           return NULL;
       }
       if (xen_enabled()) {
           return xen_map_cache(addr, *size, 1);
       } else {
           RAMBlock *block;
   
           QLIST_FOREACH(block, &ram_list.blocks, next) {
               if (addr - block->offset < block->length) {
                   if (addr - block->offset + *size > block->length)
                       *size = block->length - addr + block->offset;
                   return block->host + (addr - block->offset);
               }
           }
   
           fprintf(stderr, "Bad ram offset %" PRIx64 "\n", (uint64_t)addr);
           abort();
       }
   }
   
   void qemu_put_ram_ptr(void *addr)
   {
       trace_qemu_put_ram_ptr(addr);
   }
   
   int qemu_ram_addr_from_host(void *ptr, ram_addr_t *ram_addr)
   {
       RAMBlock *block;
       uint8_t *host = ptr;
   
       if (xen_enabled()) {
           *ram_addr = xen_ram_addr_from_mapcache(ptr);
           return 0;
       }
   
       QLIST_FOREACH(block, &ram_list.blocks, next) {
           /* This case append when the block is not mapped. */
           if (block->host == NULL) {
               continue;
           }
           if (host - block->host < block->length) {
               *ram_addr = block->offset + (host - block->host);
               return 0;
           }
       }
   
       return -1;
   }
   
   /* Some of the softmmu routines need to translate from a host pointer
      (typically a TLB entry) back to a ram offset.  */
   ram_addr_t qemu_ram_addr_from_host_nofail(void *ptr)
   {
       ram_addr_t ram_addr;
   
       if (qemu_ram_addr_from_host(ptr, &ram_addr)) {
           fprintf(stderr, "Bad ram pointer %p\n", ptr);
           abort();
       }
       return ram_addr;
   }
   
   static uint32_t unassigned_mem_readb(void *opaque, target_phys_addr_t addr)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 1);
   #endif
       return 0;
   }
   
   static uint32_t unassigned_mem_readw(void *opaque, target_phys_addr_t addr)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 2);
   #endif
       return 0;
   }
   
   static uint32_t unassigned_mem_readl(void *opaque, target_phys_addr_t addr)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem read " TARGET_FMT_plx "\n", addr);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 0, 0, 0, 4);
   #endif
       return 0;
   }
   
   static void unassigned_mem_writeb(void *opaque, target_phys_addr_t addr, uint32_t val)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 1);
   #endif
   }
   
   static void unassigned_mem_writew(void *opaque, target_phys_addr_t addr, uint32_t val)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 2);
   #endif
   }
   
   static void unassigned_mem_writel(void *opaque, target_phys_addr_t addr, uint32_t val)
   {
   #ifdef DEBUG_UNASSIGNED
       printf("Unassigned mem write " TARGET_FMT_plx " = 0x%x\n", addr, val);
   #endif
   #if defined(TARGET_ALPHA) || defined(TARGET_SPARC) || defined(TARGET_MICROBLAZE)
       cpu_unassigned_access(cpu_single_env, addr, 1, 0, 0, 4);
   #endif
   }
   
   static CPUReadMemoryFunc * const unassigned_mem_read[3] = {
       unassigned_mem_readb,
       unassigned_mem_readw,
       unassigned_mem_readl,
   };
   
   static CPUWriteMemoryFunc * const unassigned_mem_write[3] = {
       unassigned_mem_writeb,
       unassigned_mem_writew,
       unassigned_mem_writel,
   };
   
   static void notdirty_mem_writeb(void *opaque, target_phys_addr_t ram_addr,
                                   uint32_t val)
   {
       int dirty_flags;
       dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
       if (!(dirty_flags & CODE_DIRTY_FLAG)) {
   #if !defined(CONFIG_USER_ONLY)
           tb_invalidate_phys_page_fast(ram_addr, 1);
           dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
   #endif
       }
       stb_p(qemu_get_ram_ptr(ram_addr), val);
       dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
       cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
       /* we remove the notdirty callback only if the code has been
          flushed */
       if (dirty_flags == 0xff)
           tlb_set_dirty(cpu_single_env, cpu_single_env->mem_io_vaddr);
   }
   
   static void notdirty_mem_writew(void *opaque, target_phys_addr_t ram_addr,
                                   uint32_t val)
   {
       int dirty_flags;
       dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
       if (!(dirty_flags & CODE_DIRTY_FLAG)) {
   #if !defined(CONFIG_USER_ONLY)
           tb_invalidate_phys_page_fast(ram_addr, 2);
           dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
   #endif
       }
       stw_p(qemu_get_ram_ptr(ram_addr), val);
       dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
       cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
       /* we remove the notdirty callback only if the code has been
          flushed */
       if (dirty_flags == 0xff)
           tlb_set_dirty(cpu_single_env, cpu_single_env->mem_io_vaddr);
   }
   
   static void notdirty_mem_writel(void *opaque, target_phys_addr_t ram_addr,
                                   uint32_t val)
   {
       int dirty_flags;
       dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
       if (!(dirty_flags & CODE_DIRTY_FLAG)) {
   #if !defined(CONFIG_USER_ONLY)
           tb_invalidate_phys_page_fast(ram_addr, 4);
           dirty_flags = cpu_physical_memory_get_dirty_flags(ram_addr);
   #endif
       }
       stl_p(qemu_get_ram_ptr(ram_addr), val);
       dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);
       cpu_physical_memory_set_dirty_flags(ram_addr, dirty_flags);
       /* we remove the notdirty callback only if the code has been
          flushed */
       if (dirty_flags == 0xff)
           tlb_set_dirty(cpu_single_env, cpu_single_env->mem_io_vaddr);
   }
   
   static CPUReadMemoryFunc * const error_mem_read[3] = {
       NULL, /* never used */
       NULL, /* never used */
       NULL, /* never used */
   };
   
   static CPUWriteMemoryFunc * const notdirty_mem_write[3] = {
       notdirty_mem_writeb,
       notdirty_mem_writew,
       notdirty_mem_writel,
   };
   
   /* Generate a debug exception if a watchpoint has been hit.  */
   static void check_watchpoint(int offset, int len_mask, int flags)
   {
       CPUState *env = cpu_single_env;
       target_ulong pc, cs_base;
       TranslationBlock *tb;
       target_ulong vaddr;
       CPUWatchpoint *wp;
       int cpu_flags;
   
       if (env->watchpoint_hit) {
           /* We re-entered the check after replacing the TB. Now raise
            * the debug interrupt so that is will trigger after the
            * current instruction. */
           cpu_interrupt(env, CPU_INTERRUPT_DEBUG);
           return;
       }
       vaddr = (env->mem_io_vaddr & TARGET_PAGE_MASK) + offset;
       QTAILQ_FOREACH(wp, &env->watchpoints, entry) {
           if ((vaddr == (wp->vaddr & len_mask) ||
                (vaddr & wp->len_mask) == wp->vaddr) && (wp->flags & flags)) {
               wp->flags |= BP_WATCHPOINT_HIT;
               if (!env->watchpoint_hit) {
                   env->watchpoint_hit = wp;
                   tb = tb_find_pc(env->mem_io_pc);
                   if (!tb) {
                       cpu_abort(env, "check_watchpoint: could not find TB for "
                                 "pc=%p", (void *)env->mem_io_pc);
                   }
                   cpu_restore_state(tb, env, env->mem_io_pc);
                   tb_phys_invalidate(tb, -1);
                   if (wp->flags & BP_STOP_BEFORE_ACCESS) {
                       env->exception_index = EXCP_DEBUG;
                   } else {
                       cpu_get_tb_cpu_state(env, &pc, &cs_base, &cpu_flags);
                       tb_gen_code(env, pc, cs_base, cpu_flags, 1);
                   }
                   cpu_resume_from_signal(env, NULL);
               }
           } else {
               wp->flags &= ~BP_WATCHPOINT_HIT;
           }
       }
   }
   
   /* Watchpoint access routines.  Watchpoints are inserted using TLB tricks,
      so these check for a hit then pass through to the normal out-of-line
      phys routines.  */
   static uint32_t watch_mem_readb(void *opaque, target_phys_addr_t addr)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x0, BP_MEM_READ);
       return ldub_phys(addr);
   }
   
   static uint32_t watch_mem_readw(void *opaque, target_phys_addr_t addr)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x1, BP_MEM_READ);
       return lduw_phys(addr);
   }
   
   static uint32_t watch_mem_readl(void *opaque, target_phys_addr_t addr)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x3, BP_MEM_READ);
       return ldl_phys(addr);
   }
   
   static void watch_mem_writeb(void *opaque, target_phys_addr_t addr,
                                uint32_t val)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x0, BP_MEM_WRITE);
       stb_phys(addr, val);
   }
   
   static void watch_mem_writew(void *opaque, target_phys_addr_t addr,
                                uint32_t val)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x1, BP_MEM_WRITE);
       stw_phys(addr, val);
   }
   
   static void watch_mem_writel(void *opaque, target_phys_addr_t addr,
                                uint32_t val)
   {
       check_watchpoint(addr & ~TARGET_PAGE_MASK, ~0x3, BP_MEM_WRITE);
       stl_phys(addr, val);
   }
   
   static CPUReadMemoryFunc * const watch_mem_read[3] = {
       watch_mem_readb,
       watch_mem_readw,
       watch_mem_readl,
   };
   
   static CPUWriteMemoryFunc * const watch_mem_write[3] = {
       watch_mem_writeb,
       watch_mem_writew,
       watch_mem_writel,
   };
   
   static inline uint32_t subpage_readlen (subpage_t *mmio,
                                           target_phys_addr_t addr,
                                           unsigned int len)
   {
       unsigned int idx = SUBPAGE_IDX(addr);
   #if defined(DEBUG_SUBPAGE)
       printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d\n", __func__,
              mmio, len, addr, idx);
   #endif
   
       addr += mmio->region_offset[idx];
       idx = mmio->sub_io_index[idx];
       return io_mem_read[idx][len](io_mem_opaque[idx], addr);
   }
   
   static inline void subpage_writelen (subpage_t *mmio, target_phys_addr_t addr,
                                        uint32_t value, unsigned int len)
   {
       unsigned int idx = SUBPAGE_IDX(addr);
   #if defined(DEBUG_SUBPAGE)
       printf("%s: subpage %p len %d addr " TARGET_FMT_plx " idx %d value %08x\n",
              __func__, mmio, len, addr, idx, value);
   #endif
   
       addr += mmio->region_offset[idx];
       idx = mmio->sub_io_index[idx];
       io_mem_write[idx][len](io_mem_opaque[idx], addr, value);
   }
   
   static uint32_t subpage_readb (void *opaque, target_phys_addr_t addr)
   {
       return subpage_readlen(opaque, addr, 0);
   }
   
   static void subpage_writeb (void *opaque, target_phys_addr_t addr,
                               uint32_t value)
   {
       subpage_writelen(opaque, addr, value, 0);
   }
   
   static uint32_t subpage_readw (void *opaque, target_phys_addr_t addr)
   {
       return subpage_readlen(opaque, addr, 1);
   }
   
   static void subpage_writew (void *opaque, target_phys_addr_t addr,
                               uint32_t value)
   {
       subpage_writelen(opaque, addr, value, 1);
   }
   
   static uint32_t subpage_readl (void *opaque, target_phys_addr_t addr)
   {
       return subpage_readlen(opaque, addr, 2);
   }
   
   static void subpage_writel (void *opaque, target_phys_addr_t addr,
                               uint32_t value)
   {
       subpage_writelen(opaque, addr, value, 2);
   }
   
   static CPUReadMemoryFunc * const subpage_read[] = {
       &subpage_readb,
       &subpage_readw,
       &subpage_readl,
   };
   
   static CPUWriteMemoryFunc * const subpage_write[] = {
       &subpage_writeb,
       &subpage_writew,
       &subpage_writel,
   };
   
   static int subpage_register (subpage_t *mmio, uint32_t start, uint32_t end,
                                ram_addr_t memory, ram_addr_t region_offset)
   {
       int idx, eidx;
   
       if (start >= TARGET_PAGE_SIZE || end >= TARGET_PAGE_SIZE)
           return -1;
       idx = SUBPAGE_IDX(start);
       eidx = SUBPAGE_IDX(end);
   #if defined(DEBUG_SUBPAGE)
       printf("%s: %p start %08x end %08x idx %08x eidx %08x mem %ld\n", __func__,
              mmio, start, end, idx, eidx, memory);
   #endif
       if ((memory & ~TARGET_PAGE_MASK) == IO_MEM_RAM)
           memory = IO_MEM_UNASSIGNED;
       memory = (memory >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
       for (; idx <= eidx; idx++) {
           mmio->sub_io_index[idx] = memory;
           mmio->region_offset[idx] = region_offset;
       }
   
       return 0;
   }
   
   static subpage_t *subpage_init (target_phys_addr_t base, ram_addr_t *phys,
                                   ram_addr_t orig_memory,
                                   ram_addr_t region_offset)
   {
       subpage_t *mmio;
       int subpage_memory;
   
       mmio = qemu_mallocz(sizeof(subpage_t));
   
       mmio->base = base;
       subpage_memory = cpu_register_io_memory(subpage_read, subpage_write, mmio,
                                               DEVICE_NATIVE_ENDIAN);
   #if defined(DEBUG_SUBPAGE)
       printf("%s: %p base " TARGET_FMT_plx " len %08x %d\n", __func__,
              mmio, base, TARGET_PAGE_SIZE, subpage_memory);
   #endif
       *phys = subpage_memory | IO_MEM_SUBPAGE;
       subpage_register(mmio, 0, TARGET_PAGE_SIZE-1, orig_memory, region_offset);
   
       return mmio;
   }
   
   static int get_free_io_mem_idx(void)
   {
       int i;
   
       for (i = 0; i<IO_MEM_NB_ENTRIES; i++)
           if (!io_mem_used[i]) {
               io_mem_used[i] = 1;
               return i;
           }
       fprintf(stderr, "RAN out out io_mem_idx, max %d !\n", IO_MEM_NB_ENTRIES);
       return -1;
   }
   
   /*
    * Usually, devices operate in little endian mode. There are devices out
    * there that operate in big endian too. Each device gets byte swapped
    * mmio if plugged onto a CPU that does the other endianness.
    *
    * CPU          Device           swap?
    *
    * little       little           no
    * little       big              yes
    * big          little           yes
    * big          big              no
    */
   
   typedef struct SwapEndianContainer {
       CPUReadMemoryFunc *read[3];
       CPUWriteMemoryFunc *write[3];
       void *opaque;
   } SwapEndianContainer;
   
   static uint32_t swapendian_mem_readb (void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = c->read[0](c->opaque, addr);
       return val;
   }
   
   static uint32_t swapendian_mem_readw(void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = bswap16(c->read[1](c->opaque, addr));
       return val;
   }
   
   static uint32_t swapendian_mem_readl(void *opaque, target_phys_addr_t addr)
   {
       uint32_t val;
       SwapEndianContainer *c = opaque;
       val = bswap32(c->read[2](c->opaque, addr));
       return val;
   }
   
   static CPUReadMemoryFunc * const swapendian_readfn[3]={
       swapendian_mem_readb,
       swapendian_mem_readw,
       swapendian_mem_readl
   };
   
   static void swapendian_mem_writeb(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[0](c->opaque, addr, val);
   }
   
   static void swapendian_mem_writew(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[1](c->opaque, addr, bswap16(val));
   }
   
   static void swapendian_mem_writel(void *opaque, target_phys_addr_t addr,
                                     uint32_t val)
   {
       SwapEndianContainer *c = opaque;
       c->write[2](c->opaque, addr, bswap32(val));
   }
   
   static CPUWriteMemoryFunc * const swapendian_writefn[3]={
       swapendian_mem_writeb,
       swapendian_mem_writew,
       swapendian_mem_writel
   };
   
   static void swapendian_init(int io_index)
   {
       SwapEndianContainer *c = qemu_malloc(sizeof(SwapEndianContainer));
       int i;
   
       /* Swap mmio for big endian targets */
       c->opaque = io_mem_opaque[io_index];
       for (i = 0; i < 3; i++) {
           c->read[i] = io_mem_read[io_index][i];
           c->write[i] = io_mem_write[io_index][i];
   
           io_mem_read[io_index][i] = swapendian_readfn[i];
           io_mem_write[io_index][i] = swapendian_writefn[i];
       }
       io_mem_opaque[io_index] = c;
   }
   
   static void swapendian_del(int io_index)
   {
       if (io_mem_read[io_index][0] == swapendian_readfn[0]) {
           qemu_free(io_mem_opaque[io_index]);
       }
   }
   
   /* mem_read and mem_write are arrays of functions containing the
      function to access byte (index 0), word (index 1) and dword (index
      2). Functions can be omitted with a NULL function pointer.
      If io_index is non zero, the corresponding io zone is
      modified. If it is zero, a new io zone is allocated. The return
      value can be used with cpu_register_physical_memory(). (-1) is
      returned if error. */
   static int cpu_register_io_memory_fixed(int io_index,
                                           CPUReadMemoryFunc * const *mem_read,
                                           CPUWriteMemoryFunc * const *mem_write,
                                           void *opaque, enum device_endian endian)
   {
       int i;
   
       if (io_index <= 0) {
           io_index = get_free_io_mem_idx();
           if (io_index == -1)
               return io_index;
       } else {
           io_index >>= IO_MEM_SHIFT;
           if (io_index >= IO_MEM_NB_ENTRIES)
               return -1;
       }
   
       for (i = 0; i < 3; ++i) {
           io_mem_read[io_index][i]
               = (mem_read[i] ? mem_read[i] : unassigned_mem_read[i]);
       }
       for (i = 0; i < 3; ++i) {
           io_mem_write[io_index][i]
               = (mem_write[i] ? mem_write[i] : unassigned_mem_write[i]);
       }
       io_mem_opaque[io_index] = opaque;
   
       switch (endian) {
       case DEVICE_BIG_ENDIAN:
   #ifndef TARGET_WORDS_BIGENDIAN
           swapendian_init(io_index);
   #endif
           break;
       case DEVICE_LITTLE_ENDIAN:
   #ifdef TARGET_WORDS_BIGENDIAN
           swapendian_init(io_index);
   #endif
           break;
       case DEVICE_NATIVE_ENDIAN:
       default:
           break;
       }
   
       return (io_index << IO_MEM_SHIFT);
   }
   
   int cpu_register_io_memory(CPUReadMemoryFunc * const *mem_read,
                              CPUWriteMemoryFunc * const *mem_write,
                              void *opaque, enum device_endian endian)
   {
       return cpu_register_io_memory_fixed(0, mem_read, mem_write, opaque, endian);
   }
   
   void cpu_unregister_io_memory(int io_table_address)
   {
       int i;
       int io_index = io_table_address >> IO_MEM_SHIFT;
   
       swapendian_del(io_index);
   
       for (i=0;i < 3; i++) {
           io_mem_read[io_index][i] = unassigned_mem_read[i];
           io_mem_write[io_index][i] = unassigned_mem_write[i];
       }
       io_mem_opaque[io_index] = NULL;
       io_mem_used[io_index] = 0;
   }
   
   static void io_mem_init(void)
   {
       int i;
   
       cpu_register_io_memory_fixed(IO_MEM_ROM, error_mem_read,
                                    unassigned_mem_write, NULL,
                                    DEVICE_NATIVE_ENDIAN);
       cpu_register_io_memory_fixed(IO_MEM_UNASSIGNED, unassigned_mem_read,
                                    unassigned_mem_write, NULL,
                                    DEVICE_NATIVE_ENDIAN);
       cpu_register_io_memory_fixed(IO_MEM_NOTDIRTY, error_mem_read,
                                    notdirty_mem_write, NULL,
                                    DEVICE_NATIVE_ENDIAN);
       for (i=0; i<5; i++)
           io_mem_used[i] = 1;
   
       io_mem_watch = cpu_register_io_memory(watch_mem_read,
                                             watch_mem_write, NULL,
                                             DEVICE_NATIVE_ENDIAN);
   }
   
   #endif /* !defined(CONFIG_USER_ONLY) */
   
   /* physical memory access (slow version, mainly for debug) */
   #if defined(CONFIG_USER_ONLY)
   int cpu_memory_rw_debug(CPUState *env, target_ulong addr,
                           uint8_t *buf, int len, int is_write)
   {
       int l, flags;
       target_ulong page;
       void * p;
   
       while (len > 0) {
           page = addr & TARGET_PAGE_MASK;
           l = (page + TARGET_PAGE_SIZE) - addr;
           if (l > len)
               l = len;
           flags = page_get_flags(page);
           if (!(flags & PAGE_VALID))
               return -1;
           if (is_write) {
               if (!(flags & PAGE_WRITE))
                   return -1;
               /* XXX: this code should not depend on lock_user */
               if (!(p = lock_user(VERIFY_WRITE, addr, l, 0)))
                   return -1;
               memcpy(p, buf, l);
               unlock_user(p, addr, l);
           } else {
               if (!(flags & PAGE_READ))
                   return -1;
               /* XXX: this code should not depend on lock_user */
               if (!(p = lock_user(VERIFY_READ, addr, l, 1)))
                   return -1;
               memcpy(buf, p, l);
               unlock_user(p, addr, 0);
           }
           len -= l;
           buf += l;
           addr += l;
       }
       return 0;
   }
   
   #else
   void cpu_physical_memory_rw(target_phys_addr_t addr, uint8_t *buf,
                               int len, int is_write)
   {
       int l, io_index;
       uint8_t *ptr;
       uint32_t val;
       target_phys_addr_t page;
       unsigned long pd;
       PhysPageDesc *p;
   
       while (len > 0) {
           page = addr & TARGET_PAGE_MASK;
           l = (page + TARGET_PAGE_SIZE) - addr;
           if (l > len)
               l = len;
           p = phys_page_find(page >> TARGET_PAGE_BITS);
           if (!p) {
               pd = IO_MEM_UNASSIGNED;
           } else {
               pd = p->phys_offset;
           }
   
           if (is_write) {
               if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
                   target_phys_addr_t addr1 = addr;
                   io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
                   if (p)
                       addr1 = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
                   /* XXX: could force cpu_single_env to NULL to avoid
                      potential bugs */
                   if (l >= 4 && ((addr1 & 3) == 0)) {
                       /* 32 bit write access */
                       val = ldl_p(buf);
                       io_mem_write[io_index][2](io_mem_opaque[io_index], addr1, val);
                       l = 4;
                   } else if (l >= 2 && ((addr1 & 1) == 0)) {
                       /* 16 bit write access */
                       val = lduw_p(buf);
                       io_mem_write[io_index][1](io_mem_opaque[io_index], addr1, val);
                       l = 2;
                   } else {
                       /* 8 bit write access */
                       val = ldub_p(buf);
                       io_mem_write[io_index][0](io_mem_opaque[io_index], addr1, val);
                       l = 1;
                   }
               } else {
                   unsigned long addr1;
                   addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
                   /* RAM case */
                   ptr = qemu_get_ram_ptr(addr1);
                   memcpy(ptr, buf, l);
                   if (!cpu_physical_memory_is_dirty(addr1)) {
                       /* invalidate code */
                       tb_invalidate_phys_page_range(addr1, addr1 + l, 0);
                       /* set dirty bit */
                       cpu_physical_memory_set_dirty_flags(
                           addr1, (0xff & ~CODE_DIRTY_FLAG));
                   }
                   qemu_put_ram_ptr(ptr);
               }
           } else {
               if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
                   !(pd & IO_MEM_ROMD)) {
                   target_phys_addr_t addr1 = addr;
                   /* I/O case */
                   io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
                   if (p)
                       addr1 = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
                   if (l >= 4 && ((addr1 & 3) == 0)) {
                       /* 32 bit read access */
                       val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr1);
                       stl_p(buf, val);
                       l = 4;
                   } else if (l >= 2 && ((addr1 & 1) == 0)) {
                       /* 16 bit read access */
                       val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr1);
                       stw_p(buf, val);
                       l = 2;
                   } else {
                       /* 8 bit read access */
                       val = io_mem_read[io_index][0](io_mem_opaque[io_index], addr1);
                       stb_p(buf, val);
                       l = 1;
                   }
               } else {
                   /* RAM case */
                   ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK);
                   memcpy(buf, ptr + (addr & ~TARGET_PAGE_MASK), l);
                   qemu_put_ram_ptr(ptr);
               }
           }
           len -= l;
           buf += l;
           addr += l;
       }
   }
   
   /* used for ROM loading : can write in RAM and ROM */
   void cpu_physical_memory_write_rom(target_phys_addr_t addr,
                                      const uint8_t *buf, int len)
   {
       int l;
       uint8_t *ptr;
       target_phys_addr_t page;
       unsigned long pd;
       PhysPageDesc *p;
   
       while (len > 0) {
           page = addr & TARGET_PAGE_MASK;
           l = (page + TARGET_PAGE_SIZE) - addr;
           if (l > len)
               l = len;
           p = phys_page_find(page >> TARGET_PAGE_BITS);
           if (!p) {
               pd = IO_MEM_UNASSIGNED;
           } else {
               pd = p->phys_offset;
           }
   
           if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM &&
               (pd & ~TARGET_PAGE_MASK) != IO_MEM_ROM &&
               !(pd & IO_MEM_ROMD)) {
               /* do nothing */
           } else {
               unsigned long addr1;
               addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
               /* ROM/RAM case */
               ptr = qemu_get_ram_ptr(addr1);
               memcpy(ptr, buf, l);
               qemu_put_ram_ptr(ptr);
           }
           len -= l;
           buf += l;
           addr += l;
       }
   }
   
   typedef struct {
       void *buffer;
       target_phys_addr_t addr;
       target_phys_addr_t len;
   } BounceBuffer;
   
   static BounceBuffer bounce;
   
   typedef struct MapClient {
       void *opaque;
       void (*callback)(void *opaque);
       QLIST_ENTRY(MapClient) link;
   } MapClient;
   
   static QLIST_HEAD(map_client_list, MapClient) map_client_list
       = QLIST_HEAD_INITIALIZER(map_client_list);
   
   void *cpu_register_map_client(void *opaque, void (*callback)(void *opaque))
   {
       MapClient *client = qemu_malloc(sizeof(*client));
   
       client->opaque = opaque;
       client->callback = callback;
       QLIST_INSERT_HEAD(&map_client_list, client, link);
       return client;
   }
   
   void cpu_unregister_map_client(void *_client)
   {
       MapClient *client = (MapClient *)_client;
   
       QLIST_REMOVE(client, link);
       qemu_free(client);
   }
   
   static void cpu_notify_map_clients(void)
   {
       MapClient *client;
   
       while (!QLIST_EMPTY(&map_client_list)) {
           client = QLIST_FIRST(&map_client_list);
           client->callback(client->opaque);
           cpu_unregister_map_client(client);
       }
   }
   
   /* Map a physical memory region into a host virtual address.
    * May map a subset of the requested range, given by and returned in *plen.
    * May return NULL if resources needed to perform the mapping are exhausted.
    * Use only for reads OR writes - not for read-modify-write operations.
    * Use cpu_register_map_client() to know when retrying the map operation is
    * likely to succeed.
    */
   void *cpu_physical_memory_map(target_phys_addr_t addr,
                                 target_phys_addr_t *plen,
                                 int is_write)
   {
       target_phys_addr_t len = *plen;
       target_phys_addr_t todo = 0;
       int l;
       target_phys_addr_t page;
       unsigned long pd;
       PhysPageDesc *p;
       ram_addr_t raddr = ULONG_MAX;
       ram_addr_t rlen;
       void *ret;
   
       while (len > 0) {
           page = addr & TARGET_PAGE_MASK;
           l = (page + TARGET_PAGE_SIZE) - addr;
           if (l > len)
               l = len;
           p = phys_page_find(page >> TARGET_PAGE_BITS);
           if (!p) {
               pd = IO_MEM_UNASSIGNED;
           } else {
               pd = p->phys_offset;
           }
   
           if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
               if (todo || bounce.buffer) {
                   break;
               }
               bounce.buffer = qemu_memalign(TARGET_PAGE_SIZE, TARGET_PAGE_SIZE);
               bounce.addr = addr;
               bounce.len = l;
               if (!is_write) {
                   cpu_physical_memory_read(addr, bounce.buffer, l);
               }
   
               *plen = l;
               return bounce.buffer;
           }
           if (!todo) {
               raddr = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
           }
   
           len -= l;
           addr += l;
           todo += l;
       }
       rlen = todo;
       ret = qemu_ram_ptr_length(raddr, &rlen);
       *plen = rlen;
       return ret;
   }
   
   /* Unmaps a memory region previously mapped by cpu_physical_memory_map().
    * Will also mark the memory as dirty if is_write == 1.  access_len gives
    * the amount of memory that was actually read or written by the caller.
    */
   void cpu_physical_memory_unmap(void *buffer, target_phys_addr_t len,
                                  int is_write, target_phys_addr_t access_len)
   {
       if (buffer != bounce.buffer) {
           if (is_write) {
               ram_addr_t addr1 = qemu_ram_addr_from_host_nofail(buffer);
               while (access_len) {
                   unsigned l;
                   l = TARGET_PAGE_SIZE;
                   if (l > access_len)
                       l = access_len;
                   if (!cpu_physical_memory_is_dirty(addr1)) {
                       /* invalidate code */
                       tb_invalidate_phys_page_range(addr1, addr1 + l, 0);
                       /* set dirty bit */
                       cpu_physical_memory_set_dirty_flags(
                           addr1, (0xff & ~CODE_DIRTY_FLAG));
                   }
                   addr1 += l;
                   access_len -= l;
               }
           }
           if (xen_enabled()) {
               xen_invalidate_map_cache_entry(buffer);
           }
           return;
       }
       if (is_write) {
           cpu_physical_memory_write(bounce.addr, bounce.buffer, access_len);
       }
       qemu_vfree(bounce.buffer);
       bounce.buffer = NULL;
       cpu_notify_map_clients();
   }
   
   /* warning: addr must be aligned */
   static inline uint32_t ldl_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
   {
       int io_index;
       uint8_t *ptr;
       uint32_t val;
       unsigned long pd;
       PhysPageDesc *p;
   
       p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p) {
           pd = IO_MEM_UNASSIGNED;
       } else {
           pd = p->phys_offset;
       }
   
       if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
           !(pd & IO_MEM_ROMD)) {
           /* I/O case */
           io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
           if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
           val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
       } else {
           /* RAM case */
           ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
               (addr & ~TARGET_PAGE_MASK);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldl_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldl_be_p(ptr);
               break;
           default:
               val = ldl_p(ptr);
               break;
           }
       }
       return val;
   }
   
   uint32_t ldl_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
   }
   
   uint32_t ldl_le_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   }
   
   uint32_t ldl_be_phys(target_phys_addr_t addr)
   {
       return ldl_phys_internal(addr, DEVICE_BIG_ENDIAN);
   }
   
   /* warning: addr must be aligned */
   static inline uint64_t ldq_phys_internal(target_phys_addr_t addr,
                                            enum device_endian endian)
   {
       int io_index;
       uint8_t *ptr;
       uint64_t val;
       unsigned long pd;
       PhysPageDesc *p;
   
       p = phys_page_find(addr >> TARGET_PAGE_BITS);
       if (!p) {
           pd = IO_MEM_UNASSIGNED;
       } else {
           pd = p->phys_offset;
       }
   
       if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
           !(pd & IO_MEM_ROMD)) {
           /* I/O case */
           io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
           if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   
           /* XXX This is broken when device endian != cpu endian.
                  Fix and add "endian" variable check */
   #ifdef TARGET_WORDS_BIGENDIAN
           val = (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr) << 32;
           val |= io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4);
   #else
           val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);
           val |= (uint64_t)io_mem_read[io_index][2](io_mem_opaque[io_index], addr + 4) << 32;
   #endif
       } else {
           /* RAM case */
           ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
               (addr & ~TARGET_PAGE_MASK);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = ldq_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = ldq_be_p(ptr);
               break;
           default:
               val = ldq_p(ptr);
               break;
           }
     }      }
     stl_p((uint8_t *)(long)addr, val);      return val;
     dirty_flags |= (0xff & ~CODE_DIRTY_FLAG);  
     phys_ram_dirty[ram_addr >> TARGET_PAGE_BITS] = dirty_flags;  
     /* we remove the notdirty callback only if the code has been  
        flushed */  
     if (dirty_flags == 0xff)  
         tlb_set_dirty(addr, cpu_single_env->mem_write_vaddr);  
 }  }
   
 static CPUReadMemoryFunc *error_mem_read[3] = {  uint64_t ldq_phys(target_phys_addr_t addr)
     NULL, /* never used */  
     NULL, /* never used */  
     NULL, /* never used */  
 };  
   
 static CPUWriteMemoryFunc *notdirty_mem_write[3] = {  
     notdirty_mem_writeb,  
     notdirty_mem_writew,  
     notdirty_mem_writel,  
 };  
   
 static void io_mem_init(void)  
 {  {
     cpu_register_io_memory(IO_MEM_ROM >> IO_MEM_SHIFT, error_mem_read, unassigned_mem_write, NULL);      return ldq_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
     cpu_register_io_memory(IO_MEM_UNASSIGNED >> IO_MEM_SHIFT, unassigned_mem_read, unassigned_mem_write, NULL);  
     cpu_register_io_memory(IO_MEM_NOTDIRTY >> IO_MEM_SHIFT, error_mem_read, notdirty_mem_write, NULL);  
     io_mem_nb = 5;  
   
     /* alloc dirty bits array */  
     phys_ram_dirty = qemu_vmalloc(phys_ram_size >> TARGET_PAGE_BITS);  
     memset(phys_ram_dirty, 0xff, phys_ram_size >> TARGET_PAGE_BITS);  
 }  }
   
 /* mem_read and mem_write are arrays of functions containing the  uint64_t ldq_le_phys(target_phys_addr_t addr)
    function to access byte (index 0), word (index 1) and dword (index  
    2). All functions must be supplied. If io_index is non zero, the  
    corresponding io zone is modified. If it is zero, a new io zone is  
    allocated. The return value can be used with  
    cpu_register_physical_memory(). (-1) is returned if error. */  
 int cpu_register_io_memory(int io_index,  
                            CPUReadMemoryFunc **mem_read,  
                            CPUWriteMemoryFunc **mem_write,  
                            void *opaque)  
 {  {
     int i;      return ldq_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
   
     if (io_index <= 0) {  
         if (io_index >= IO_MEM_NB_ENTRIES)  
             return -1;  
         io_index = io_mem_nb++;  
     } else {  
         if (io_index >= IO_MEM_NB_ENTRIES)  
             return -1;  
     }  
       
     for(i = 0;i < 3; i++) {  
         io_mem_read[io_index][i] = mem_read[i];  
         io_mem_write[io_index][i] = mem_write[i];  
     }  
     io_mem_opaque[io_index] = opaque;  
     return io_index << IO_MEM_SHIFT;  
 }  }
   
 CPUWriteMemoryFunc **cpu_get_io_memory_write(int io_index)  uint64_t ldq_be_phys(target_phys_addr_t addr)
 {  {
     return io_mem_write[io_index >> IO_MEM_SHIFT];      return ldq_phys_internal(addr, DEVICE_BIG_ENDIAN);
 }  }
   
 CPUReadMemoryFunc **cpu_get_io_memory_read(int io_index)  /* XXX: optimize */
   uint32_t ldub_phys(target_phys_addr_t addr)
 {  {
     return io_mem_read[io_index >> IO_MEM_SHIFT];      uint8_t val;
       cpu_physical_memory_read(addr, &val, 1);
       return val;
 }  }
   
 /* physical memory access (slow version, mainly for debug) */  /* warning: addr must be aligned */
 #if defined(CONFIG_USER_ONLY)  static inline uint32_t lduw_phys_internal(target_phys_addr_t addr,
 void cpu_physical_memory_rw(target_phys_addr_t addr, uint8_t *buf,                                             enum device_endian endian)
                             int len, int is_write)  
 {  {
     int l, flags;      int io_index;
     target_ulong page;      uint8_t *ptr;
       uint64_t val;
       unsigned long pd;
       PhysPageDesc *p;
   
     while (len > 0) {      p = phys_page_find(addr >> TARGET_PAGE_BITS);
         page = addr & TARGET_PAGE_MASK;      if (!p) {
         l = (page + TARGET_PAGE_SIZE) - addr;          pd = IO_MEM_UNASSIGNED;
         if (l > len)      } else {
             l = len;          pd = p->phys_offset;
         flags = page_get_flags(page);      }
         if (!(flags & PAGE_VALID))  
             return;      if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM &&
         if (is_write) {          !(pd & IO_MEM_ROMD)) {
             if (!(flags & PAGE_WRITE))          /* I/O case */
                 return;          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
             memcpy((uint8_t *)addr, buf, len);          if (p)
         } else {              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
             if (!(flags & PAGE_READ))          val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr);
                 return;  #if defined(TARGET_WORDS_BIGENDIAN)
             memcpy(buf, (uint8_t *)addr, len);          if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
       } else {
           /* RAM case */
           ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
               (addr & ~TARGET_PAGE_MASK);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               val = lduw_le_p(ptr);
               break;
           case DEVICE_BIG_ENDIAN:
               val = lduw_be_p(ptr);
               break;
           default:
               val = lduw_p(ptr);
               break;
         }          }
         len -= l;  
         buf += l;  
         addr += l;  
     }      }
       return val;
 }  }
   
 /* never used */  uint32_t lduw_phys(target_phys_addr_t addr)
 uint32_t ldl_phys(target_phys_addr_t addr)  
 {  {
     return 0;      return lduw_phys_internal(addr, DEVICE_NATIVE_ENDIAN);
 }  }
   
 void stl_phys_notdirty(target_phys_addr_t addr, uint32_t val)  uint32_t lduw_le_phys(target_phys_addr_t addr)
 {  {
       return lduw_phys_internal(addr, DEVICE_LITTLE_ENDIAN);
 }  }
   
 void stl_phys(target_phys_addr_t addr, uint32_t val)  uint32_t lduw_be_phys(target_phys_addr_t addr)
 {  {
       return lduw_phys_internal(addr, DEVICE_BIG_ENDIAN);
 }  }
   
 #else  /* warning: addr must be aligned. The ram page is not masked as dirty
 void cpu_physical_memory_rw(target_phys_addr_t addr, uint8_t *buf,      and the code inside is not invalidated. It is useful if the dirty
                             int len, int is_write)     bits are used to track modified PTEs */
   void stl_phys_notdirty(target_phys_addr_t addr, uint32_t val)
 {  {
     int l, io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
     uint32_t val;  
     target_phys_addr_t page;  
     unsigned long pd;      unsigned long pd;
     PhysPageDesc *p;      PhysPageDesc *p;
       
     while (len > 0) {      p = phys_page_find(addr >> TARGET_PAGE_BITS);
         page = addr & TARGET_PAGE_MASK;      if (!p) {
         l = (page + TARGET_PAGE_SIZE) - addr;          pd = IO_MEM_UNASSIGNED;
         if (l > len)      } else {
             l = len;          pd = p->phys_offset;
         p = phys_page_find(page >> TARGET_PAGE_BITS);      }
         if (!p) {  
             pd = IO_MEM_UNASSIGNED;      if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
         } else {          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
             pd = p->phys_offset;          if (p)
         }              addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
                   io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);
         if (is_write) {      } else {
             if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {          unsigned long addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
                 io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          ptr = qemu_get_ram_ptr(addr1);
                 if (l >= 4 && ((addr & 3) == 0)) {          stl_p(ptr, val);
                     /* 32 bit write access */  
                     val = ldl_p(buf);          if (unlikely(in_migration)) {
                     io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);              if (!cpu_physical_memory_is_dirty(addr1)) {
                     l = 4;                  /* invalidate code */
                 } else if (l >= 2 && ((addr & 1) == 0)) {                  tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);
                     /* 16 bit write access */                  /* set dirty bit */
                     val = lduw_p(buf);                  cpu_physical_memory_set_dirty_flags(
                     io_mem_write[io_index][1](io_mem_opaque[io_index], addr, val);                      addr1, (0xff & ~CODE_DIRTY_FLAG));
                     l = 2;  
                 } else {  
                     /* 8 bit write access */  
                     val = ldub_p(buf);  
                     io_mem_write[io_index][0](io_mem_opaque[io_index], addr, val);  
                     l = 1;  
                 }  
             } else {  
                 unsigned long addr1;  
                 addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);  
                 /* RAM case */  
                 ptr = phys_ram_base + addr1;  
                 memcpy(ptr, buf, l);  
                 if (!cpu_physical_memory_is_dirty(addr1)) {  
                     /* invalidate code */  
                     tb_invalidate_phys_page_range(addr1, addr1 + l, 0);  
                     /* set dirty bit */  
                     phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=   
                         (0xff & ~CODE_DIRTY_FLAG);  
                 }  
             }  
         } else {  
             if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM) {  
                 /* I/O case */  
                 io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);  
                 if (l >= 4 && ((addr & 3) == 0)) {  
                     /* 32 bit read access */  
                     val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);  
                     stl_p(buf, val);  
                     l = 4;  
                 } else if (l >= 2 && ((addr & 1) == 0)) {  
                     /* 16 bit read access */  
                     val = io_mem_read[io_index][1](io_mem_opaque[io_index], addr);  
                     stw_p(buf, val);  
                     l = 2;  
                 } else {  
                     /* 8 bit read access */  
                     val = io_mem_read[io_index][0](io_mem_opaque[io_index], addr);  
                     stb_p(buf, val);  
                     l = 1;  
                 }  
             } else {  
                 /* RAM case */  
                 ptr = phys_ram_base + (pd & TARGET_PAGE_MASK) +   
                     (addr & ~TARGET_PAGE_MASK);  
                 memcpy(buf, ptr, l);  
             }              }
         }          }
         len -= l;  
         buf += l;  
         addr += l;  
     }      }
 }  }
   
 /* warning: addr must be aligned */  void stq_phys_notdirty(target_phys_addr_t addr, uint64_t val)
 uint32_t ldl_phys(target_phys_addr_t addr)  
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
     uint32_t val;  
     unsigned long pd;      unsigned long pd;
     PhysPageDesc *p;      PhysPageDesc *p;
   
Line 2270  uint32_t ldl_phys(target_phys_addr_t add Line 4396  uint32_t ldl_phys(target_phys_addr_t add
     } else {      } else {
         pd = p->phys_offset;          pd = p->phys_offset;
     }      }
           
     if ((pd & ~TARGET_PAGE_MASK) > IO_MEM_ROM) {      if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
         /* I/O case */  
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         val = io_mem_read[io_index][2](io_mem_opaque[io_index], addr);          if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #ifdef TARGET_WORDS_BIGENDIAN
           io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val >> 32);
           io_mem_write[io_index][2](io_mem_opaque[io_index], addr + 4, val);
   #else
           io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);
           io_mem_write[io_index][2](io_mem_opaque[io_index], addr + 4, val >> 32);
   #endif
     } else {      } else {
         /* RAM case */          ptr = qemu_get_ram_ptr(pd & TARGET_PAGE_MASK) +
         ptr = phys_ram_base + (pd & TARGET_PAGE_MASK) +   
             (addr & ~TARGET_PAGE_MASK);              (addr & ~TARGET_PAGE_MASK);
         val = ldl_p(ptr);          stq_p(ptr, val);
     }      }
     return val;  
 }  }
   
 /* warning: addr must be aligned. The ram page is not masked as dirty  /* warning: addr must be aligned */
    and the code inside is not invalidated. It is useful if the dirty  static inline void stl_phys_internal(target_phys_addr_t addr, uint32_t val,
    bits are used to track modified PTEs */                                       enum device_endian endian)
 void stl_phys_notdirty(target_phys_addr_t addr, uint32_t val)  
 {  {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
Line 2300  void stl_phys_notdirty(target_phys_addr_ Line 4430  void stl_phys_notdirty(target_phys_addr_
     } else {      } else {
         pd = p->phys_offset;          pd = p->phys_offset;
     }      }
           
     if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {      if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
           if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap32(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap32(val);
           }
   #endif
         io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);          io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);
     } else {      } else {
         ptr = phys_ram_base + (pd & TARGET_PAGE_MASK) +           unsigned long addr1;
             (addr & ~TARGET_PAGE_MASK);          addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         stl_p(ptr, val);          /* RAM case */
           ptr = qemu_get_ram_ptr(addr1);
           switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stl_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stl_be_p(ptr, val);
               break;
           default:
               stl_p(ptr, val);
               break;
           }
           if (!cpu_physical_memory_is_dirty(addr1)) {
               /* invalidate code */
               tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);
               /* set dirty bit */
               cpu_physical_memory_set_dirty_flags(addr1,
                   (0xff & ~CODE_DIRTY_FLAG));
           }
     }      }
 }  }
   
 /* warning: addr must be aligned */  
 void stl_phys(target_phys_addr_t addr, uint32_t val)  void stl_phys(target_phys_addr_t addr, uint32_t val)
 {  {
       stl_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
   }
   
   void stl_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stl_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stl_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
   }
   
   /* XXX: optimize */
   void stb_phys(target_phys_addr_t addr, uint32_t val)
   {
       uint8_t v = val;
       cpu_physical_memory_write(addr, &v, 1);
   }
   
   /* warning: addr must be aligned */
   static inline void stw_phys_internal(target_phys_addr_t addr, uint32_t val,
                                        enum device_endian endian)
   {
     int io_index;      int io_index;
     uint8_t *ptr;      uint8_t *ptr;
     unsigned long pd;      unsigned long pd;
Line 2325  void stl_phys(target_phys_addr_t addr, u Line 4508  void stl_phys(target_phys_addr_t addr, u
     } else {      } else {
         pd = p->phys_offset;          pd = p->phys_offset;
     }      }
           
     if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {      if ((pd & ~TARGET_PAGE_MASK) != IO_MEM_RAM) {
         io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);          io_index = (pd >> IO_MEM_SHIFT) & (IO_MEM_NB_ENTRIES - 1);
         io_mem_write[io_index][2](io_mem_opaque[io_index], addr, val);          if (p)
               addr = (addr & ~TARGET_PAGE_MASK) + p->region_offset;
   #if defined(TARGET_WORDS_BIGENDIAN)
           if (endian == DEVICE_LITTLE_ENDIAN) {
               val = bswap16(val);
           }
   #else
           if (endian == DEVICE_BIG_ENDIAN) {
               val = bswap16(val);
           }
   #endif
           io_mem_write[io_index][1](io_mem_opaque[io_index], addr, val);
     } else {      } else {
         unsigned long addr1;          unsigned long addr1;
         addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);          addr1 = (pd & TARGET_PAGE_MASK) + (addr & ~TARGET_PAGE_MASK);
         /* RAM case */          /* RAM case */
         ptr = phys_ram_base + addr1;          ptr = qemu_get_ram_ptr(addr1);
         stl_p(ptr, val);          switch (endian) {
           case DEVICE_LITTLE_ENDIAN:
               stw_le_p(ptr, val);
               break;
           case DEVICE_BIG_ENDIAN:
               stw_be_p(ptr, val);
               break;
           default:
               stw_p(ptr, val);
               break;
           }
         if (!cpu_physical_memory_is_dirty(addr1)) {          if (!cpu_physical_memory_is_dirty(addr1)) {
             /* invalidate code */              /* invalidate code */
             tb_invalidate_phys_page_range(addr1, addr1 + 4, 0);              tb_invalidate_phys_page_range(addr1, addr1 + 2, 0);
             /* set dirty bit */              /* set dirty bit */
             phys_ram_dirty[addr1 >> TARGET_PAGE_BITS] |=              cpu_physical_memory_set_dirty_flags(addr1,
                 (0xff & ~CODE_DIRTY_FLAG);                  (0xff & ~CODE_DIRTY_FLAG));
         }          }
     }      }
 }  }
   
 #endif  void stw_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_NATIVE_ENDIAN);
   }
   
   void stw_le_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_LITTLE_ENDIAN);
   }
   
   void stw_be_phys(target_phys_addr_t addr, uint32_t val)
   {
       stw_phys_internal(addr, val, DEVICE_BIG_ENDIAN);
   }
   
   /* XXX: optimize */
   void stq_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = tswap64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
   void stq_le_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_le64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
   void stq_be_phys(target_phys_addr_t addr, uint64_t val)
   {
       val = cpu_to_be64(val);
       cpu_physical_memory_write(addr, &val, 8);
   }
   
 /* virtual memory access for debug */  /* virtual memory access for debug (includes writing to ROM) */
 int cpu_memory_rw_debug(CPUState *env, target_ulong addr,   int cpu_memory_rw_debug(CPUState *env, target_ulong addr,
                         uint8_t *buf, int len, int is_write)                          uint8_t *buf, int len, int is_write)
 {  {
     int l;      int l;
     target_ulong page, phys_addr;      target_phys_addr_t phys_addr;
       target_ulong page;
   
     while (len > 0) {      while (len > 0) {
         page = addr & TARGET_PAGE_MASK;          page = addr & TARGET_PAGE_MASK;
Line 2363  int cpu_memory_rw_debug(CPUState *env, t Line 4600  int cpu_memory_rw_debug(CPUState *env, t
         l = (page + TARGET_PAGE_SIZE) - addr;          l = (page + TARGET_PAGE_SIZE) - addr;
         if (l > len)          if (l > len)
             l = len;              l = len;
         cpu_physical_memory_rw(phys_addr + (addr & ~TARGET_PAGE_MASK),           phys_addr += (addr & ~TARGET_PAGE_MASK);
                                buf, l, is_write);          if (is_write)
               cpu_physical_memory_write_rom(phys_addr, buf, l);
           else
               cpu_physical_memory_rw(phys_addr, buf, l, is_write);
         len -= l;          len -= l;
         buf += l;          buf += l;
         addr += l;          addr += l;
     }      }
     return 0;      return 0;
 }  }
   #endif
   
   /* in deterministic execution mode, instructions doing device I/Os
      must be at the end of the TB */
   void cpu_io_recompile(CPUState *env, void *retaddr)
   {
       TranslationBlock *tb;
       uint32_t n, cflags;
       target_ulong pc, cs_base;
       uint64_t flags;
   
       tb = tb_find_pc((unsigned long)retaddr);
       if (!tb) {
           cpu_abort(env, "cpu_io_recompile: could not find TB for pc=%p", 
                     retaddr);
       }
       n = env->icount_decr.u16.low + tb->icount;
       cpu_restore_state(tb, env, (unsigned long)retaddr);
       /* Calculate how many instructions had been executed before the fault
          occurred.  */
       n = n - env->icount_decr.u16.low;
       /* Generate a new TB ending on the I/O insn.  */
       n++;
       /* On MIPS and SH, delay slot instructions can only be restarted if
          they were already the first instruction in the TB.  If this is not
          the first instruction in a TB then re-execute the preceding
          branch.  */
   #if defined(TARGET_MIPS)
       if ((env->hflags & MIPS_HFLAG_BMASK) != 0 && n > 1) {
           env->active_tc.PC -= 4;
           env->icount_decr.u16.low++;
           env->hflags &= ~MIPS_HFLAG_BMASK;
       }
   #elif defined(TARGET_SH4)
       if ((env->flags & ((DELAY_SLOT | DELAY_SLOT_CONDITIONAL))) != 0
               && n > 1) {
           env->pc -= 2;
           env->icount_decr.u16.low++;
           env->flags &= ~(DELAY_SLOT | DELAY_SLOT_CONDITIONAL);
       }
   #endif
       /* This should never happen.  */
       if (n > CF_COUNT_MASK)
           cpu_abort(env, "TB too big during recompile");
   
       cflags = n | CF_LAST_IO;
       pc = tb->pc;
       cs_base = tb->cs_base;
       flags = tb->flags;
       tb_phys_invalidate(tb, -1);
       /* FIXME: In theory this could raise an exception.  In practice
          we have already translated the block once so it's probably ok.  */
       tb_gen_code(env, pc, cs_base, flags, cflags);
       /* TODO: If env->pc != tb->pc (i.e. the faulting instruction was not
          the first in the TB) then we end up generating a whole new TB and
          repeating the fault, which is horribly inefficient.
          Better would be to execute just this insn uncached, or generate a
          second new TB.  */
       cpu_resume_from_signal(env, NULL);
   }
   
   #if !defined(CONFIG_USER_ONLY)
   
 void dump_exec_info(FILE *f,  void dump_exec_info(FILE *f, fprintf_function cpu_fprintf)
                     int (*cpu_fprintf)(FILE *f, const char *fmt, ...))  
 {  {
     int i, target_code_size, max_target_code_size;      int i, target_code_size, max_target_code_size;
     int direct_jmp_count, direct_jmp2_count, cross_page;      int direct_jmp_count, direct_jmp2_count, cross_page;
     TranslationBlock *tb;      TranslationBlock *tb;
       
     target_code_size = 0;      target_code_size = 0;
     max_target_code_size = 0;      max_target_code_size = 0;
     cross_page = 0;      cross_page = 0;
Line 2399  void dump_exec_info(FILE *f, Line 4700  void dump_exec_info(FILE *f,
         }          }
     }      }
     /* XXX: avoid using doubles ? */      /* XXX: avoid using doubles ? */
     cpu_fprintf(f, "TB count            %d\n", nb_tbs);      cpu_fprintf(f, "Translation buffer state:\n");
     cpu_fprintf(f, "TB avg target size  %d max=%d bytes\n",       cpu_fprintf(f, "gen code size       %td/%ld\n",
                   code_gen_ptr - code_gen_buffer, code_gen_buffer_max_size);
       cpu_fprintf(f, "TB count            %d/%d\n", 
                   nb_tbs, code_gen_max_blocks);
       cpu_fprintf(f, "TB avg target size  %d max=%d bytes\n",
                 nb_tbs ? target_code_size / nb_tbs : 0,                  nb_tbs ? target_code_size / nb_tbs : 0,
                 max_target_code_size);                  max_target_code_size);
     cpu_fprintf(f, "TB avg host size    %d bytes (expansion ratio: %0.1f)\n",       cpu_fprintf(f, "TB avg host size    %td bytes (expansion ratio: %0.1f)\n",
                 nb_tbs ? (code_gen_ptr - code_gen_buffer) / nb_tbs : 0,                  nb_tbs ? (code_gen_ptr - code_gen_buffer) / nb_tbs : 0,
                 target_code_size ? (double) (code_gen_ptr - code_gen_buffer) / target_code_size : 0);                  target_code_size ? (double) (code_gen_ptr - code_gen_buffer) / target_code_size : 0);
     cpu_fprintf(f, "cross page TB count %d (%d%%)\n",       cpu_fprintf(f, "cross page TB count %d (%d%%)\n",
             cross_page,               cross_page,
             nb_tbs ? (cross_page * 100) / nb_tbs : 0);              nb_tbs ? (cross_page * 100) / nb_tbs : 0);
     cpu_fprintf(f, "direct jump count   %d (%d%%) (2 jumps=%d %d%%)\n",      cpu_fprintf(f, "direct jump count   %d (%d%%) (2 jumps=%d %d%%)\n",
                 direct_jmp_count,                   direct_jmp_count,
                 nb_tbs ? (direct_jmp_count * 100) / nb_tbs : 0,                  nb_tbs ? (direct_jmp_count * 100) / nb_tbs : 0,
                 direct_jmp2_count,                  direct_jmp2_count,
                 nb_tbs ? (direct_jmp2_count * 100) / nb_tbs : 0);                  nb_tbs ? (direct_jmp2_count * 100) / nb_tbs : 0);
       cpu_fprintf(f, "\nStatistics:\n");
     cpu_fprintf(f, "TB flush count      %d\n", tb_flush_count);      cpu_fprintf(f, "TB flush count      %d\n", tb_flush_count);
     cpu_fprintf(f, "TB invalidate count %d\n", tb_phys_invalidate_count);      cpu_fprintf(f, "TB invalidate count %d\n", tb_phys_invalidate_count);
     cpu_fprintf(f, "TLB flush count     %d\n", tlb_flush_count);      cpu_fprintf(f, "TLB flush count     %d\n", tlb_flush_count);
       tcg_dump_info(f, cpu_fprintf);
 }  }
   
 #if !defined(CONFIG_USER_ONLY)   
   
 #define MMUSUFFIX _cmmu  #define MMUSUFFIX _cmmu
 #define GETPC() NULL  #define GETPC() NULL
 #define env cpu_single_env  #define env cpu_single_env

Removed from v.1.1.1.1  
changed lines
  Added in v.1.1.1.15


unix.superglobalmegacorp.com