我是windows server2008 r2系统,128G内存,平时可用60G跑MySQL 极限可以100G跑MySQL
基本就我自己使用这个服务器,平时主要就是 LOAD DATA INFILE 数据,查询数据,主要就是Count()。但是数据量比较大,基本一个csv都是50G到60G大概10亿行吧,因为都是单纯的查询,所以采用的引擎是myisam。
遇到过一个问题,在一张表上面建立一个索引查询ok,在增加一个索引查询ok,在增加一个索引查询就都是空数据了,搞不懂为啥会这样。
尝试过PostgreSQL,但是我们的csv 换行符间隔符都不一样,导入PostgreSQL很多都出错。有其他建议吗?
想问一下下面这个参数可以吗?水平比较低。还有什么优化建议?
[client]
port = 3306
socket = /tmp/mysql.sock
default-character-set=gbk
[mysqld]
port = 3306
socket = /tmp/mysql.sock
character-set-server=gbk
skip_name_resolve
skip-slave-start
interactive_timeout = 28800000
wait_timeout = 2147483
table_open_cache = 1024
max_allowed_packet = 64M
key_buffer_size = 20G # 索引大小
sort_buffer_size = 1G # 排序大小
read_buffer_size = 5G # 全表扫描大小
read_rnd_buffer_size = 1G 索引扫描大小
thread_cache_size = 64
ft_min_word_len = 4
default-storage-engine = MYISAM
transaction_isolation = REPEATABLE-READ
tmp_table_size = 50G # 临时表
max_heap_table_size = 50G # 内存表
myisam_sort_buffer_size = 10G # 排序缓存区:创建修改索引排序时用
myisam_max_sort_file_size = 50G # 最大临时文件:创建修改索引,导入数据
myisam_repair_threads = 1
myisam_recover_options
server-id = 1
[mysqldump]
quick
max_allowed_packet = 128M
[mysql]
no-auto-rehash
default-character-set=gbk
[myisamchk]
key_buffer_size = 512M
sort_buffer_size = 512M
read_buffer = 64M
write_buffer = 64M
[mysqlhotcopy]
interactive-timeout
[mysqld_safe]
open-files-limit = 8192
基本就我自己使用这个服务器,平时主要就是 LOAD DATA INFILE 数据,查询数据,主要就是Count()。但是数据量比较大,基本一个csv都是50G到60G大概10亿行吧,因为都是单纯的查询,所以采用的引擎是myisam。
遇到过一个问题,在一张表上面建立一个索引查询ok,在增加一个索引查询ok,在增加一个索引查询就都是空数据了,搞不懂为啥会这样。
尝试过PostgreSQL,但是我们的csv 换行符间隔符都不一样,导入PostgreSQL很多都出错。有其他建议吗?
想问一下下面这个参数可以吗?水平比较低。还有什么优化建议?
[client]
port = 3306
socket = /tmp/mysql.sock
default-character-set=gbk
[mysqld]
port = 3306
socket = /tmp/mysql.sock
character-set-server=gbk
skip_name_resolve
skip-slave-start
interactive_timeout = 28800000
wait_timeout = 2147483
table_open_cache = 1024
max_allowed_packet = 64M
key_buffer_size = 20G # 索引大小
sort_buffer_size = 1G # 排序大小
read_buffer_size = 5G # 全表扫描大小
read_rnd_buffer_size = 1G 索引扫描大小
thread_cache_size = 64
ft_min_word_len = 4
default-storage-engine = MYISAM
transaction_isolation = REPEATABLE-READ
tmp_table_size = 50G # 临时表
max_heap_table_size = 50G # 内存表
myisam_sort_buffer_size = 10G # 排序缓存区:创建修改索引排序时用
myisam_max_sort_file_size = 50G # 最大临时文件:创建修改索引,导入数据
myisam_repair_threads = 1
myisam_recover_options
server-id = 1
[mysqldump]
quick
max_allowed_packet = 128M
[mysql]
no-auto-rehash
default-character-set=gbk
[myisamchk]
key_buffer_size = 512M
sort_buffer_size = 512M
read_buffer = 64M
write_buffer = 64M
[mysqlhotcopy]
interactive-timeout
[mysqld_safe]
open-files-limit = 8192