首 页 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 尾 页

网易视频云分享:Facebook memcache优化经验

发布者: superzhang | 发布时间:2017-11-25

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务,在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云的技术专家给大家分享一则技术文:Facebook memcache优化经验。

memcache是facebook的重要基础设施, 有数据为证: 缓存了T级记录, 支持每秒G级别访问次数, 单页面经常访问上千次memcache。 facebook从memcache节点、集群、region、跨region等各层次对memcache做了大量优化和改造, 本文简单介绍facebook在memcache节点和集群层次做的一些优化工作。

降低延迟的方法:

并行请求。根据数据依赖关系构建DAG, 无依赖的数据批量发送到memache服务端, 根据统计平均每个请求包括24个key。

通讯优化。get操作使用UDP,删除和更新操作使用TCP, 响应时间降低20%。

流量控制。通过滑动窗口控制单个客户端发出的并发请求数目,避免服务器过载。

降低负载的方法:

Lease, 用于解决 memcache应用过程常见的两个问题: (1)stale

想读更多 ->

程序员技术面试中,关于session相关的内容整理

发布者: superzhang | 发布时间:2017-11-25

本文以PHP语言实现session为例:

Session共享:

程序员技术面试中,关于session相关的内容整理

Web开发中经常使用到session

php支持把会话数据存储到某台memcache服务器,你也可以手工把session文件存放的目录改为nfs网络文件系统,从而实现文件的跨机器共享。

session运行原理:

程序员技术面试中,关于session相关的内容整理

为什么session依赖cookie:

想读更多 ->

Java互联网架构-深度剖析MySQL 事务处理机制

发布者: superzhang | 发布时间:2017-11-25

概述

MySQL的事务支持不是绑定在MySQL服务器本身,而是与存储引擎相关1.MyISAM:不支持事务,用于只读程序提高性能 2.InnoDB:支持ACID事务、行级锁、并发 3.Berkeley DB:支持事务

一个事务是一个连续的一组数据库操作,就好像它是一个单一的工作单元进行。换言之,永远不会是完整的事务,除非该组内的每个单独的操作是成功的。如果在事务的任何操作失败,则整个事务将失败。

实际上,会俱乐部许多SQL查询到一个组中,将执行所有的人都一起作为事务的一部分。

事务的特性:

事务有以下四个标准属性的缩写ACID,通常被称为:

原子性: 确保工作单元内的所有操作都成功完成,否则事务将被中止在故障点,和以前的操作将回滚到以前的状态。

一致性: 确保数据库正确地改变状态后,成功提交的事务。

隔离性: 使事务操作彼此独立的和透明的。

持久性: 确保提交的事务的结果或效果的系统出现故障的情况下仍然存在。

事务

数据库事务

数据库事务(Database Transaction),是指作为单个逻辑工作单元执行的一系列操作,要么完全执行,要么完全地不执行。

ACID

事务必须具备ACID四个特性

想读更多 ->

DB分库分表

发布者: superzhang | 发布时间:2017-11-25

DB分库分表

最近事情比较多,这期就简单跟大家水一期DB分库分表的概念,希望大家能喜欢,如果内容不够干,还希望能多多担待。

数据切分

通过特定条件将数据库中的数据散列到多个数据库实例中,达到分散访问压力的效果。

数据根据指定规则切分不同类型,有两种切分方法。

垂直切分,不同的表切分到不同的数据库实例

水平切分,表中不同的数据按照规则,将同一表中的数据拆分到多台数据库实例中

垂直切分

垂直切分的规则简单,实现起来简单,适合业务之间耦合度低且相互影响很小的业务系统。根据不同系统的模块进行表的拆分,分散到不同的数据库实例集群中。

水平切分

水平切分的规则复杂的多,需要将同一个表中不同的分类的数据拆分到不同的数据库实例中,对于程序设计上,考虑无时无刻需要考虑分组规则。

切分方法分析

垂直切分

一个数据库实例由多个表构成,各个表被不同的业务模块使用,那么垂直切分就是将表进行分类,分散到不同的数据库实例中去,这样就很好的将请求压力分散到各个机器中。

全球分布式,多模数据库Azure Cosmos DB

Cosmos DB 最值得吹牛的就是他宣传的SLA能力:(真牛逼)

1)全球分布式,自动解决数据中心复制等问题。

2)支持5种一致性模型,见下图,让用户自主选择,解决应用一致性和性能的平衡。

全球分布式,多模数据库Azure Cosmos DB

3)99%的低时延。

4)99.99%的高可靠。

5)多种数据库模型(K/V,列簇,文档,图),保留多种AP

想读更多 ->

游戏日志DB迁移总结

发布者: superzhang | 发布时间:2017-11-25

上周,游戏logdb磁盘空间不足,检查发现没有配置innodb_file_per_table=1,数据库空间无法收缩,从A1到A1或A1到A5采用那种方式比较合适呢?

感谢大家关注本头条号,每天分享高质量的游戏开发经验,游戏运营经验和从零到一完整开发一款产品方法一:数据文件迁移

安装好新MYSQL

停掉原DB

拷贝原DB的/data/mysqldata/innodb/data目录到新机器覆盖

scp -r /data/mysqldata/innodb/data mysql@***.17.142.100#36000:/data/mysqldata/innodb

scp -r /data/mysqldata/innodb/log mysql@***.17.142.100#36000:/data/mysqldata/innodb

scp -r /data/mysqldata/relay-log mysql@172.17.142.100#36000:/data/mysqldata

拷贝原DB的/data/mysqldata/data到新机器覆盖

scp -r /data/mysqldata/data mysql@***.17.142.100#36000:/data/mysqldata

想读更多 ->

Oreint DB 远程代码执行漏洞

发布者: superzhang | 发布时间:2017-11-25

0×01 关于orient db数据库

OrientDB是一个开源NoSQL数据库管理系统。 NoSQL数据库提供了一种用于存储和检索引用除表式数据之外的数据(例如文档数据或图形数据)的NO关系或非关系数据的机制。 NoSQL数据库越来越多地用于大数据和实时Web应用程序。 NoSQL系统有时也被称为“Not Only SQL”,以强调它们可能支持类似SQL的查询语言。

Oreint DB 远程代码执行漏洞

OrientDB也属于NoSQL系列。 OrientDB是第二代分布式数据库,具有灵活性的文档在一个产品与Apache 2许可证的开放源代码。 在OrientDB之前市场上有几个NoSQL数据库,其中一个是MongoDB。

0×01 orient db 数据库的基础知识

步骤1 – 下载OrientDB二进制设置文件

下载地址:http://orientdb.com/download社区版和企业版都可以在任何实现Java虚拟机(JVM)的操作系统上运行。 OrientDB需要1.7或更

想读更多 ->

Java互联网架构-Redis集群设计应用规范

发布者: superzhang | 发布时间:2017-11-25

概述

Redis本质上是一个Key-Value类型的内存数据库,很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作,Redis的性能非常出色,每秒可以处理超过 10万次读写操作,是已知性能最快的Key-Value DB。

1.冷热数据分离,不要将所有数据全部都放到Redis中

虽然Redis支持持久化,但是Redis的数据存储全部都是在内存中的,成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】,对于低频冷数据可以使用MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式,不仅节省内存成本,而且数据量小在操作时速度更快、效率更高!

2.不同的业务数据要分开存储

不要将不相关的业务数据都放到一个Redis实例中,建议新业务申请新的单独实例。因为Redis为单线程处理,独立存储会减少不同业务相互操作的影响,提高请求响应速度;同时也避免单个实例内存数据量膨胀过大,在出现异常情况时可以更快恢复服务!

3.存储的Key一定要设置超时时间

如果应用将Redis定位为缓存Cache使用,对于存放的Key一定要设置超时时间!因为若不设置,这些Key会一直占用内存不释放,造成极大的浪

想读更多 ->

Thinkphp5.0数据库链接操作请慎重

发布者: superzhang | 发布时间:2017-11-25

Thinkphp5.0数据库链接操作请慎重

Tp5数据库是如何进行连接的

Thinkphp5.0数据库链接操作请慎重

连接方法1

Thinkphp5.0数据库链接操作请慎重

连接方法2

针对连接方法1中,还可以将数据库信息写到配置文件中,通过调用配置文件的方法进行链接数据库

数据库笔试面试178——查询数据库服务器主机的CPU和内存情况

题目如下所示:

在Oracle中,如何通过SQL语句查询数据库服务器主机的CPU和内存情况以及各个快照期间的DB TIME和ELAPSED_TIME的值?

答案如下所示:

可以通过如下的SQL语句查询:

SELECT SNAP_ID,

BEGIN_INTERVAL_TIME,

END_INTERVAL_TIME,

DB_NAME,

DBID,

INSTANCE_NAME,

INSTANCE_NUMBER,

STARTUP_TIME,

RELEASE,

RAC,

HOST_NAME,

PLATFORM_NAME,

CPUS,

CORES,

SOCKETS,

MEMORY_G,

ELAPSED_TIME,

DB_TIME

FROM

想读更多 ->