php - PHP、ZeroMQ、Socket io 和 Node Js 究竟是如何协同工作的
问题描述
我已经开始为我的实时体育比分更新构建 PHP 和 Node Js 应用程序。我的 php 和节点服务器可以与节点模块 express、socket io 和 zeromq 一起正常工作。我有一个从 API 接收的大数据,在我打包的 php 文件中,我将 json 数据发送到节点服务器(通过 zeromq),然后在节点 js 服务器文件中接收数据,并从该文件发送到客户端。现在,该设置完全适用于少量数据。但是当它是大文件时,节点服务器无法进一步处理并出现下面列出的错误。
这是我尝试通过节点服务器中的套接字 io 发送到客户端时遇到的错误
节点:../node_modules/nan/nan.h:822:Nan::MaybeLocal Nan::NewBuffer(char*, size_t, node::Buffer::FreeCallback, void*): 断言`length <= imp::kMaxLength && “缓冲区太大”' 失败。中止(核心转储)
这是主要的 node_socket.js
var express = require('express');
var app = express();
var fs = require('fs');
var options = {
key: fs.readFileSync('/etc/letsencrypt/live/example.com/privkey.pem'),
cert: fs.readFileSync('/etc/letsencrypt/live/example.com/fullchain.pem'),
ca: fs.readFileSync('/etc/letsencrypt/live/example.com/chain.pem')
};
var https = require('https').Server(options, app);
var zmq = require('zeromq')
, sock = zmq.socket('pull');
sock.bind('tcp://10.150.0.6:1111');
var io = require('socket.io')(https);
io.on('connection', function(socket){
socket.on('disconnect',function(){
console.log("client disconnected");
})
sock.on('message',function(msg){
console.log('work: %s', msg.toString());
socket.emit('latest_score',msg.toString());
});
});
https.listen(3333);
sock.on('connect', function(fd, ep) {console.log('connect, endpoint:', ep);});
console.log('App connected to port 3333');
请注意,该应用程序适用于小数据,但无法处理从 php 文件发送的大 json 数据。几天以来,我尝试了一些不同的东西,但无济于事。我还从 Fiverr.com 聘请了几个 node js 开发人员,但他们也无法解决问题。我希望这里有人能引导我朝着正确的方向前进。
解决方案
来自关于缓冲区的 nodejs 文档(https://nodejs.org/api/buffer.html)
buffer.constants.MAX_LENGTH#
Added in: v8.2.0
<integer> The largest size allowed for a single Buffer instance.
On 32-bit architectures, this value is (2^30)-1 (~1GB). On 64-bit architectures, this value is (2^31)-1 (~2GB).
This value is also available as buffer.kMaxLength.
因此,假设您使用的是 64 位系统,您似乎一次发送了超过 2GB 的数据。假设您有一个大的 JSON 数据数组,最简单的方法是将数组拆分为块并分别通过套接字发送它们。
所以在这里:
sock.on('message',function(msg){
console.log('work: %s', msg.toString());
socket.emit('latest_score',msg.toString());
});
您需要 JSON.parse() 数据,将其拆分, JSON.stringify() 数据并通过套接字单独发送。
在这里查看如何拆分数组:Split array into chunks
更新:(因为评论)如果您绝对不能拆分数据,您可以将其存储在 php 中(在数据库或文件中)并构建一个 REST api 来查询数据。然后只需通过 ZeroMQ 和 NodeJs 发送文件/行的 id。然后客户端必须调用 REST api 来获取实际数据。
推荐阅读
- android - fs::read_to_string 上的 unwrap() 导致致命信号 6 (SIGABRT),Android 中的代码 -1 (SI_QUEUE)
- python - 将标签数据添加到卷积神经网络的更好方法?
- javascript - 第二级侧边栏
- python - Set xticks interval with date values
- html - exporting value from specific div in html page in python
- react-native - Tab ScrollView 内的 FlatList
- sql - 自联接表上的 MSAccess 缓慢更新
- php - 每 30 分钟返回不同的用户名 PHP
- php - Laravel:将模型注入其中时销毁触发从表中选择的方法
- c# - 在我的调度循环中重新分配 DateTime 对象的值时,DateTime 多线程 UDP Sender 具有非常不同的时间结果