NodeJS(JavaScript/TypeScript)- 读取 Parquet 文件时出错
我正在尝试使用 Node.js 读取 Parquet 文件:
var parquet = require('parquetjs');
(
async () => {
try {
// create new ParquetReader that reads from 'fruits.parquet`
let reader = await parquet.ParquetReader.openFile('f1.snappy.parquet');
// create a new cursor
let cursor = reader.getCursor();
// read all records from the file and print them
let record = null;
while (record = await cursor.next()) {
console.log(record);
}
} catch (e) {
console.log('error while reading a parquet file:\n', e)
}
}
) ();
出现错误:
error while reading a parquet file:
invalid page type: DICTIONARY_PAGE
同一个 parquet 文件——我可以使用 Python 的 pyarrow 库无问题地读取。
可能的原因是什么?
答案#1
我在使用 parquetjs 时遇到了同样的问题(以及读取嵌套对象时的一些其他问题)
我切换到了 https://www.npmjs.com/package/parquetjs-lite,现在一切运作顺利
parquetjs-lite 是 parquetjs 的一个分支,所以我不需要更改我的任何代码