网站搜索

NodeJS(JavaScript/TypeScript)- 读取 Parquet 文件时出错


我正在尝试使用 Node.js 读取 Parquet 文件:

var parquet = require('parquetjs');

(
    async () => {
    try {
            // create new ParquetReader that reads from 'fruits.parquet`
      let reader = await parquet.ParquetReader.openFile('f1.snappy.parquet');

        // create a new cursor
        let cursor = reader.getCursor();

        // read all records from the file and print them
        let record = null;
        while (record = await cursor.next()) {
            console.log(record);
        }

      } catch (e) {
        console.log('error while reading a parquet file:\n', e)
      }

    }

) ();

出现错误:

error while reading a parquet file:
 invalid page type: DICTIONARY_PAGE

同一个 parquet 文件——我可以使用 Python 的 pyarrow 库无问题地读取。

可能的原因是什么?

答案#1

我在使用 parquetjs 时遇到了同样的问题(以及读取嵌套对象时的一些其他问题)

我切换到了 https://www.npmjs.com/package/parquetjs-lite,现在一切运作顺利

parquetjs-lite 是 parquetjs 的一个分支,所以我不需要更改我的任何代码

相关文章