Apache CarbonData Dev Mailing List archive › Apache CarbonData JIRA issues

[GitHub] carbondata pull request #2908: [CARBONDATA-3087] Improve DESC FORMATTED outp...

classic Classic list List threaded Threaded
♦
♦
 37 messages Options
12
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata pull request #2908: [CARBONDATA-3087] Improve DESC FORMATTED outp...

qiuchenjian-2
GitHub user jackylk opened a pull request:

    https://github.com/apache/carbondata/pull/2908

    [CARBONDATA-3087] Improve DESC FORMATTED output

    Change output of DESC FORMATTED to:
   
    ```
    +----------------------------+-------------------------------------------------------------------------------------+-------+
    |col_name                    |data_type                                                                            |comment|
    +----------------------------+-------------------------------------------------------------------------------------+-------+
    |shortfield                  |smallint                                                                             |null   |
    |intfield                    |int                                                                                  |null   |
    |bigintfield                 |bigint                                                                               |null   |
    |doublefield                 |double                                                                               |null   |
    |stringfield                 |string                                                                               |null   |
    |timestampfield              |timestamp                                                                            |null   |
    |decimalfield                |decimal(18,2)                                                                        |null   |
    |datefield                   |date                                                                                 |null   |
    |charfield                   |string                                                                               |null   |
    |floatfield                  |double                                                                               |null   |
    |                            |                                                                                     |       |
    |## Table Basic Information  |                                                                                     |       |
    |Comment                     |                                                                                     |       |
    |Path                        |/Users/jacky/code/carbondata/examples/spark2/target/store/default/carbonsession_table|       |
    |Table Block Size            |1024 MB                                                                              |       |
    |Table Blocklet Size         |64 MB                                                                                |       |
    |Streaming                   |false                                                                                |       |
    |Flat Folder                 |false                                                                                |       |
    |Bad Record Path             |                                                                                     |       |
    |Min Input Per Node          |0.0B                                                                                 |       |
    |                            |                                                                                     |       |
    |## Index Information        |                                                                                     |       |
    |Sort Scope                  |LOCAL_SORT                                                                           |       |
    |Sort Columns                |stringfield,timestampfield,datefield,charfield                                       |       |
    |Index Cache Level           |BLOCK                                                                                |       |
    |Cached Index Columns        |All columns                                                                          |       |
    |                            |                                                                                     |       |
    |## Encoding Information     |                                                                                     |       |
    |Local Dictionary Enabled    |true                                                                                 |       |
    |Local Dictionary Threshold  |10000                                                                                |       |
    |Local Dictionary Include    |stringfield                                                                          |       |
    |                            |                                                                                     |       |
    |## Compaction Information   |                                                                                     |       |
    |MAJOR_COMPACTION_SIZE       |1024                                                                                 |       |
    |AUTO_LOAD_MERGE             |false                                                                                |       |
    |COMPACTION_LEVEL_THRESHOLD  |4,3                                                                                  |       |
    |COMPACTION_PRESERVE_SEGMENTS|0                                                                                    |       |
    |ALLOWED_COMPACTION_DAYS     |0                                                                                    |       |
    |                            |                                                                                     |       |
    |## Dynamic Information      |                                                                                     |       |
    |Table Data Size             |2.93KB                                                                               |       |
    |Table Index Size            |1.53KB                                                                               |       |
    |Last Update Time            |Wed Nov 07 17:16:01 CST 2018                                                         |       |
    +----------------------------+-------------------------------------------------------------------------------------+-------+
    ```
   
   
     - [ ] Any interfaces changed?
     
     - [ ] Any backward compatibility impacted?
     
     - [ ] Document update required?
   
     - [ ] Testing done
            Please provide details on
            - Whether new unit test cases have been added or why no new tests are required?
            - How it is tested? Please attach test report.
            - Is it a performance related change? Please attach the performance test report.
            - Any additional information to help reviewers in testing this change.
           
     - [ ] For large changes, please consider breaking it into sub-tasks under an umbrella JIRA.
   


You can merge this pull request into a Git repository by running:

    $ git pull https://github.com/jackylk/incubator-carbondata desc

Alternatively you can review and apply these changes as the patch at:

    https://github.com/apache/carbondata/pull/2908.patch

To close this pull request, make a commit to your master/trunk branch
with (at least) the following in the commit message:

    This closes #2908
   
----
commit 5e60f38a5140477277e17452877acf28d63a1b2a
Author: Jacky Li <jacky.likun@...>
Date:   2018-11-08T12:11:28Z

    improve desc

----


---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1331/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.3.1, Please check CI http://136.243.101.176:8080/job/carbondataprbuilder2.3/9590/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed with Spark 2.2.1, Please check CI http://95.216.28.178:8080/job/ApacheCarbonPRBuilder1/1542/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Success with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1333/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed with Spark 2.2.1, Please check CI http://95.216.28.178:8080/job/ApacheCarbonPRBuilder1/1544/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.3.1, Please check CI http://136.243.101.176:8080/job/carbondataprbuilder2.3/9592/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user zzcclp commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Hi @jackylk :
      I have some questions shown below:
      1. How to show external info if it's an external table?
      2. It need to show the partition info if it has partition columns;
      3. missing property: DICTIONARY_INCLUDE;
      4. doesn't it show database and table name?
      5. will remove NO_INVERTED_INDEX ? right?
      6. doesn't it show default value for each properties? and as our discussion, we need to save the default value to schema info even user doesn't set the value, is this done?



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user jackylk commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    @zzcclp
    1. I think we can show the table path
    2. The current DESC already has the logic to show partition info, this part is not changed
    3. DICTIONARY_INCLUDE is added in encoding section
    4. Since the DESC syntax includes database name and table name, so I think it is not required to show them again.
    5. yes, INVERTED_INDEX is added in #2886
    6. It is not done, and in this PR the most important table property is shown, it will show default value is user did not specify the property when creating table.
   
    Will fix according to these comments and push again


---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Success with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1338/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user jackylk commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    @zzcclp currently, it will show
    ```
    +-------------------------------+------------------------------------------------------------------------------------------------+----------+--+
    |           col_name            |                                           data_type                                            | comment  |
    +-------------------------------+------------------------------------------------------------------------------------------------+----------+--+
    | l_partkey                     | int                                                                                            | null     |
    | l_suppkey                     | string                                                                                         | null     |
    | l_linenumber                  | int                                                                                            | null     |
    | l_quantity                    | double                                                                                         | null     |
    | l_extendedprice               | double                                                                                         | null     |
    | l_discount                    | double                                                                                         | null     |
    | l_tax                         | double                                                                                         | null     |
    | l_returnflag                  | string                                                                                         | null     |
    | l_linestatus                  | string                                                                                         | null     |
    | l_shipdate                    | date                                                                                           | null     |
    | l_commitdate                  | date                                                                                           | null     |
    | l_receiptdate                 | date                                                                                           | null     |
    | l_shipinstruct                | string                                                                                         | null     |
    | l_shipmode                    | string                                                                                         | null     |
    | l_comment                     | string                                                                                         | null     |
    | l_orderkey                    | int                                                                                            | null     |
    |                               |                                                                                                |          |
    | ## Table Basic Information    |                                                                                                |          |
    | Path                          | /Users/jacky/code/spark-2.2.1-bin-hadoop2.7/carbonstore/tpchcarbon_base/lineitem_hash_no_sort  |          |
    | External                      | true                                                                                           |          |
    | Transactional                 | true                                                                                           |          |
    | Flat Folder                   | false                                                                                          |          |
    | Streaming                     | false                                                                                          |          |
    | Table Block Size              | 128 MB                                                                                         |          |
    | Table Blocklet Size           | 64 MB                                                                                          |          |
    | Comment                       |                                                                                                |          |
    | Bad Record Path               |                                                                                                |          |
    | Min Input Per Node            | 0.0B                                                                                           |          |
    |                               |                                                                                                |          |
    | ## Index Information          |                                                                                                |          |
    | Sort Scope                    | no_sort                                                                                        |          |
    | Sort Columns                  | l_orderkey                                                                                     |          |
    | Index Cache Level             | BLOCK                                                                                          |          |
    | Cached Index Columns          | All columns                                                                                    |          |
    |                               |                                                                                                |          |
    | ## Encoding Information       |                                                                                                |          |
    | Local Dictionary Enabled      | true                                                                                           |          |
    | Local Dictionary Threshold    | 10000                                                                                          |          |
    | Local Dictionary Include      | l_suppkey,l_returnflag,l_linestatus,l_shipinstruct,l_shipmode,l_comment                        |          |
    | Global Dictionary             |                                                                                                |          |
    |                               |                                                                                                |          |
    | ## Compaction Information     |                                                                                                |          |
    | MAJOR_COMPACTION_SIZE         | 1024                                                                                           |          |
    | AUTO_LOAD_MERGE               | false                                                                                          |          |
    | COMPACTION_LEVEL_THRESHOLD    | 4,3                                                                                            |          |
    | COMPACTION_PRESERVE_SEGMENTS  | 0                                                                                              |          |
    | ALLOWED_COMPACTION_DAYS       | 0                                                                                              |          |
    |                               |                                                                                                |          |
    | ## Partition Information      |                                                                                                |          |
    | Partition Type                | HASH                                                                                           |          |
    | Partition Columns             | l_orderkey:INT                                                                                 |          |
    | Number of Partitions          | 6                                                                                              |          |
    | Partitions Ids                | 0,1,2,3,4,5                                                                                    |          |
    |                               |                                                                                                |          |
    | ## Dynamic Information        |                                                                                                |          |
    | Table Data Size               | 226.26MB                                                                                       |          |
    | Table Index Size              | 13.71KB                                                                                        |          |
    | Last Update Time              | Thu Nov 08 19:31:30 CST 2018                                                                   |          |
    +-------------------------------+------------------------------------------------------------------------------------------------+----------+--+
    ```


---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.3.1, Please check CI http://136.243.101.176:8080/job/carbondataprbuilder2.3/9597/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed with Spark 2.2.1, Please check CI http://95.216.28.178:8080/job/ApacheCarbonPRBuilder1/1549/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Success with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1347/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.3.1, Please check CI http://136.243.101.176:8080/job/carbondataprbuilder2.3/9606/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed with Spark 2.2.1, Please check CI http://95.216.28.178:8080/job/ApacheCarbonPRBuilder1/1558/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1348/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Success with Spark 2.1.0, Please check CI http://136.243.101.176:8080/job/ApacheCarbonPRBuilder2.1/1350/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed with Spark 2.2.1, Please check CI http://95.216.28.178:8080/job/ApacheCarbonPRBuilder1/1560/



---
qiuchenjian-2
Reply | Threaded
Open this post in threaded view
♦
♦
|

[GitHub] carbondata issue #2908: [CARBONDATA-3087] Improve DESC FORMATTED output

qiuchenjian-2
In reply to this post by qiuchenjian-2
Github user CarbonDataQA commented on the issue:

    https://github.com/apache/carbondata/pull/2908
 
    Build Failed  with Spark 2.3.1, Please check CI http://136.243.101.176:8080/job/carbondataprbuilder2.3/9608/



---
12
Free forum by Nabble Edit this page